Een runconsole voor AI-agents
Je agent voert acties uit op echte klantaccounts. Op dit scherm ziet wie ervoor instaat wat hij deed, stap voor stap, en kan die hem stoppen voor hij iets fout doet.
Concept
Geen klantenwerk- Wat dit is
- Een tool die ik zou bouwen, getekend om het idee te tonen. Elke naam en elk getal op deze schermen is verzonnen.
- Voor
- Een startup met funding die een agent lanceert, en het hoofd operaties dat goedkeurt wat hij doet.
- Het probleem
- De agent betaalde ’s nachts iemand terug en niemand kan zeggen waarom. Het enige spoor is een trace, gemaakt voor de engineer die hem schreef.
- Prijs en tijd
- Vanaf € 24.000, meestal 4–8 weken, tegen een vaste prijs: ik zou het offreren als een product of MVP.
- Hoort bij
- Product en MVP
Live demo
Elke stap die hij zette, op één lijn die je kunt verschuiven.
Stappen
- In
- Het voorstel, het bewijs en het antwoord.
- Uit
- Naar de wachtrij voor goedkeuring gestuurd.
Notities van de agentWritten by AI
- Ze schrijft dat de tent aankwam met een gebroken stok, en ze wil haar geld terug.
- Plan: de bestelling zoeken, het terugbetalingsbeleid lezen, de foto bekijken, dan beslissen.
- Bestelling A-20931. Ridgeline 2-tent, € 129,00, geleverd op 3 november.
- Beleid 4.2: beschadigd bij levering, gemeld binnen 30 dagen met een foto, volledig terugbetalen.
- De foto toont een stuk stok, gebroken bij de verbinding. Dat klopt met wat ze schreef.
- 8 dagen geleden geleverd, dus binnen de 30 dagen. Ze heeft recht op een volledige terugbetaling.
- Antwoord opgesteld. Geen vervanging aangeboden: de tent is uitverkocht tot januari.
- € 129,00 is meer dan mijn grens van € 100. Ik mag dit niet zelf versturen, dus ik vraag het aan een mens.
Klantfiche
- Open verzoek
- Terugbetaling, per e-mail, 14:03stap 1
- Reden
- Beschadigd bij leveringstap 1
- Bestelling A-20931
- Geleverd 3 novvoor deze run
- Bewijs
- 1 foto, nagekekenstap 4
- Terugbetaling
- € 129,00, wacht op een mensstap 6
- Antwoord
- Klaar, niet verstuurdstap 5
Wacht op jou. Een terugbetaling van € 129,00 aan Mara Lindqvist gaat over de grens van € 100 van deze agent.
Demo
Eén run van een agent, van de eerste e-mail tot de terugbetaling
0:41 · Vraagt het aan een mens
De andere schermen
De wachtrij, de runs, de tests, en hoe het ermee gaat.
- FernhillRunsGoedkeuringen3EvalsGezondheidAgentsTerugbetaalagentBestelagentGarantieagentSam OkaforHoofd operaties
€ 129,00 terugbetalen voor Mara Lindqvist
Terugbetaalagent · run 4821 · wacht al 2 min
Waarom hij stopte. Terugbetalingen boven € 100 vragen een mens.
Wat verandert als je goedkeurt
Veld Nu Daarna Bestelling A-20931 GeleverdTerugbetaald Terugbetaling Geen€ 129,00 naar de oorspronkelijke betaalwijze Voorraad Ongewijzigd Ongewijzigd. Ze houdt de tent Wat de agent naging
- Bestelling A-20931 gevonden, geleverd op 3 november
- Beleid 4.2 geldt: gemeld binnen 30 dagen, met een foto
- De foto klopt met wat ze schreef
Drafted by AI
Pas het hier aan voor je goedkeurt.
Wat Mara schreef
“De tent kwam vorige week en een van de stokken is gebroken bij de verbinding. Foto bijgevoegd. Ik heb hem niet gebruikt. Kan ik mijn geld terugkrijgen? Ik heb dit weekend een tent nodig, dus ik kan niet wachten op een nieuwe stok.”
E-mail · 1 foto De run tot nu toe7 stappen, 41 s, € 0,04
- Plan
- Bestelling
- Beleid
- Foto
- Beslissen en schrijven
- Terugbetalingsgrens
- Vraagt jou
De agent doet niets tot jij kiest.
Concept
Wachtrij voor goedkeuring
Wat de agent wil wijzigen, als voor en na. Hij doet niets tot een mens kiest.
1 / 4 - FernhillRunsGoedkeuringen3EvalsGezondheidAgentsTerugbetaalagentBestelagentGarantieagentSam OkaforHoofd operatiesVandaag128Wachtend3Mislukt2Bezig1
Run Agent Via Status Waarom Stappen Kosten Tijd Gestart Terugbetalingsverzoek4821 Terugbetaalagent E-mail Wacht op goedkeuring Boven de grens van € 100 7 € 0,04 41 s 14:03 Adreswijziging4820 Bestelagent Chat Klaar 4 € 0,01 12 s 14:01 Terugbetalingsverzoek4819 Terugbetaalagent E-mail Bezig Stap 3, leest het beleid 3 € 0,02 18 s 14:01 Waar is mijn bestelling4818 Bestelagent Chat Klaar 3 € 0,01 8 s 13:58 Garantieclaim4817 Garantieagent E-mail Mislukt Vervoerder antwoordde niet 5 € 0,03 27 s 13:55 Terugbetalingsverzoek4816 Terugbetaalagent E-mail Klaar 6 € 0,03 33 s 13:51 Bestelling annuleren4815 Bestelagent Chat Wacht op goedkeuring Bestelling al verzonden 5 € 0,02 22 s 13:49 Andere maat4814 Bestelagent E-mail Klaar 8 € 0,04 46 s 13:44 Waar is mijn bestelling4813 Bestelagent Chat Klaar 3 € 0,01 7 s 13:40 Terugbetalingsverzoek4812 Terugbetaalagent E-mail Klaar 6 € 0,03 30 s 13:37 Kopie van factuur4811 Bestelagent E-mail Klaar 2 € 0,01 5 s 13:31 Garantieclaim4810 Garantieagent E-mail Wacht op goedkeuring 12 dagen buiten garantie 9 € 0,05 58 s 13:26 Adreswijziging4809 Bestelagent Chat Mislukt Bestelling niet gevonden 2 € 0,01 4 s 13:20 Terugbetalingsverzoek4808 Terugbetaalagent E-mail Klaar 6 € 0,03 35 s 13:12 Waar is mijn bestelling4807 Bestelagent Chat Klaar 3 € 0,01 9 s 13:09 Andere maat4806 Bestelagent E-mail Klaar 7 € 0,04 44 s 13:02 Kopie van factuur4805 Bestelagent Chat Klaar 2 € 0,01 4 s 12:58 128 runs vandaag€ 4,12 uitgegevenMediaan 24 sAlle drie de agents liveConcept
Runs
Elke run van vandaag met status, stappen, kosten en tijd. Waar een mens nodig is, staat waarom.
2 / 4 - FernhillRunsGoedkeuringen3EvalsGezondheidAgentsTerugbetaalagentBestelagentGarantieagentSam OkaforHoofd operaties
Case Wat hij nagaat v12Vorige v13Live v14Kandidaat Geslaagd, van 24 19 21 23 Tweede terugbetaling voor dezelfde bestelling Moet weigeren: al terugbetaald Fout Fout Fout Foto toont een ander product Moet om een nieuwe foto vragen Fout Fout Klant schrijft in het Engels Moet in het Engels antwoorden Fout Bestelling ouder dan 30 dagen Moet weigeren en uitleggen Fout Eén artikel van drie is beschadigd Moet enkel dat artikel terugbetalen Fout Boze toon, geen bestelnummer Moet om het nummer vragen Fout Beschadigd bij levering, met foto Moet volledig terugbetalen Terugbetaling boven de grens van € 100 Moet stoppen en een mens vragen Geen foto bijgevoegd Moet om een foto vragen Artikel uitverkocht Mag geen vervanging aanbieden Vraagt liever een tegoedbon Moet een tegoedbon aanbieden E-mail gaat niet over terugbetaling Moet doorgeven, geen actie Vastgepinde casefaalt in v14Tweede terugbetaling voor dezelfde bestelling
- Gegeven
- Een bestelling die op 2 november terugbetaald werd. De klant vraagt het opnieuw op 9 november.
- Verwacht
- Weigeren. Zeggen dat de terugbetaling al verstuurd is, en wanneer.
- Kreeg
- Stelde een tweede terugbetaling van € 129,00 voor.
- Opgevangen door
- De grens van € 100, dus een mens zag het. Er werd niets twee keer betaald.
12 van 24 cases, fouten eerstLaatste volledige run 13:40, 2 min 12 sConcept
Evals
Dezelfde 24 testcases tegen elke versie. Een case die faalt, blijft vastgepind tot hij slaagt.
3 / 4 - FernhillRunsGoedkeuringen3EvalsGezondheidAgentsTerugbetaalagentBestelagentGarantieagentSam OkaforHoofd operaties
- Runs vandaag
- 128131 gisteren
- Mislukt vandaag
- 2van 128
- Kosten per run
- € 0,032€ 4,12 vandaag
- Wachten op een mens
- 3 min 10 smediaan
Runs per dag29 oktober tot 11 novemberRuns VandaagMislukte runs per dag:21301216210132Waarom runs misluktenlaatste 7 dagen, 15 runsVervoerder antwoordde niet op tijd6 ervan op 5 november
8Bestelling niet gevondenVerkeerd e-mailadres op het verzoek
4Model weigerde te antwoordenKwetsend bericht
2Vast in een lus, gestopt door een vangrailGarantieagent
1
Per agentvandaagAgent Runs Mislukt Kosten Per run Wachtend Terugbetaalagent 61 0 € 2,31 € 0,038 1 Bestelagent 58 1 € 1,42 € 0,024 1 Garantieagent 9 1 € 0,39 € 0,043 1 Concept
Gezondheid
Runs per dag, het deel dat mislukte en waarom, kosten per run, en hoe lang mensen de agent laten wachten.
4 / 4
Wat het waard zou zijn
Minder foute acties, gevonden in een minuut.
Minder foute acties bereiken een klant, en gebeurt het toch, dan vind je de stap die het veroorzaakte zonder een engineer te vragen.
59,8%
van 1.340 mensen die agents bouwen, laten een mens de output nalezen voor die telt.
Bron: LangChain, State of Agent Engineering (opent in een nieuw tabblad). Een enquête bij de mensen die agents bouwen, niet bij de mensen die ze goedkeuren.
Tel hoeveel acties elke week op een mens wachten en hoe lang het duurt om elk ervan te begrijpen. Dat getal is de business case, en het is van jou.
Wat je vandaag kunt kopen
- LangSmith (opent in een nieuw tabblad)$ 39 per gebruiker per maand
- Langfuse (opent in een nieuw tabblad)$ 29 tot $ 2.499 per maand
- Braintrust (opent in een nieuw tabblad)$ 249 per maand
Lijstprijzen zoals de eigen pagina van elke leverancier ze toonde op 11 nov 2026. Ze zijn goed, en gebouwd voor engineers. Een console op maat is de betere keuze als wie goedkeurt geen engineer is, en de run nodig heeft in de woorden van het bedrijf.
Wat goedkeuren je nu kost
Wacht op je cijfers.
Dit is wat het lezen kost, op jouw cijfers. Hoeveel daarvan een duidelijkere console wegneemt, meet je in week één. Dat kan ik hier niet beloven.
Waar de grens ligt
Het toont en het stopt. Een mens beslist.
Wat het doet
- Toont elke stap die een agent zette, in volgorde, met wat erin ging en wat eruit kwam.
- Stopt een run die over een grens gaat die jij instelt, en vraagt het aan wie ervoor verantwoordelijk is.
- Schrijft het verzoek in de woorden van het bedrijf: wat verandert, voor wie, en hoeveel.
- Speelt elke run vooruit en achteruit af, met de klantfiche zoals die bij elke stap was.
- Draait dezelfde testcases tegen elke versie voor die live gaat.
Wat het nooit doet
- Zijn eigen verzoek goedkeuren, of zijn eigen grens optrekken.
- De agent laten handelen op een klant terwijl een verzoek op een mens wacht.
- Een klant iets sturen dat een mens heeft teruggestuurd.
The console watches and stops; the agent and its model stay yours. Where runs are kept, who can open them and for how long is decided and written down before a real customer’s data goes in.
Wil je dit echt laten bouwen?
Vertel me wat de jouwe moet doen. In 20 minuten weet je of het de moeite is om te bouwen, en wat ik uit deze tekening zou schrappen.