Het is een scenario dat we in de AI-consultancy vrijwel wekelijks tegenkomen. Een directielid of manager leest een veelbelovend artikel over Generatieve AI, roept een team bijeen en zegt: "We moeten iets met ChatGPT doen voor onze interne documenten." Vervolgens wordt deze opdracht over de schutting gegooid bij de IT-afdeling of een innovatieteam.
Het resultaat? Eindeloze "proof of concepts" die nergens toe leiden, gefrustreerde ontwikkelaars, ontspoorde budgetten en uiteindelijk de conclusie dat "AI toch nog niet klaar is voor ons bedrijf". Het probleem ligt in de meeste gevallen echter niet bij de technologie, maar bij een fundamenteel gebrek aan scoping.
In dit artikel leggen we exact uit hoe u een vage AI-vraag omzet naar een strak afgebakende, realistische en uitvoerbare opdracht. We behandelen het formuleren van de juiste acceptatiecriteria, het vastleggen van randvoorwaarden en we bieden een direct bruikbaar AI Project Scoping Canvas.
Waarom is het scopen van AI anders dan traditionele IT?
Voordat we de methodiek in duiken, is het cruciaal om te begrijpen waarom u een AI-project niet op dezelfde manier kunt scopen als de bouw van een reguliere webapplicatie of het uitrollen van een nieuw CRM-systeem.
Traditionele IT is deterministisch. Als u in een webwinkel op 'Bestellen' klikt, verwacht u 100 van de 100 keer hetzelfde resultaat. De regels zijn door mensen geprogrammeerd (als X, dan Y). Bij deterministische systemen kunt u dus binaire acceptatiecriteria schrijven: een feature werkt, of hij werkt niet.
AI, en specifiek Large Language Models (LLM's) of machine learning systemen, zijn probabilistisch. Ze werken op basis van waarschijnlijkheden. Het model genereert een output die statistisch gezien het meest logisch is. Dit betekent dat 100% foutloosheid een onmogelijk streven is. U kunt altijd te maken krijgen met onverwachte output, variaties in formulering of zelfs hallucinaties (waarbij het model feitelijk onjuiste informatie vol overtuiging presenteert). Leer overigens meer over het voorkomen van LLM hallucinaties op ons educatieve domein.
Daarnaast is bij AI de data onderdeel van de logica. Bij traditionele software levert slechte data hooguit een leeg veld of een foute rapportage op. Bij AI leidt slechte of incomplete trainings- of contextdata tot een fundamenteel falend systeem. U kunt dus geen AI-project scopen zonder de onderliggende data te scopen.
Stap 1: Het echte probleem scherp krijgen (Problem Framing)
De eerste stap in het scopen is het negeren van de technologie. "We willen een AI-chatbot" is een oplossing, geen probleem. De vraag is: welk zakelijk of operationeel probleem proberen we op te lossen?
Gebruik de 'Five Whys' (Vijf keer 'Waarom') techniek om tot de kern te komen:
- Waarom wil je een AI-chatbot? Omdat de klantenservice overbelast is.
- Waarom zijn ze overbelast? Omdat we groeien, maar we geen extra personeel kunnen vinden.
- Waarom kost het de huidige medewerkers zoveel tijd? Omdat ze per dag 200 telefoontjes en mails krijgen over de status van retourzendingen.
- Waarom bellen klanten daarover? Omdat onze track & trace pagina voor retouren niet up-to-date is.
- Waarom is die niet up-to-date? Omdat het magazijnsysteem niet goed synchroniseert met de website.
Ineens is het probleem niet meer een gebrek aan AI, maar een synchronisatieprobleem in de backend. Mocht u na deze analyse toch uitkomen op een AI-toepassing (bijvoorbeeld het automatisch samenvatten van lange, complexe juridische dossiers ter voorbereiding van advocaten), dan heeft u nu een kraakhelder doel voor ogen: Tijdsbesparing realiseren bij de voorbereiding van juridische dossiers.
Stap 2: Succescriteria en Acceptatiecriteria Formuleren
Nu het probleem helder is, moeten we definiëren wanneer het project geslaagd is. Hierbij maken we een hard onderscheid tussen Succescriteria (business perspectief) en Acceptatiecriteria (technisch en functioneel perspectief).
Succescriteria (De Business Case)
Succescriteria gaan over de waarde die het project oplevert. Bijvoorbeeld:
- De gemiddelde afhandeltijd per e-mail daalt met 30%.
- Er worden 40 uur per week bespaard op handmatige data-invoer.
- De klanttevredenheid (CSAT) rondom e-mail support blijft gelijk of stijgt ten opzichte van de huidige meting (benchmark: 7.8).
Tip: Zorg dat u de huidige situatie (de nulmeting) kent, anders kunt u het succes niet aantonen. Wilt u dit financieel maken? Lees dan ons artikel over het berekenen van de ROI van AI-projecten.
Acceptatiecriteria (De Techniek & Functionaliteit)
Dit is waar probabilistische systemen lastig worden. U kunt niet schrijven: "Het model mag nooit een fout maken." U moet nadenken over acceptabele foutmarges en snelheden.
Belangrijke aanname bij AI Acceptatiecriteria
Accepteer dat een AI-systeem zelden beter zal presteren dan de 'ground truth' of een menselijke expert met beperkte tijd. Stel als doel dat het systeem 'goed genoeg' is om de business value te behalen, niet dat het perfect is. Een mens maakt immers ook fouten.
Voorbeelden: Goed vs. Slecht
| Domein | Slecht Acceptatiecriterium (✗) | Goed Acceptatiecriterium (✓) |
|---|---|---|
| Nauwkeurigheid | Het systeem mag geen enkele fout maken bij het classificeren van inkomende documenten. | Het systeem classificeert in minimaal 85% van de gevallen het document correct. Bij een betrouwbaarheidsscore onder de 70% routeert het systeem het document naar een menselijke medewerker (Human-in-the-Loop). |
| Snelheid / Latency | De AI moet direct antwoorden. | De Time-To-First-Token (TTFT) is gemiddeld minder dan 1.5 seconden en de totale generatietijd per antwoord (tot max 500 woorden) overschrijdt de 5 seconden niet in 95% van de gevallen. |
| Reikwijdte (Scope) | De chatbot moet alle vragen van klanten over hun producten kunnen beantwoorden. | De chatbot ondersteunt in deze fase specifiek drie flows: Wachtwoord vergeten, Status van bestelling (API-koppeling) en Retourbeleid raadplegen. Alle overige intents resulteren in een hand-over. |
| Veiligheid & Guardrails | De AI mag geen rare dingen zeggen tegen klanten. | Bij het invoeren van prompts gerelateerd aan politiek, geweld, of concurrentie, of bij prompt-injectie pogingen, retourneert het systeem een vooraf gedefinieerd weigeringsbericht. Dit wordt wekelijks getest met een rode-team testset van 100 injectie-prompts. |
Stap 3: De Scope Afbakenen (In/Out)
Scope creep (het ongemerkt steeds groter worden van het project) is de sluipmoordenaar van AI-initiatieven. Tijdens een project ontdekken ontwikkelaars vaak nieuwe mogelijkheden van een model, of krijgt de business nieuwe ideeën ("Oh, kan hij dit óók? Laten we dat toevoegen!").
Het is essentieel om keihard vast te leggen wat Out of Scope is. Soms is de Out of Scope lijst belangrijker dan de In Scope lijst.
- In Scope: Het ophalen van klantinformatie uit het interne CRM via een RAG-architectuur (Retrieval-Augmented Generation). Ondersteunde talen: Nederlands en Engels.
- Out of Scope: Het wijzigen (schrijven) van data in het CRM door het model. Real-time spraakherkenning. Ondersteuning voor Franse of Duitse queries. Integratie met het HR-systeem.
Stap 4: Aannames en Risico's Documenteren
Bij de start van een AI-traject weet u nog niet alles. De kwaliteit van uw data is vaak een zwarte doos totdat u ermee aan de slag gaat. Documenteer daarom uw aannames en identificeer direct de projectrisico's.
Veelvoorkomende aannames:
- We gaan ervan uit dat de benodigde API-toegang tot de SaaS-applicatie van leverancier X binnen 2 weken geregeld kan worden.
- We gaan ervan uit dat de huidige data (bijv. de handleidingen) accuraat, up-to-date en in digitaal uitleesbaar formaat (geen gescande, schuine PDF's zonder OCR) beschikbaar zijn.
- We gaan ervan uit dat de kosten voor tokens (LLM usage) binnen het initiële budget van €500 per maand blijven bij het verwachte volume van 10.000 requests.
Stap 5: Data- en Toegangsvereisten (Governance)
Zonder data, geen bruikbare AI. Voordat er één regel code wordt geschreven of één prompt wordt ge-engineerd, moet duidelijk zijn welke data benodigd is en hoe deze wordt ontsloten.
Stel uzelf de volgende vragen:
- Locatie: Waar staat de data nu? (SharePoint, AWS S3, SQL database, externe leverancier?)
- Formaat: Is de data gestructureerd (tabellen) of ongestructureerd (tekst, audio, video)?
- Privacy & Security: Bevat de data Persoonlijk Identificeerbare Informatie (PII)? Moet deze geanonimiseerd worden voordat deze naar een LLM wordt gestuurd? Dit is een kritiek punt onder de AVG/GDPR. Meer hierover leest u in ons artikel over AI-governance in het MKB.
- Toegangsrechten: Als de AI namens medewerker X een zoekopdracht doet in SharePoint, mag de AI dan ook HR-documenten zien die medewerker X normaliter niet mag inzien? Het inregelen van Role-Based Access Control (RBAC) in combinatie met AI is vaak het meest complexe deel van het traject.
Stap 6: Een Realistische Fasering (Van Pilot naar Productie)
Een succesvol AI-project wordt zelden in één keer van begin tot eind gebouwd en gelanceerd (de 'Big Bang' aanpak). Bij AI leert u gaandeweg hoe het model op uw specifieke bedrijfsdata reageert. Wij adviseren daarom altijd een gefaseerde aanpak. Als u dit vastlegt in uw projectscope, managet u direct de verwachtingen van de directie.
- Fase 1: Data Discovery & Haalbaarheid (1-2 weken) - Kan het eigenlijk wel? Is de data goed genoeg? Go/No-Go moment.
- Fase 2: Proof of Concept (PoC) (2-4 weken) - Een snelle, technische validatie. We bouwen het systeem met een statische export van een klein deel van de data om de kwaliteit van de LLM output te testen. Geen complexe integraties.
- Fase 3: De Pilot (Minimum Viable Product) (4-6 weken) - Een test met een afgesloten groep eindgebruikers in een gecontroleerde omgeving, geïntegreerd in de echte systemen. Lees voor de exacte invulling van deze fase onze gids over de 30-dagen AI Pilot.
- Fase 4: Naar Productie en Schaal - Uitrol naar de gehele organisatie, inclusief monitoring (LLMOps) en doorontwikkeling. Hoe u deze overstap maakt, behandelen we in van pilot naar productie.
Het Concrete AI Project Scoping Canvas
Om u te helpen bij het daadwerkelijk vastleggen van al deze elementen, hebben we het LLMnet AI Project Scoping Canvas ontwikkeld. Dit is een pragmatisch format dat u direct kunt kopiëren naar uw eigen tekstverwerker of wiki-systeem (zoals Confluence of Notion).
Zorg dat dit document wordt ingevuld tijdens een kick-off meeting waar zowel de technische lead, de data-eigenaar, als de zakelijke opdrachtgever bij aanwezig zijn.
Conclusie
Het succes van een AI-project wordt niet bepaald door het kiezen van het nieuwste model met de meeste parameters, of door het schrijven van de meest ingenieuze prompts. Het succes wordt, net als in de bouw, bepaald in de tekenkamer.
Door de tijd te nemen om uw AI-project rigoureus te scopen – door het echte probleem te identificeren, probabilistische acceptatiecriteria te hanteren en de data-eisen keihard vast te leggen – voorkomt u dat uw project strandt in de beruchte "pilot vagevuur" fase. Gebruik bovenstaand canvas bij uw volgende AI-initiatief en u zult merken dat discussies over verwachtingen en resultaten aanzienlijk soepeler zullen verlopen.