Definitie: AI-evaluatie, in het Engels vaak kortweg evals genoemd, is het systematisch meten van de kwaliteit van de uitkomsten van een AI-toepassing aan de hand van vooraf vastgelegde testgevallen en criteria. Evals laten zien of een taalmodel, prompt of AI-workflow doet wat de bedoeling is, en of een wijziging de kwaliteit verbetert of verslechtert.
In het kort
- Evals zijn voor AI-toepassingen wat tests zijn voor gewone software, maar dan voor uitkomsten die niet altijd hetzelfde zijn.
- Er zijn drie manieren van beoordelen: met vaste regels, door mensen en door een ander taalmodel (LLM-as-a-judge).
- De basis is een set echte voorbeelden met per voorbeeld duidelijke criteria voor goed en fout.
- Evals worden gebruikt vóór livegang en daarna om de kwaliteit in de praktijk te blijven volgen.
Wat zijn AI evals?
Gewone software is voorspelbaar: dezelfde invoer geeft dezelfde uitvoer. Een test kan dus simpelweg controleren of de uitkomst klopt. Bij AI-toepassingen op basis van een taalmodel ligt dat anders. Hetzelfde verzoek kan verschillende antwoorden opleveren, en vaak zijn meerdere antwoorden goed. Een samenvatting kan op tien manieren correct zijn, en op honderd manieren net niet.
AI-evaluatie lost dat op door kwaliteit meetbaar te maken. Thoughtworks omschrijft evals als het systematisch beoordelen van de nauwkeurigheid en betrouwbaarheid van een taalmodel aan de hand van vooraf vastgelegde maatstaven en bedrijfsdoelen. LangWatch vergelijkt het met analytics, maar dan voor de output van AI.
Zonder evals beoordeel je een AI-toepassing op gevoel: je probeert een paar vragen, het antwoord ziet er goed uit en je gaat live. Dat werkt tot iemand een vraag stelt die je niet had bedacht, of tot een nieuwe modelversie net iets anders reageert.
Waarom zijn evals belangrijk?
- Wijzigingen veilig doorvoeren. Een aangepaste prompt of een nieuw model kan het ene probleem oplossen en een ander veroorzaken. Evals laten dat zien voordat gebruikers het merken.
- Modellen vergelijken. Is een goedkoper model goed genoeg voor deze taak? Met dezelfde testset kun je dat meten.
- Kwaliteit aantonen. Aan klanten, collega’s of een toezichthouder kun je laten zien hoe de toepassing presteert.
- Fouten begrijpen. Een goede evaluatie laat niet alleen zien dat iets fout gaat, maar ook welk soort fout het vaakst voorkomt.
Welke soorten evaluatie zijn er?
TrueFoundry onderscheidt drie manieren om uitkomsten te beoordelen:
| Methode | Hoe het werkt | Voordeel | Nadeel |
|---|---|---|---|
| Regelgebaseerd | Vergelijken met een vast antwoord of controleren met een regel | Objectief, snel en goedkoop | Alleen voor goed afgebakende taken |
| Menselijke beoordeling | Een deskundige beoordeelt de uitkomst | Beste oordeel over nuance en kwaliteit | Traag en duur |
| LLM-as-a-judge | Een ander taalmodel beoordeelt de uitkomst aan de hand van criteria | Schaalbaar voor open taken | Kan zelf fouten en vooroordelen hebben |
Regelgebaseerde controles werken goed voor bijvoorbeeld: staat het juiste ordernummer in het antwoord, is de uitvoer geldige JSON, valt het bedrag binnen een bandbreedte? Voor een samenvatting of een klantantwoord is een menselijk oordeel of een LLM-judge nodig.
Daarnaast is er onderscheid in moment. Thoughtworks noemt evaluatie vóór de livegang, tijdens de ontwikkeling, en evaluatie in productie, om de kwaliteit te blijven volgen.
Hoe werkt LLM-as-a-judge?
Bij LLM-as-a-judge krijgt een taalmodel de vraag, het antwoord en een set criteria, en geeft het een oordeel. PostHog en Leanware geven een aantal praktische adviezen:
- Eén criterium per beoordeling. Meerdere criteria in één prompt maken het oordeel onbetrouwbaar.
- Specifieke criteria. “Noemt het antwoord de leverdatum uit de bron?” werkt beter dan “Is het antwoord goed?”.
- Voorbeelden van goed en fout in de instructie voor de judge, inclusief randgevallen.
- Lage temperatuur, zodat het oordeel zo consistent mogelijk is.
- Een uitweg voor niet van toepassing, zodat een criterium niet onterecht faalt.
LangWatch raadt aan om met binaire oordelen te werken, geslaagd of niet geslaagd, in plaats van vage schalen. En belangrijk: controleer de judge zelf. Vergelijk zijn oordelen met die van een mens op een deel van de voorbeelden, en pas de instructie aan als ze te vaak afwijken.
Hoe zet je evals op?
Een praktische aanpak, gebaseerd op wat LangWatch en Leanware beschrijven:
- Verzamel echte voorbeelden. Gebruik echte vragen of documenten uit de praktijk, inclusief rommelige en lastige gevallen.
- Analyseer fouten. Bekijk een flinke reeks uitkomsten en noteer wat er misgaat. LangWatch noemt 100 tot 200 interacties als startpunt.
- Groepeer de fouten in soorten, zoals verzonnen feiten, verkeerde toon of ontbrekende informatie.
- Bepaal criteria per fouttype, zo concreet mogelijk.
- Bouw evaluatoren: regels waar het kan, een LLM-judge waar het moet, menselijke controle voor een steekproef.
- Draai de set bij elke wijziging van prompt, model of bronnen en vergelijk met de vorige uitkomst.
- Ververs de set regelmatig met nieuwe gevallen uit de praktijk.
Over de omvang zegt Leanware: 100 tot 200 voorbeelden geven richting, voor betrouwbare beslissingen zijn er 500 of meer nodig. LangWatch adviseert meestal vier tot zeven evaluatoren per toepassing.
Een voorbeeld van evalcriteria
Stel, een AI-assistent beantwoordt vragen van klanten op basis van productdocumentatie. Mogelijke criteria:
| Criterium | Soort controle |
|---|---|
| Het antwoord is gebaseerd op de meegegeven bronnen | LLM-judge |
| Er worden geen prijzen of levertijden genoemd die niet in de bron staan | LLM-judge plus regel |
| Het antwoord verwijst bij twijfel naar een medewerker | LLM-judge |
| Het antwoord is in het Nederlands | Regel |
| Het antwoord bevat geen persoonsgegevens van andere klanten | Regel plus steekproef door een mens |
| De toon past bij de richtlijnen van het bedrijf | Menselijke steekproef |
Evals, testen en monitoring: wat is het verschil?
| Softwaretest | Eval | Monitoring | |
|---|---|---|---|
| Doel | Werkt de code? | Is de AI-uitkomst goed genoeg? | Wat gebeurt er in productie? |
| Uitkomst | Geslaagd of mislukt | Score of percentage geslaagd per criterium | Trends, fouten en afwijkingen |
| Moment | Bij elke wijziging | Bij wijzigingen en periodiek | Doorlopend |
LangWatch noemt evals de unit tests van AI, en scenario’s, waarbij een heel gesprek of werkproces wordt gesimuleerd, de integratietests.
Welke tools worden gebruikt?
Leanware noemt onder meer LangSmith, Braintrust, Phoenix van Arize, OpenAI Evals en Promptfoo als gereedschap voor evaluaties. PostHog biedt LLM-as-a-judge binnen een analyticsplatform, met kant-en-klare criteria voor onder meer relevantie, hallucinatie en toxiciteit. Voor een eenvoudige toepassing is een eigen script vaak genoeg: een bestand met testgevallen, een aanroep naar het model en een overzicht van de resultaten per criterium.
Veelgemaakte fouten
- Alleen op gevoel testen met een paar zelfbedachte vragen.
- Te algemene criteria, zoals “is het antwoord behulpzaam?”.
- De LLM-judge blind vertrouwen zonder vergelijking met menselijke beoordeling.
- Een testset die nooit verandert, terwijl het gebruik in de praktijk wel verandert.
- Alleen het model evalueren en niet de hele toepassing, inclusief het ophalen van bronnen en de vervolgstappen.
Wat betekent dit voor jouw project?
Bij Elevtr, mijn eigen software voor het voorbereiden en publiceren van LinkedIn-content, is het onderscheid tussen input, voorstel, keuze en uitvoering de kern. Een gebruiker moet begrijpen wat de software voorbereidt en wat er echt wordt gepubliceerd. Evals horen bij het voorstel: is wat de software voorbereidt goed genoeg om aan iemand voor te leggen?
Bij Contentooo zie je hetzelfde in de stappen conceptgeneratie, controle en vrijgave. Waar AI helpt bij verwerking, blijft inhoudelijke controle nodig. Evals maken die controle meetbaar, maar vervangen haar niet.
Daarom wil ik bij een AI-toepassing vooraf duidelijk hebben wat we met een eerste versie bedoelen, en wat een goed resultaat is. Een paar uitgewerkte voorbeelden van goed en fout zijn vaak al het begin van een bruikbare testset.
Vraag? Stuur me welke AI-taak je wilt inzetten en een paar voorbeelden van wat een goed resultaat is. Dan bepalen we samen hoe je de kwaliteit meet en wat de eerste stap is.
Veelgestelde vragen over AI evals
Wat zijn AI evals?
AI evals zijn systematische tests waarmee je de kwaliteit van de uitkomsten van een AI-toepassing meet, aan de hand van vaste testgevallen en criteria. Ze laten zien of een wijziging in prompt, model of bronnen de kwaliteit verbetert of verslechtert.
Wat is LLM-as-a-judge?
LLM-as-a-judge is een evaluatiemethode waarbij een taalmodel de uitkomst van een ander model beoordeelt aan de hand van vooraf bepaalde criteria. Het is schaalbaar voor open taken, maar de oordelen moeten worden gecontroleerd met menselijke beoordeling.
Hoeveel testgevallen heb je nodig voor LLM-evaluatie?
Volgens Leanware geven 100 tot 200 voorbeelden een eerste richting, en zijn 500 of meer nodig voor betrouwbare beslissingen. Belangrijker dan het aantal is dat de voorbeelden uit de echte praktijk komen en ook lastige gevallen bevatten.
Verwante termen
Large Language Model · Prompt engineering · AI-hallucinatie · RAG · Fine-tuning · AI-agent · Foundation model
← Terug naar de kennisbank