Definitie: Multimodale AI is kunstmatige intelligentie die meerdere soorten gegevens tegelijk kan verwerken en combineren, zoals tekst, afbeeldingen, audio en video. Waar een unimodaal model met één soort invoer werkt, kan een multimodaal model bijvoorbeeld een foto bekijken, een vraag erover lezen en daar in tekst of spraak op antwoorden.
In het kort
- Een modaliteit is een soort gegevens: tekst, beeld, geluid, video of sensordata.
- Multimodale modellen zetten alle invoer om in een gedeelde, numerieke vorm, zodat ze verbanden tussen bijvoorbeeld een afbeelding en een tekst kunnen leggen.
- Bekende voorbeelden zijn taalmodellen die ook afbeeldingen lezen, zoals GPT-4V en Gemini, en toepassingen die documenten, foto’s en spraak combineren.
- Het voordeel is rijker begrip van context; de nadelen zijn hogere rekenkosten en meer complexiteit in gegevens en controle.
Wat is multimodale AI?
Mensen nemen de wereld waar met meerdere zintuigen tegelijk. We horen wat iemand zegt, zien zijn gezichtsuitdrukking en lezen wat er op een bord staat. Pas samen geeft dat de volledige betekenis. Multimodale AI probeert iets vergelijkbaars: informatie uit verschillende bronnen combineren tot één samenhangend beeld.
Lange tijd werkten AI-systemen met één soort gegevens. Een taalmodel las tekst, een beeldherkenningsmodel keek naar foto’s, een spraakmodel luisterde naar audio. Multimodale AI brengt die samen. Volgens Salesforce maakt dat een rijker begrip van context mogelijk, zoals het herkennen van sarcasme of de betekenis van een meme, waar tekst en beeld samen iets anders zeggen dan elk afzonderlijk.
Welke modaliteiten zijn er?
| Modaliteit | Voorbeelden van invoer |
|---|---|
| Tekst | E-mails, documenten, chatberichten, formulieren |
| Beeld | Foto’s, scans, schermafbeeldingen, tekeningen |
| Audio | Gesprekken, spraakberichten, geluiden van machines |
| Video | Opnames van instructies, camerabeelden |
| Sensordata | Temperatuur, trillingen, locatie, radar |
| Gestructureerde gegevens | Tabellen, metingen, gegevens uit een database |
Een systeem is multimodaal als het minstens twee van deze soorten tegelijk verwerkt, of als invoer en uitvoer van een andere soort zijn, zoals tekst naar beeld.
Hoe werkt multimodale AI?
Salesforce beschrijft het proces in drie stappen:
- Verwerking per modaliteit. Elke soort invoer wordt eerst verwerkt door een onderdeel dat daarin gespecialiseerd is, bijvoorbeeld een taalmodel voor tekst en een beeldmodel voor afbeeldingen.
- Fusie van informatie. Alle invoer wordt omgezet in vectoren, reeksen getallen in een gedeelde ruimte. Zo kan het model verbanden leggen tussen bijvoorbeeld het woord “kras” en een beschadiging op een foto.
- Uniforme uitvoer. Het model geeft één antwoord, bijvoorbeeld een beschrijving, een classificatie of een advies.
Er zijn verschillende manieren om de fusie te doen. Bij early fusion worden de ruwe gegevens vroeg in het proces gecombineerd. Bij late fusion verwerkt elk onderdeel zijn eigen invoer en worden pas de uitkomsten samengevoegd. Moderne grote modellen zijn vaak vanaf het begin op meerdere modaliteiten getraind, waardoor die grens vervaagt.
Unimodale en multimodale AI vergeleken
| Unimodale AI | Multimodale AI | |
|---|---|---|
| Invoer | Eén soort gegevens | Meerdere soorten tegelijk |
| Context | Beperkt tot wat in die ene bron staat | Rijker, door bronnen te combineren |
| Voorbeeld | Spamfilter op tekst | Assistent die een foto van een factuur leest en vragen erover beantwoordt |
| Complexiteit | Lager | Hoger, in data, training en rekenkracht |
| Kosten per taak | Meestal lager | Meestal hoger |
Voorbeelden van multimodale AI
- Documentverwerking. Een model leest een gescande factuur of een foto van een formulier en haalt er de gegevens uit, inclusief tabellen en handschrift.
- Klantenservice. Een klant stuurt een foto van een defect product met een korte uitleg, en het systeem herkent het probleem en het product.
- Zorg. Volgens Salesforce kunnen systemen patiëntdossiers, scans en zelfs stemgeluid combineren ter ondersteuning van zorgverleners.
- Autonome voertuigen. Camera, radar en lidar worden gecombineerd om de omgeving te begrijpen.
- Visueel zoeken. Je maakt een foto van een product en vindt vergelijkbare artikelen in een webwinkel.
- Toegankelijkheid. Afbeeldingen worden automatisch beschreven voor mensen die slecht zien, en spraak wordt omgezet in ondertiteling.
- Contentcreatie. Op basis van een tekstbeschrijving wordt een afbeelding, video of gesproken tekst gemaakt.
Wat zijn de voordelen?
- Meer context. Een foto plus uitleg zegt meer dan een van beide alleen.
- Natuurlijkere interactie. Gebruikers kunnen een foto sturen, praten of typen, wat het beste past.
- Minder handwerk. Gegevens uit beelden en documenten hoeven niet meer handmatig te worden overgetypt.
- Robuuster. Als één bron onduidelijk is, kan een andere bron aanvullen.
Wat zijn de uitdagingen?
- Rekenkracht en kosten. Het verwerken van beeld, audio en video is zwaarder dan alleen tekst.
- Uitlijning van gegevens. Gegevens uit verschillende bronnen moeten bij elkaar horen en op elkaar aansluiten.
- Privacy. Foto’s, opnames en scans bevatten vaak persoonsgegevens, soms meer dan je op het eerste gezicht ziet.
- Fouten zijn lastiger te herkennen. Een verkeerd gelezen getal uit een scan valt minder op dan een fout in tekst.
- Interpreteerbaarheid. Het is moeilijker na te gaan waarom een model tot een uitkomst komt.
Wanneer is multimodale AI zinvol voor een bedrijf?
Multimodale AI is vooral interessant als er in een proces nu informatie handmatig wordt overgezet van beeld of geluid naar tekst of gegevens. Denk aan foto’s van schade bij een melding, scans van papieren formulieren, opnames van klantgesprekken of schermafbeeldingen bij supportvragen.
Begin klein: kies één soort invoer die vaak terugkomt, verzamel echte voorbeelden en test of een model de benodigde informatie betrouwbaar herkent. Bouw een controle in, zodat een medewerker de uitkomst kan bevestigen of corrigeren.
Wat betekent dit voor jouw project?
Bij een nieuw idee kijk ik eerst naar het proces: wat komt binnen, wie moet ermee verder en welke informatie heeft die persoon nodig? Als dat wat binnenkomt een foto, scan of opname is, kan multimodale AI een logische schakel zijn. Maar de waarde zit in wat er daarna gebeurt: de juiste gegevens op de juiste plek, bij de persoon die ermee verder moet.
Ik onderzoek daarbij eerst of een bestaand pakket, een koppeling of maatwerk het beste past. Voor het uitlezen van standaarddocumenten bestaan vaak al goede diensten. Maatwerk is zinvol als de invoer en de vervolgstappen specifiek zijn voor jouw werk.
Vraag? Stuur me wat er bij jullie binnenkomt als foto, scan of opname, en wat iemand daar nu handmatig mee doet. Dan bepalen we samen de logische eerste stap.
Veelgestelde vragen over multimodale AI
Wat is multimodale AI?
Multimodale AI is kunstmatige intelligentie die meerdere soorten gegevens tegelijk verwerkt en combineert, zoals tekst, afbeeldingen, audio en video. Daardoor kan het verbanden leggen tussen bijvoorbeeld een foto en een vraag erover.
Wat is het verschil tussen multimodale en unimodale AI?
Unimodale AI werkt met één soort gegevens, zoals alleen tekst of alleen beeld. Multimodale AI combineert meerdere soorten, wat meer context oplevert maar ook meer rekenkracht en complexiteit vraagt.
Wat zijn voorbeelden van multimodale AI?
Voorbeelden zijn taalmodellen die afbeeldingen kunnen lezen, systemen die gegevens uit gescande documenten halen, visueel zoeken in webwinkels en zelfrijdende auto’s die camera, radar en lidar combineren.
Verwante termen
Foundation model · Large Language Model · Natural Language Processing · AI-documentverwerking · OCR en documentherkenning · AI-chatbot
← Terug naar de kennisbank