Wat is multimodale AI? Als AI meer kan dan lezen

Een foto zegt meer dan een prompt

AI begon als iets waar je tekst in typte en tekst uit kreeg. Inmiddels kun je een foto van een kapotte machine uploaden en vragen wat er mis is. Dat heet multimodale AI. In deze blog lees je wat het is, hoe het werkt en waar het je tijd bespaart.

Wat is multimodale AI?

Een modaliteit is een soort informatie: tekst, beeld, geluid of video. Multimodale AI kan met meer dan één daarvan overweg, vaak zelfs in hetzelfde gesprek.

Dat kan twee kanten op werken:

• Begrijpen. Je geeft de AI een foto, scan, PDF of spraakbericht, en die snapt wat erin staat. Een factuur uitlezen, een handgeschreven aantekening overtypen, een grafiek toelichten.
• Maken. De AI maakt zelf iets anders dan tekst, zoals een afbeelding, een gesproken antwoord of een korte video.

Voor de meeste bedrijven is het begrijpen het interessantst. Een groot deel van je bedrijfsinformatie zit niet in nette tekstbestanden, maar in foto's, scans, schermafbeeldingen en PDF's. Multimodale AI maakt die informatie ineens bruikbaar.

Hoe werkt multimodale AI?

In onze blog over hoe een LLM werkt leggen we uit dat een taalmodel tekst opknipt in tokens en daarmee rekent. Multimodale modellen doen in de kern hetzelfde met andere soorten informatie.

Een afbeelding wordt opgedeeld in kleine vakjes, die elk worden omgezet in getallen waarmee het model kan rekenen. Geluid wordt op een vergelijkbare manier in korte stukjes geknipt. Zo komen tekst, beeld en geluid in dezelfde "taal" terecht, en kan het model verbanden leggen tussen wat het leest en wat het ziet.

Dat leert het model op dezelfde manier als tekst: door enorme hoeveelheden voorbeelden te bekijken, zoals afbeeldingen met beschrijvingen erbij. Zo leert het dat een bepaald patroon van pixels bij het woord "factuur" of "hond" hoort.

Ook een afbeelding neemt ruimte in het contextvenster. Twintig foto's in één gesprek kunnen dat venster dus flink vullen.

Wat kun je ermee als ondernemer?

Een paar voorbeelden die je vandaag al kunt proberen:

• Bonnetjes en facturen uitlezen. Maak een foto en laat de AI bedrag, datum, btw en leverancier in een tabel zetten.
• Handgeschreven aantekeningen digitaliseren. Een foto van het whiteboard na een overleg wordt een overzichtelijke actielijst.
• Schermafbeeldingen laten uitleggen. Een foutmelding of een onduidelijk dashboard? Maak een screenshot en vraag wat het betekent.
• PDF's met tabellen en grafieken doorzoeken. Een offerte van een leverancier of een jaarverslag, inclusief de cijfers in de grafieken.
• Foto's van werk of producten beschrijven. Een installateur kan een foto van een meterkast maken en laten checken wat er in de werkbon moet. Een webshop kan productfoto's laten omzetten in een eerste versie van productteksten.
• Spraakmemo's verwerken. In de auto inspreken wat er besproken is, en het laten uitwerken tot een nette mail of verslag.

Waar je op moet letten

• AI kan ook beelden verkeerd lezen. Een vage foto, een rare hoek of slecht handschrift en de AI gokt. Net als bij tekst klinkt dat antwoord dan even zeker. Controleer cijfers die je overneemt uit een foto of scan altijd. Meer hierover lees je in onze blog over AI-hallucinaties.
• Kleine details gaan makkelijk mis. Kleine lettertjes, details in een drukke tekening of precieze afmetingen zijn lastiger dan de grote lijnen.
• Let op wat er op de foto staat. Een foto van je bureau bevat misschien ook een klantdossier of een geopende mail op de achtergrond. Op een foto van een factuur staan persoonsgegevens en bankgegevens. Voor gevoelige documenten kies je een zakelijke versie van de tool en check je wat er met je data gebeurt.
• Niet elke tool kan alles. Sommige tools begrijpen beeld maar maken het niet, andere doen geen video of geluid. En gratis versies hebben vaak een limiet op het aantal uploads.