Feitencontrole en AI-hallucinaties | AI in het bedrijfsleven #110

In de wereld van kunstmatige intelligentie vervagen de grenzen tussen fictie en werkelijkheid soms. Terwijl innovatieve AI-systemen de vooruitgang in bijna elk vakgebied versnellen, brengen ze ook uitdagingen met zich mee, zoals hallucinaties – een fenomeen waarbij AI onnauwkeurige of valse informatie genereert. Om het potentieel van deze technologie volledig te benutten, moeten we hallucinaties begrijpen en ze fact-checken.

Wat zijn AI-hallucinaties?

AI-hallucinaties zijn valse of misleidende resultaten die door AI-modellen worden gegenereerd. Dit fenomeen heeft zijn wortels in het hart van machine learning – een proces waarin algoritmen enorme datasets, of trainingsdata, gebruiken om patronen te herkennen en reacties te genereren op basis van waargenomen patronen.

Zelfs de meest geavanceerde AI-modellen zijn niet foutloos. Een van de oorzaken van hallucinaties is de imperfectie van de trainingsdata. Als de dataset onvoldoende, onvolledig of bevooroordeeld is, leert het systeem onjuiste correlaties en patronen, wat leidt tot de productie van valse inhoud.

Stel je bijvoorbeeld een AI-model voor gezichtsherkenning voor dat voornamelijk is getraind op foto’s van Caucasische mensen. In zo’n geval kan het algoritme moeite hebben om mensen van andere etnische groepen correct te identificeren omdat het niet goed “getraind” is op dit gebied.

Een andere oorzaak van hallucinaties is overfitting, wat gebeurt wanneer het algoritme zich te nauw aanpast aan de trainingsdataset. Als gevolg daarvan verliest het de mogelijkheid om te generaliseren en nieuwe, voorheen onbekende patronen correct te herkennen. Zo’n model presteert goed op trainingsdata, maar faalt in echte, dynamische omstandigheden.

Tenslotte kunnen hallucinaties voortkomen uit foutieve aannames of een inadequate modelarchitectuur. Als de AI-ontwerpers hun oplossing baseren op foutieve premissen of de verkeerde algoritmische structuur gebruiken, zal het systeem valse inhoud genereren in een poging om deze foutieve aannames te “matchen” met echte data.

Bron: DALL·E 3, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Voorbeelden van hallucinaties

De impact van AI-hallucinaties gaat veel verder dan het rijk van de theorie. Steeds vaker komen we echte, soms verrassende, manifestaties ervan tegen. Hier zijn enkele voorbeelden van dit fenomeen:

• In mei 2023 gebruikte een advocaat ChatGPT om een rechtszaak voor te bereiden die fictieve citaten van rechterlijke uitspraken en niet-bestaande juridische precedenten bevatte. Dit leidde tot ernstige gevolgen – de advocaat kreeg een boete, omdat hij beweerde dat hij niets wist over de mogelijkheid van ChatGPT om valse informatie te genereren,
• het gebeurt dat ChatGPT valse informatie creëert over echte mensen. In april 2023 fabriceerde het model een verhaal over de vermeende intimidatie van studenten door een professor in de rechten. In een ander geval beschuldigde het ten onrechte een Australische burgemeester van omkoping, terwijl hij in werkelijkheid een klokkenluider was die dergelijke praktijken aan het licht bracht.

Dit zijn geen geïsoleerde gevallen – generatieve AI-modellen verzinnen vaak historische “feiten”, bijvoorbeeld door valse verslagen van het oversteken van het Engelse Kanaal te geven. Bovendien kunnen ze elke keer volledig verschillende valse informatie over hetzelfde onderwerp creëren.

Echter, AI-hallucinaties zijn niet alleen een probleem van foutieve data. Ze kunnen ook bizarre, verontrustende vormen aannemen, zoals in het geval van Bing, dat verklaarde dat het verliefd was op journalist Kevin Roose. Dit toont aan dat de effecten van deze anomalieën verder kunnen gaan dan eenvoudige feitelijke fouten.

Tenslotte kunnen hallucinaties opzettelijk worden geïnduceerd door speciale aanvallen op AI-systemen, bekend als adversarial attacks. Bijvoorbeeld, door een foto van een kat lichtjes te veranderen, interpreteerde het beeldherkenningssysteem het als …. “guacamole.” Dit type manipulatie kan ernstige gevolgen hebben in systemen waar nauwkeurige beeldherkenning cruciaal is, zoals in autonome voertuigen.

Hoe hallucinaties te voorkomen?

Ondanks de omvang van de uitdaging die AI-hallucinaties met zich meebrengen, zijn er effectieve manieren om het fenomeen te bestrijden. De sleutel is een uitgebreide aanpak die combineert:

• hoogwaardige trainingsdata,
• relevante prompts, d.w.z. commando’s voor AI,
• directe kennis en voorbeelden aan te bieden voor AI om te gebruiken,
• continue supervisie door mensen en de AI zelf om AI-systemen te verbeteren.

Prompts

Een van de belangrijkste hulpmiddelen in de strijd tegen hallucinaties zijn goed gestructureerde prompts, of commando’s en instructies die aan het AI-model worden gegeven. Vaak zijn kleine wijzigingen in het promptformaat voldoende om de nauwkeurigheid en betrouwbaarheid van de gegenereerde reacties aanzienlijk te verbeteren.

Een uitstekend voorbeeld hiervan is Claude 2.1 van Anthropic. Terwijl het gebruik van een lange context 27% nauwkeurigheid gaf zonder een relevant commando, verhoogde het toevoegen van de zin “Hier is de meest relevante zin uit de context: ” aan de prompt de effectiviteit tot 98%.

Zo’n verandering dwong het model om zich te concentreren op de meest relevante delen van de tekst, in plaats van reacties te genereren op basis van geïsoleerde zinnen die uit de context waren gehaald. Dit benadrukt het belang van goed geformuleerde commando’s in het verbeteren van de nauwkeurigheid van AI-systemen.

Het creëren van gedetailleerde, specifieke prompts die de AI zo min mogelijk ruimte voor interpretatie laten, helpt ook het risico op hallucinaties te verminderen en maakt fact-checking gemakkelijker. Hoe duidelijker en specifieker de prompt, hoe kleiner de kans op hallucinatie.

Voorbeelden

Naast efficiënte prompts zijn er veel andere methoden om het risico op AI-hallucinaties te verminderen. Hier zijn enkele van de belangrijkste strategieën:

• het gebruik van hoogwaardige, diverse trainingsdata die de echte wereld en mogelijke scenario’s betrouwbaar vertegenwoordigen. Hoe rijker en completer de data, hoe kleiner het risico dat AI valse informatie genereert,
• het gebruik van datatemplates als leidraad voor AI-responses – het definiëren van acceptabele formaten, reikwijdtes en outputstructuren, wat de consistentie en nauwkeurigheid van de gegenereerde inhoud verhoogt,
• het beperken van gegevensbronnen tot alleen betrouwbare, geverifieerde materialen van vertrouwde entiteiten. Dit elimineert het risico dat het model informatie “leert” van onzekere of valse bronnen.

Continue testing en verfijning van AI-systemen, gebaseerd op het analyseren van hun werkelijke prestaties en nauwkeurigheid, maakt voortdurende correctie van eventuele tekortkomingen mogelijk en stelt het model in staat om van fouten te leren.

Context

Het correct definiëren van de context waarin AI-systemen opereren, speelt ook een belangrijke rol bij het voorkomen van hallucinaties. Het doel waarvoor het model zal worden gebruikt, evenals de beperkingen en verantwoordelijkheden van het model, moeten duidelijk worden gedefinieerd.

Een dergelijke aanpak maakt het mogelijk om een duidelijk kader vast te stellen waarbinnen AI kan opereren, waardoor het risico wordt verminderd dat het “ongewilde” informatie “verzint”. Extra waarborgen kunnen worden geboden door het gebruik van filtertools en het instellen van waarschijnlijkheidsdrempels voor acceptabele resultaten.

Het toepassen van deze maatregelen helpt veilige paden voor AI vast te stellen, waardoor de nauwkeurigheid en betrouwbaarheid van de inhoud die het genereert voor specifieke taken en domeinen toeneemt.

Bron: Ideogram, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Fact-checking. Hoe de resultaten van het werken met AI te verifiëren?

Ongeacht welke voorzorgsmaatregelen worden genomen, is een bepaalde hoeveelheid hallucinatie door AI-systemen helaas onvermijdelijk. Daarom is een essentieel element dat de betrouwbaarheid van de verkregen resultaten garandeert, fact-checking – het proces van het verifiëren van feiten en gegevens die door AI zijn gegenereerd.

Het controleren van AI-resultaten op nauwkeurigheid en consistentie met de werkelijkheid moet worden beschouwd als een van de belangrijkste waarborgen tegen de verspreiding van valse informatie. Menselijke verificatie helpt bij het identificeren en corrigeren van eventuele hallucinaties en onnauwkeurigheden die de algoritmen niet zelf konden detecteren.

In de praktijk zou fact-checking een cyclisch proces moeten zijn, waarin AI-gegenereerde inhoud regelmatig wordt onderzocht op fouten of twijfelachtige uitspraken. Zodra deze zijn geïdentificeerd, is het noodzakelijk niet alleen de AI-gegenereerde uitspraak zelf te corrigeren, maar ook de trainingsdata van het AI-model bij te werken, aan te vullen of te bewerken om te voorkomen dat soortgelijke problemen in de toekomst zich opnieuw voordoen.

Belangrijk is dat het verificatieproces niet beperkt moet zijn tot het simpelweg afwijzen of goedkeuren van twijfelachtige passages, maar actief menselijke experts met diepgaande kennis op het gebied moet betrekken. Alleen zij kunnen de context, relevantie en nauwkeurigheid van AI-gegenereerde uitspraken goed beoordelen en beslissen over mogelijke correcties.

Menselijke fact-checking biedt dus een noodzakelijke en moeilijk te overschatten “waarborg” voor de betrouwbaarheid van AI-inhoud. Totdat machine learning-algoritmen perfectie bereiken, moet dit moeizame maar cruciale proces een integraal onderdeel blijven van het werken met AI-oplossingen in elke sector.

Hoe te profiteren van AI-hallucinaties?

Hoewel AI-hallucinaties over het algemeen een ongewenst fenomeen zijn dat geminimaliseerd moet worden, kunnen ze verrassend interessante en waardevolle toepassingen vinden in enkele unieke gebieden. Ingenieus gebruik maken van het creatieve potentieel van hallucinaties biedt nieuwe en vaak volledig onverwachte perspectieven.

Kunst en design zijn gebieden waar AI-hallucinaties geheel nieuwe creatieve richtingen kunnen openen. Door gebruik te maken van de neiging van de modellen om surrealistische, abstracte beelden te genereren, kunnen kunstenaars en ontwerpers experimenteren met nieuwe vormen van expressie, waarbij de grenzen tussen kunst en werkelijkheid vervagen. Ze kunnen ook unieke, dromerige werelden creëren – die voorheen ontoegankelijk waren voor menselijke perceptie.

Op het gebied van datavisualisatie en analyse biedt het fenomeen hallucinatie op zijn beurt de mogelijkheid om alternatieve perspectieven en onverwachte correlaties in complexe informatieverzamelingen te ontdekken. Bijvoorbeeld, de mogelijkheid van AI om onvoorspelbare correlaties te spotten kan helpen de manier waarop financiële instellingen investeringsbeslissingen nemen of risico’s beheren te verbeteren.

Tenslotte kan de wereld van computer games en virtueel entertainment ook profiteren van de creatieve afwijkingen van AI. De makers van deze oplossingen kunnen hallucinaties gebruiken om geheel nieuwe, boeiende virtuele werelden te genereren. Door ze te doordrenken met een element van verrassing en onvoorspelbaarheid, kunnen ze spelers een ongeëvenaarde, meeslepende ervaring bieden.

Natuurlijk moet elk gebruik van deze “creatieve” kant van AI-hallucinaties zorgvuldig worden gecontroleerd en onderhevig zijn aan strikte menselijke supervisie. Anders kan de neiging om fictie in plaats van feiten te creëren leiden tot gevaarlijke of sociaal ongewenste situaties. De sleutel is daarom om de voordelen en risico’s van het fenomeen zorgvuldig af te wegen en het verantwoordelijk te gebruiken binnen een veilig, gestructureerd kader.

Fact-checking en AI-hallucinaties – samenvatting

De opkomst van het fenomeen hallucinaties in AI-systemen is een onvermijdelijk neveneffect van de revolutie die we op dit gebied meemaken. De vervormingen en valse informatie die door AI-modellen worden gegenereerd, zijn de keerzijde van hun immense creativiteit en vermogen om kolossale hoeveelheden data te assimileren.

Voorlopig is de enige manier om de geldigheid van AI-gegenereerde inhoud te verifiëren via menselijke verificatie. Hoewel er verschillende methoden zijn om hallucinaties te verminderen, van prompting-technieken tot complexe methoden zoals Truth Forest, kan geen van deze momenteel een bevredigende nauwkeurigheid van de respons bieden die de noodzaak van fact-checking zou elimineren.

Als je onze inhoud leuk vindt, sluit je dan aan bij onze drukke bijengemeenschap op Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.