Medische antwoorden van chatbots blijken vaak onbetrouwbaar

Vijf veelgebruikte chatbots werden getest met in totaal 250 vragen over kanker, vaccins, stamceltherapie, voeding en sportprestaties. Het ging om Gemini, DeepSeek, Meta AI, ChatGPT en Grok. De vragen waren deels gesloten en deels open geformuleerd, en sloten aan bij medische onderwerpen waar online veel misinformatie over circuleert.

De uitkomsten zijn kritisch. De helft van alle antwoorden werd door de onderzoekers als problematisch beoordeeld. Ongeveer 30 procent was enigszins problematisch en 20 procent zelfs sterk problematisch. Vooral bij open vragen ging het vaak mis. Volgens de onderzoekers konden zulke antwoorden gebruikers zonder professionele begeleiding op het verkeerde been zetten of zelfs richting ineffectieve of schadelijke keuzes sturen.

De verschillen tussen de chatbots waren volgens het onderzoek beperkt, al scoorde Grok relatief het slechtst. Gemini kwam er het best vanaf. De antwoorden over vaccins en kanker waren gemiddeld beter dan die over voeding, sportprestaties en stamceltherapie. Ook bleek dat de chatbots zelden weigerden om antwoord te geven: van de 250 vragen gebeurde dat slechts twee keer, beide keren door Meta AI.

[....]