Pennsylvania heeft een rechtszaak ingediend tegen Character.AI, een populair chatbotplatform. Het bedrijf zou hebben toegestaan dat een AI-agent zich voordeed als een gelicentieerde psychiater en zelfs valse medische vergunningsnummers verstrekte.
Volgens staatsambtenaren liepen burgers risico door medisch advies van deze valse bot aan te nemen. Het platform, dat gebruikers toestaat eigen chatbots te maken en te interacteren met bots van anderen, zou onvoldoende controles hebben gehad om dit soort misbruik te voorkomen. Pennsylvania stelt dat dit in strijd is met deelstaatse wet- en regelgeving rond praktijk van geneeskunde en misleidende handelspraktijken.
Character.AI biedt gebruikers grote vrijheid: je kunt er chatbots mee maken die zich voordoen als beroemdheden, fictieve figuren — maar blijkbaar ook als medische professionals. Het bedrijf waarschuwt gebruikers dat bots niet altijd accuraat zijn en geen vervanger voor menselijk advies moeten zijn. Toch lijkt Pennsylvania te betogen dat deze waarschuwingen onvoldoende zijn wanneer iemand zich expliciet als arts voordoet.
Dit is niet de eerste aanval op AI-chatbots en gezondheidsmisinformatie. Wereldwijd groeit de bezorgdheid dat grote taalmodellen hallucinaties kunnen produceren — nep-informatie die overtuigend klinkt. Voor medische hulp is dit bijzonder gevaarlijk.
De zaak benadrukt een groeiend spanningsveld: hoe reguleer je platforms waar gebruikers zelf inhoud creëren? Ligt de verantwoordelijkheid bij het platform of de gebruiker?
**Wat betekent dit voor Nederland?**
Hoewel dit zich in Pennsylvania afspeelt, raakt het Nederlandse gebruikers direct. Character.AI is wereldwijd beschikbaar, inclusief in Nederland. Met deze zaak groeit de kans op strengere Europese regelgeving. De EU-AI-Act verplicht bedrijven al tot risicobeoordeling van high-risk AI — medische misinformatie valt daar zeker onder. Nederlandse toezichthouders kijken waarschijnlijk scherp toe, en soortgelijke acties in Europa kunnen volgen.
