Arve Hjalmar Holmen, norský muž, se rozhodl navázat konverzaci s chatbotem ChatGPT, aby zjistil, jaké informace mu umělá inteligence poskytne, když zadá své vlastní jméno. Bylo mu šokem, když ChatGPT uvedl nepravdivé tvrzení, že zabil své vlastní syny a byl odsouzen k 21 letům vězení. I když se jednalo o naprostý výmysl, systém zakomponoval do smyšlenky i některé skutečné informace o Holmenovi, jako například počet a pohlaví jeho dětí či název města, odkud pochází.

Tento incident odhaluje temnou stránku jazykových modelů. I když se často jeví, že odpovědi AI jsou správné a přesné, ve skutečnosti mohou být její výstupy jen sofistikovanou variantou autokorekce – někdy trefné, jindy zcela mimo a v některých případech i nebezpečné, jak upozorňuje server Above The Law.

Případ Holmena zaujal evropskou organizaci na ochranu osobních údajů Noyb (None Of Your Business), která podala stížnost na společnost OpenAI na základě ustanovení GDPR. Cílem je dosáhnout toho, aby jakákoliv Holmenova osobní data byla odstraněna z trénovacích dat modelu. Podle zástupců Noyb je tento případ ukázkovým příkladem, proč je třeba AI regulovat přísněji a zajistit transparentnost jejich „černých skříní“.

„Je děsivé, že systém může tak snadno spojit reálné informace s naprostými výmysly a vytvořit víc než věrohodně znějící příběh, který může člověku zničit reputaci,“ komentoval incident právník Noyb. „Pokud se AI naučí fabulovat tímto způsobem, musíme být připraveni čelit následkům.“

V USA chrání občany například zákon CCPA (California Consumer Privacy Act), ale většina států podobnou legislativu postrádá. To opět zdůrazňuje rozdíl v úrovni ochrany osobních údajů po celém světě. Tento incident by mohl vyvolat plošnou diskuzi nejen o etice umělé inteligence, ale i o legislativních opatřeních, která by mohla v budoucnu pomoci chránit jednotlivce před šířením dezinformací a neoprávněným použitím jejich osobních údajů v AI systémech.