Kalifornská univerzita v San Diegu (UCSD) zveřejnila šokující výsledek, který potvrzuje, že umělá inteligence nyní dokáže projít Turingovým testem. V rámci výzkumu byly použity čtyři různé umělé inteligence, aby interagovaly s testujícími lidmi, kteří buď komunikovali se skutečným člověkem, nebo softwarem. Testy probíhaly anonymně, čímž se zajistilo, že účastníci neměli žádnou předchozí informaci o tom, s kým vlastně komunikují.

Velký jazykový model GPT-4.5 byl v 73 % případů hodnocen jako člověk, což je impozantní výkon. Zároveň byl úspěšný také model LLaMa-3.1-405B, který se v 56 % případů osvědčil jako člověk. Pro srovnání, starší model ELIZA získal pouze 23 % a model GPT-4o pouze 21 %. Jakýkoliv výsledek nad 50 % naznačuje, že daný model dokáže komunikovat lidským způsobem.

Jak test probíhal

Ve výzkumu se účastnily dvě skupiny testujících. První skupinu tvořilo 126 studentů psychologie UCSD, zatímco druhou skupinu tvořilo 158 náhodně vybraných osob z platformy Prolific.com. Celkem se uskutečnilo 1023 konverzací. Tyto konverzace trvaly průměrně 4,2 minuty a zahrnovaly přibližně 8 zpráv. Všechny anonymizované konverzace jsou k dispozici ke stažení na webu osf.io.

Jedna z diskuzí s modelem ELIZA byla pro účastníky unikátním zážitkem.

Účastníci konverzací se nebojovali prozkoumávat rozmanitá témata, od každodenní rutiny po otázky o názorech a osobních údajích a dokonce i o počasí. Zajímavé je, že studenti psychologie byli v detekci robota úspěšnější, přičemž u nich prošel úspěšně pouze GPT-4.5 s mírou 69,2 %. Naproti tomu běžní lidé dokázali odhalit robota v 75,5 % případů.

Aby umělá inteligence skutečně prošla Turingovým testem, nebylo dostatečné pouze standardní nastavení chatbotu. Bylo zapotřebí speciálního promptu (označeného jako PERSONA), který definoval osobnost a styl mluvy chatbota. K tomu byly poskytnuty instrukce o tom, že chatbot se účastní Turingova testu, což přispělo k jeho realistické interakci.

„Tyto výsledky mají dalekosáhlý dopad na debaty o typu inteligence, který velké jazykové modely prokazují, a na ekonomické a sociální dopady, které tyto systémy pravděpodobně přinesou,“ tvrdí výzkumníci z UCSD. Další studie, které ověří tyto výsledky a pravděpodobně se zaměří také na další důležité chatboty, budou následovat. Vstupujeme do éry, kde by umělá inteligence mohla v mnoha ohledech překonat naše očekávání!