En ny chockerande rapport från det österrikiska forskningsinstitutet Complexity Science Hub (CSH) visar att de senaste AI-modellerna slåss för att ge korrekt information om världshistorien. Trots den enorma datamängd de förlitar sig på har de visat sig ha en förbluffande låg träffsäkerhet.

I ett rigoröst experiment fick tre av de mest avancerade AI-modellerna - OpenAI:s GPT-4, Metas Llama och Googles Gemini - testa sina kunskaper genom att svara ja eller nej på en serie historiska frågor. Resultatet? Enbart 46 procent av svaren var korrekta! Det innebär att mer än hälften av deras svar var felaktiga.

Till exempel, när GPT-4 fick frågan om antikens Egypten hade en stående armé, svarade modellen ”ja.” Detta kan bero på att AI:n har valt att extrapolera från andra riken såsom Persien, utan att ha tillgång till specifik information om Egyptens militärhistorik.

– Om du hör A och B 100 gånger, men C bara en gång, kan du lätt falla i fällan att bara minnas A och B när du ställs inför en fråga om C. Det visar den brist på kontext och förståelse som dessa modeller har, säger forskaren Maria del Rio-Chanona i en kommentar till Techcrunch.

Forskarteamet påpekar också att resultaten visar att AI-modeller har särskilda svårigheter att korrekt återge information om flera regioner, inklusive den subsahariska delen av Afrika. Detta understryker det kritiska behovet av att förbättra dessa teknologier, särskilt när de används i utbildningssammanhang eller för att förmedla kulturell och historisk kunskap.

Med AI:s ökande roll i utbildning och information är det mer nödvändigt än någonsin att vi ifrågasätter och validerar de fakta som dessa modeller presenterar. Vad innebär detta för vår förståelse av historia och hur vi lär oss av den? Framtidens AI måste lära sig att inte bara generera data, utan också att förstå den – och detta måste ske nu!