Teknologi

Forskare drivs av nostalgi: Chattbot på Pentium 2 med Windows 98!

2024-12-31

Författare: William

I en tid där AI och stora språkmodeller dominerar tekniksektorn, kan det verka omöjligt att köra dessa avancerade program på äldre hårdvara. Men forskare från EXO Labs har gjort det otroliga - de har lyckats få en chattbot baserad på Metas öppna källkod-modell Llama-2 att fungera på en dator med en uråldrig Pentium 2-processor, som kör på det nostalgiska operativsystemet Windows 98.

Enligt rapporter från Techspot körde de modellen på en dator som hade 350 MHz, 128 MB RAM och en programmeringslösning inspirerad av Andrej Karpathy. De använde en modell med endast 260 000 parametrar - för att sätta det i perspektiv har GPT-4 över en biljon parametrar. Det visar verkligen hur långt forskningen kan ta oss, även med begränsad teknologi.

Trots de utmaningar forskarna stötte på när de försökte få den moderna koden att fungera på det gamla operativsystemet, kunde modellen nå imponerande hastigheter, med 39,31 tokens per sekund för den enklare modellen. I kontrast sjönk hastigheten för en modell med 15 miljoner parametrar till 1,03 tokens per sekund, medan en ännu mer komplex modell med 7 miljarder parametrar kämpade sig fram med blott 0,0093 tokens per sekund.

Forskarnas framgång är till stor del ett resultat av en ny teknik kallad Bitnet, som gör att viktvärden representeras som 1, 0 och -1 istället för flyttal. Denna metod möjliggör matrismultiplikation genom addition och subtraktion, vilket gör att även äldre processorer kan utföra operationerna snabbt nog för att köra en chattbot.

Det är värt att notera att på en modern processor kan en Bitnet-baserad modell med 100 miljarder parametrar uppnå hastigheter på 5-7 tokens per sekund, vilket skulle göra det möjligt för användare att ha en mer naturlig konversation med chattbotar. Detta öppnar upp en värld av möjligheter för framtida AI-forskning och tillämpningar, där man kanske i framtiden kan sammanföra äldre teknik med de senaste framstegen inom maskininlärning.

Så nästa gång du stirrar på din gamla dator, tänk på att framtidens AI faktiskt kan vara mer tillgänglig än du tror! Den nostalgiska resan till att kombinera det förflutna med framtiden har just börjat.