Eine erstaunliche Entdeckung: KI mit einem 26 Jahre alten Prozessor

In einer faszinierenden Demonstration wurde bewiesen, dass ein Pentium II und gerade einmal 128 MB RAM ausreichen, um ein kleines KI-Modell, inspiriert von Llama, zu betreiben. Dies ist das Ergebnis einer cleveren Kombination aus Softwareoptimierung und praktischen Ansätzen, die selbst Retro-Bastler begeistern dürften.

Der Fund eines alten PCs und die Herausforderungen

Die Reise begann mit dem Kauf eines antiken PCs, der mit Windows 98 betrieben wird und für unschlagbare 119 £ ergattert wurde. Doch die Herausforderung ließ nicht lange auf sich warten: Der PC erkannte keine modernen USB-Geräte oder Medien. Die Lösung war verblüffend einfach – Dateien wurden über FTP von einem aktuellen Mac übertragen, was eine perfekte Kompatibilität mit Windows 98 gewährleistete.

Kompilierung auf einem PC aus der Vergangenheit

Ein weiteres Hindernis war die Kompilierung des Codes. Die üblichen modernen Tools funktionierten nicht auf diesem Oldtimer. Daher wurde auf Borland C++ 5.02 von 1997 zurückgegriffen. Mit klugen Anpassungen an der minimalen llama2.c (um die 700 Zeilen C-Code) gelang es den Entwicklern, die Funktionalität zu optimieren und die Speicherauslastung zu reduzieren. Das Resultat? Die kleinste Variante erreichte beeindruckende 39,31 Token pro Sekunde, während die größere Version mit 15 Millionen Parametern langsam aber sicher 1,03 Token pro Sekunde schaffte.

Was bedeutet das für die Zukunft der KI?

Die Demonstration zeigte eindrucksvoll, dass Token nicht gleich Worte sind und die gemeldeten Geschwindigkeiten daher nur als Vergleichsmaßstab dienen. Hinter dem Erfolg steht eine revolutionäre Architektur namens BitNet, die mit ternären Gewichten arbeitet. Diese Technik verringert den Rechen- und Speicherbedarf um ein Vielfaches. Zum Vergleich: Ein modernes Modell mit 7 Milliarden Parametern benötigt etwa 14 GB Speicher, während eine BitNet-Variante nur etwa 1,38 GB benötigt.

Ein Schritt in eine zukunftsweisende Richtung?

Die Erfahrungen mit dem Pentium II zeigen, dass KI nicht immer massive Serverfarmen benötigt. Es ist möglich, dass bescheidene Geräte in Bildung, Forschung oder sogar im Alltag verwendet werden können. Angesichts des ansteigenden Energieverbrauchs von Rechenzentren, der sich bis 2030 mehr als verdoppeln könnte, ist diese Entwicklung umso wichtiger. Schließlich könnte es den Zugang zu KI neu gestalten, ohne die Energiekosten explodieren zu lassen.

Diese bemerkenswerte Leistung ist mehr als nur ein nostalgischer Rückblick – sie ist ein Zeichen dafür, dass fortschrittliche Optimierungen in der Software dazu beitragen können, Hardware-Grenzen zu senken und so die Möglichkeiten der künstlichen Intelligenz für alle zu öffnen.