Mit den neuen Mac mini-Rechnern von Apple, ausgestattet mit dem M4-SoC, erleben auch professionelle Nutzer einen technologischen Aufschwung. Diese kompakten und leistungsstarken Geräte sind nicht nur erschwinglich, sondern bieten auch enorme Vorteile für KI-Anwendungen, insbesondere für große Sprachmodelle (Large Language Models, LLMs).

Das Start-up Exo Labs hat kürzlich ein beeindruckendes High-End-Setup präsentiert, das aus vier Mac mini mit M4 Pro besteht, die durch die innovative Thunderbolt-5-Interconnect-Technologie verbunden sind. In einem auf X veröffentlichten Video wurde demonstriert, wie das System mit dem quelloffenen Modell Nemotron 70B eine Ausgaberate von acht Token pro Sekunde erreicht.

Das Team von Exo Labs, unter der Leitung von Gründer Alex Cheema, gab an, dass eine Skalierung auf das leistungsstarke Llama 405B möglich sein könnte. Zukünftige Benchmark-Ergebnisse sollen in naher Zukunft veröffentlicht werden und die Community auf Github folgt bereits gespannt.

Die Thunderbolt-5-Interconnect-Leitung ermöglicht beeindruckende Durchsatzraten von bis zu 80 Gbps, was große Datenmengen in Sekundenschnelle verarbeiten kann. Cheema veröffentlichte bisher keine genauen Konfigurationsangaben zu den verwendeten Mac minis. Aktuell sind die M4-Pro-Modelle in Deutschland ab 1.649 Euro erhältlich, ausgestattet mit 24 GB RAM und einer 512 GB großen SSD. Für eine erweiterte Konfiguration sind auch Modelle mit 14 CPU- und 20 GPU-Kernen verfügbar, allerdings mit einem entsprechenden Preisaufschlag.

Laut Cheema könnte das Setup in der Lage sein, bis zu 30 Token pro Sekunde mit dem Nemotron 70B im 4-Bit-Quantized-Modus zu erreichen. Zukünftige Konfigurationen mit dem Mac Studio und mehr RAM versprechen noch bessere Leistung und möglicherweise eine Reduzierung des Stromverbrauchs, was in der Branche nun diskutiert wird.

Die Vorzüge lokaler KI sind unbestreitbar. Sie ermöglichen eine höhere Datensicherheit, da keine sensiblen Informationen an große KI-Anbieter oder Cloud-Dienste gesendet werden müssen. Nutzer haben die Kontrolle über die Konfiguration und Anpassung des Sprachmodells, was eine persönliche Anpassung und optimierte Ergebnisse erlaubt.

Es bleibt abzuwarten, wie dieser Fortschritt in der KI-Technologie die Nutzererfahrungen verändern wird. Doch eins ist sicher: Die Zukunft der lokalen KI sieht vielversprechend aus und könnte die Art und Weise, wie wir mit Technologie interagieren, revolutionieren.