Turbo-fieldfare: Gemma 4 26B auf Apple Silicon mit nur 2 GB RAM
Turbo-fieldfare ist eine in Swift und Metal geschriebene Inference-Engine, die speziell für Apple-Silicon-Macs optimiert wurde und Googles Gemma 4 26B-A4B-IT – ein Mixture-of-Experts-Modell mit 26 Milliarden Parametern, von denen pro Inferenzschritt nur 4 Milliarden aktiv sind – mit drastisch reduziertem Speicherbedarf ausführt. Wo herkömmliche Lösungen wie llama.cpp für dieses Modell rund 14 GB RAM benötigen, kommt Turbo-fieldfare auf etwa 2 GB – eine Reduktion um rund 85 Prozent. Möglich wird dies durch aggressive Quantisierungs- und Speicherverwaltungstechniken, die direkt auf die Metal-GPU-API von Apple abgestimmt sind. Der Entwickler /u/minefew veröffentlichte das Projekt auf Reddit am 30. Juli 2026 und demonstrierte Laufzeiten auf zwei sehr unterschiedlichen Geräten: Ein M2 MacBook Air mit 8 GB Unified Memory erreicht 5–6 Token pro Sekunde, während ein M5 MacBook Pro auf 31–35 Token pro Sekunde kommt – ein Faktor von rund sechs zwischen den Gerätegenerationen. Besonders praxisrelevant ist der eingebettete OpenAI-kompatible HTTP-Server mit Streaming- und Tool-Call-Unterstützung, der eine direkte Integration in bestehende Anwendungen und Pipelines ohne Anpassungsaufwand erlaubt. Das Projekt richtet sich damit explizit an Entwickler, die bislang wegen der RAM-Beschränkungen älterer oder einsteigerfreundlicher Apple-Silicon-Geräte auf größere Modelle verzichten mussten.
- Gemma 4 26B-A4B-IT ist ein Mixture-of-Experts-Modell: 26B Parameter gesamt, davon nur ~4B pro Forward-Pass aktiv (A4B).
- RAM-Reduktion von ~14 GB (Standard) auf ~2 GB entspricht einer Einsparung von rund 85 Prozent gegenüber üblichen Inference-Stacks.
- Die Engine ist vollständig in Swift und Metal geschrieben – kein Python-Stack, keine GGUF-Abhängigkeit von llama.cpp.
- Der integrierte lokale Server ist OpenAI-API-kompatibel und unterstützt Streaming sowie Tool Calls (Function Calling).
- Geschwindigkeitsunterschied zwischen M2 MacBook Air (5–6 tok/s) und M5 MacBook Pro (31–35 tok/s) zeigt starke Abhängigkeit von der Neural-Engine- und GPU-Generation.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Turbo-fieldfare: Gemma 4 26B auf Apple Silicon mit nur 2 GB RAM
Turbo-fieldfare ist eine in Swift und Metal geschriebene Inference-Engine, die speziell für Apple-Silicon-Macs optimiert wurde und Googles Gemma 4 26B-A4B-IT – ein Mixture-of-Experts-Modell mit 26 Milliarden Parametern, von denen pro Inferenzschritt nur 4 Milliarden aktiv sind – mit drastisch reduziertem Speicherbedarf ausführt. Wo herkömmliche Lösungen wie llama.cpp für dieses Modell rund 14 GB RAM benötigen, kommt Turbo-fieldfare auf etwa 2 GB – eine Reduktion um rund 85 Prozent. Möglich wird dies durch aggressive Quantisierungs- und Speicherverwaltungstechniken, die direkt auf die Metal-GPU-API von Apple abgestimmt sind. Der Entwickler /u/minefew veröffentlichte das Projekt auf Reddit am 30. Juli 2026 und demonstrierte Laufzeiten auf zwei sehr unterschiedlichen Geräten: Ein M2 MacBook Air mit 8 GB Unified Memory erreicht 5–6 Token pro Sekunde, während ein M5 MacBook Pro auf 31–35 Token pro Sekunde kommt – ein Faktor von rund sechs zwischen den Gerätegenerationen. Besonders praxisrelevant ist der eingebettete OpenAI-kompatible HTTP-Server mit Streaming- und Tool-Call-Unterstützung, der eine direkte Integration in bestehende Anwendungen und Pipelines ohne Anpassungsaufwand erlaubt. Das Projekt richtet sich damit explizit an Entwickler, die bislang wegen der RAM-Beschränkungen älterer oder einsteigerfreundlicher Apple-Silicon-Geräte auf größere Modelle verzichten mussten.
- Gemma 4 26B-A4B-IT ist ein Mixture-of-Experts-Modell: 26B Parameter gesamt, davon nur ~4B pro Forward-Pass aktiv (A4B).
- RAM-Reduktion von ~14 GB (Standard) auf ~2 GB entspricht einer Einsparung von rund 85 Prozent gegenüber üblichen Inference-Stacks.
- Die Engine ist vollständig in Swift und Metal geschrieben – kein Python-Stack, keine GGUF-Abhängigkeit von llama.cpp.
- Der integrierte lokale Server ist OpenAI-API-kompatibel und unterstützt Streaming sowie Tool Calls (Function Calling).
- Geschwindigkeitsunterschied zwischen M2 MacBook Air (5–6 tok/s) und M5 MacBook Pro (31–35 tok/s) zeigt starke Abhängigkeit von der Neural-Engine- und GPU-Generation.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.