llama.cpp: --lazy-mode-Default auf auto geändert – Performance-Einbußen möglich
Mit dem Build b10726 hat das llama.cpp-Projekt das Standardverhalten des Flags `--lazy-mode` von einem festen „off" auf „auto" umgestellt. Im Modus „auto" entscheidet die Laufzeit selbst, welche Modellgewichte sofort in den RAM geladen werden und welche lediglich per Memory-Mapping (mmap) auf der Festplatte verbleiben und erst bei Bedarf seitenweise eingelesen werden. Besonders kritisch ist diese Änderung für Modelle mit sehr großen Embedding-Tabellen: Qwen 3.8 Flash Next besitzt eine sogenannte PLE-n-gram-Embedding-Tabelle mit 51 Milliarden Parametern, die früher automatisch in den Arbeitsspeicher geladen wurde und nun standardmäßig auf dem Speichermedium verbleibt. Nutzer, die explizit `--load-mode none` setzen, sind davon ebenfalls betroffen, da auch dieses Flag das neue Standardverhalten nicht mehr überschreibt. Reddit-Nutzer whiteh4cker berichtete in r/LocalLLaMA von einem Rückgang der Prompt-Processing-Geschwindigkeit um 50 % sowie einem Einbruch der Token-Generierungsrate um 15 % — gemessen an seinem eigenen System mit ausreichend verfügbarem RAM. Als Workaround genügt es, das Flag `--lazy-mode off` explizit zu übergeben, um das frühere Verhalten wiederherzustellen und die gesamte Tabelle in den RAM zu laden. Die Änderung ist besonders für lokale Nutzer mit großem Arbeitsspeicher relevant, die auf maximale Inferenzgeschwindigkeit angewiesen sind.
- Build b10726 ist der genaue Commit-Stand, ab dem das neue Standardverhalten von --lazy-mode aktiv ist.
- Die PLE-n-gram-Embedding-Tabelle von Qwen 3.8 Flash Next umfasst 51 Milliarden Parameter — ungewöhnlich groß für einen Embedding-Block.
- Im Modus 'auto' werden Tabellenzeilen nur on-demand von der Festplatte gelesen (mmap), was bei häufigem Zugriff zu wiederholten I/O-Latenzen führt.
- Das Flag --load-mode none schützt nicht vor dem neuen Verhalten; nur --lazy-mode off stellt das vollständige RAM-Laden sicher.
- Der Bericht stammt von /u/whiteh4cker aus r/LocalLLaMA und basiert auf eigenen Benchmarks an einem System mit ausreichend RAM.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
llama.cpp: --lazy-mode-Default auf auto geändert – Performance-Einbußen möglich
Mit dem Build b10726 hat das llama.cpp-Projekt das Standardverhalten des Flags `--lazy-mode` von einem festen „off" auf „auto" umgestellt. Im Modus „auto" entscheidet die Laufzeit selbst, welche Modellgewichte sofort in den RAM geladen werden und welche lediglich per Memory-Mapping (mmap) auf der Festplatte verbleiben und erst bei Bedarf seitenweise eingelesen werden. Besonders kritisch ist diese Änderung für Modelle mit sehr großen Embedding-Tabellen: Qwen 3.8 Flash Next besitzt eine sogenannte PLE-n-gram-Embedding-Tabelle mit 51 Milliarden Parametern, die früher automatisch in den Arbeitsspeicher geladen wurde und nun standardmäßig auf dem Speichermedium verbleibt. Nutzer, die explizit `--load-mode none` setzen, sind davon ebenfalls betroffen, da auch dieses Flag das neue Standardverhalten nicht mehr überschreibt. Reddit-Nutzer whiteh4cker berichtete in r/LocalLLaMA von einem Rückgang der Prompt-Processing-Geschwindigkeit um 50 % sowie einem Einbruch der Token-Generierungsrate um 15 % — gemessen an seinem eigenen System mit ausreichend verfügbarem RAM. Als Workaround genügt es, das Flag `--lazy-mode off` explizit zu übergeben, um das frühere Verhalten wiederherzustellen und die gesamte Tabelle in den RAM zu laden. Die Änderung ist besonders für lokale Nutzer mit großem Arbeitsspeicher relevant, die auf maximale Inferenzgeschwindigkeit angewiesen sind.
- Build b10726 ist der genaue Commit-Stand, ab dem das neue Standardverhalten von --lazy-mode aktiv ist.
- Die PLE-n-gram-Embedding-Tabelle von Qwen 3.8 Flash Next umfasst 51 Milliarden Parameter — ungewöhnlich groß für einen Embedding-Block.
- Im Modus 'auto' werden Tabellenzeilen nur on-demand von der Festplatte gelesen (mmap), was bei häufigem Zugriff zu wiederholten I/O-Latenzen führt.
- Das Flag --load-mode none schützt nicht vor dem neuen Verhalten; nur --lazy-mode off stellt das vollständige RAM-Laden sicher.
- Der Bericht stammt von /u/whiteh4cker aus r/LocalLLaMA und basiert auf eigenen Benchmarks an einem System mit ausreichend RAM.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.