Gefrorene 16-MB-Embedding-Tabelle ersetzt trainierbare Parameter in kleinen LLMs
ToolsHugging Face
CompaniesHugging Face
Warum es zählt
Für kleine und ternäre Modelle kann die Embedding-Tabelle auf 16 MB eingefroren werden – das spart 2,6× trainierbare Parameter, beschleunigt Inferenz 5–6× gegenüber 8-Bit-GGUF und erhöht robustheit bei seltenen Wörtern sowie Zero-Shot-Erweiterbarkeit um 10.000 neue Tokens mit nur 3% Einbuße.
— Lumeric Redaktion
615–740 Token/s
CPU-Inferenz bei 62 MB RAM (BitNet-Modell)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Gefrorene 16-MB-Embedding-Tabelle ersetzt trainierbare Parameter in kleinen LLMs
ToolsHugging Face
CompaniesHugging Face
Warum es zählt
Für kleine und ternäre Modelle kann die Embedding-Tabelle auf 16 MB eingefroren werden – das spart 2,6× trainierbare Parameter, beschleunigt Inferenz 5–6× gegenüber 8-Bit-GGUF und erhöht robustheit bei seltenen Wörtern sowie Zero-Shot-Erweiterbarkeit um 10.000 neue Tokens mit nur 3% Einbuße.
— Lumeric Redaktion
615–740 Token/s
CPU-Inferenz bei 62 MB RAM (BitNet-Modell)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.