QLLM: Neue Transformer-freie Architektur mit O(1)-Inferenz als 100M-Modell veröffentlicht
CompaniesHugging Face
Warum es zählt
Kein KV-Cache bedeutet, dass die Inferenzkosten unabhängig von der Kontextlänge konstant bleiben – relevant für lange Dokumente oder Echtzeit-Anwendungen. Das Modell ist bisher nur ein POC (100M Parameter), doch die Architektur ist peer-reviewed (arXiv) und vollständig open source.
— Lumeric Redaktion
100M Parameter
Modellgröße des ersten QLLM-POC
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org5d
Wiola: Neue SLM-Architektur mit fünf originären Komponenten
- FORSCHUNGarxiv.org0mo
CLP: Zero-Loss Multi-Token-Inferenz mit 1,29× Speedup auf Qwen2.5
- FORSCHUNGarxiv.org0mo
EntropyInfer: Adaptives Long-Context-Inference mit 2,39× Speedup
- FORSCHUNGarxiv.org1w
SharQ kombiniert FP4-Quantisierung und Aktivierungs-Sparsity für schnellere LLM-Inferenz
QLLM: Neue Transformer-freie Architektur mit O(1)-Inferenz als 100M-Modell veröffentlicht
CompaniesHugging Face
Warum es zählt
Kein KV-Cache bedeutet, dass die Inferenzkosten unabhängig von der Kontextlänge konstant bleiben – relevant für lange Dokumente oder Echtzeit-Anwendungen. Das Modell ist bisher nur ein POC (100M Parameter), doch die Architektur ist peer-reviewed (arXiv) und vollständig open source.
— Lumeric Redaktion
100M Parameter
Modellgröße des ersten QLLM-POC
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org5d
Wiola: Neue SLM-Architektur mit fünf originären Komponenten
- FORSCHUNGarxiv.org0mo
CLP: Zero-Loss Multi-Token-Inferenz mit 1,29× Speedup auf Qwen2.5
- FORSCHUNGarxiv.org0mo
EntropyInfer: Adaptives Long-Context-Inference mit 2,39× Speedup
- FORSCHUNGarxiv.org1w
SharQ kombiniert FP4-Quantisierung und Aktivierungs-Sparsity für schnellere LLM-Inferenz