★ Tool· database· Neon
Neon
Letzte 7 Tage · 2 Beiträge
- LAUNCH4dllama.cpp erhält Q2_0-Quantisierung für Ternary Bonsai 1.58-Bit-ModelleTernary Bonsai Modelle können damit auf CPU lokal betrieben werden, ohne spezielle Hardware. Die vollständige Q1_0/Q2_0/Q4_0/Q8_0-Familie in ggml eröffnet extrem speicherschonende Inferenz – relevant für Edge- und Consumer-Hardware.
- LAUNCH5dmistral.rs v0.9.0: bis zu 1,8× schnellerer CPU-Decode als llama.cppWer LLMs lokal auf CPU betreibt, kann mit mistral.rs v0.9.0 spürbar höhere Token-Raten erzielen – ohne GPU. Der direkte Modell-Load von Hugging Face via ISQ senkt zudem die Einstiegshürde für eigene Deployments.
Häufig zusammen erwähnt
Companies hinter Neon
Archiv
★ Alle Tools
AI-Tool-Hubs nach Kategorie
Pricing, Releases, Wochen-Synthese pro Tool — kuratiert von Lumeric.
Stöbern →
★ Lumeric Stack
Was wir täglich nutzen
Ehrliche Liste der Tools hinter Lumeric — mit Affiliate-Deals transparent gekennzeichnet.
Anschauen →