Mica v0.5: Schnellstes 4B-Entscheidungsmodell mit 19,8 ms pro Anfrage
Warum es zählt
Wer Modell-Outputs klassifizieren oder bewerten will, bekommt mit Mica v0.5 ein lokal lauffähiges, Apache-2.0-lizenziertes Tool, das 9B- und 35B-Modelle auf JDI übertrifft und bereits ab 8 GB VRAM nutzbar ist.
— Lumeric Redaktion
19,8 ms
pro Entscheidung bei 256 Tokens (RTX 6000 Ada)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Mica v0.5: Schnellstes 4B-Entscheidungsmodell mit 19,8 ms pro Anfrage
Warum es zählt
Wer Modell-Outputs klassifizieren oder bewerten will, bekommt mit Mica v0.5 ein lokal lauffähiges, Apache-2.0-lizenziertes Tool, das 9B- und 35B-Modelle auf JDI übertrifft und bereits ab 8 GB VRAM nutzbar ist.
— Lumeric Redaktion
19,8 ms
pro Entscheidung bei 256 Tokens (RTX 6000 Ada)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.