LFM3 1.7B: Kompaktes Modell mit 329 Token/s auf RTX 3090 Ti
CompaniesNVIDIA
Warum es zählt
LFM3 1.7B läuft mit 1,71 GiB VRAM-Bedarf und hoher Inferenzgeschwindigkeit auch auf Consumer-Hardware effizient. Für lokale Deployments ist das ein praktikabler Einstieg in schnelle, ressourcenschonende Sprachmodelle.
— Lumeric Redaktion
329 Token/s (tg128)
Inferenzgeschwindigkeit auf RTX 3090 Ti
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com1w
LlamAmpere v0.6: 112 TPS bei 100K Token-Kontext auf einer RTX 3090
- BENCHMARKreddit.com3d
Liquid LFM3-1.7B erzielt 7.100 t/s auf Consumer-GPU-Split
- LAUNCHreddit.com1w
Ternary Nemotron 30B-A3B: 368K Kontext auf 12-GB-GPU mit 172 tok/s
- LAUNCHreddit.com1w
ik_llama.cpp Fork: MoE-Optimierungen für RTX 2060 mit 6 GB VRAM
LFM3 1.7B: Kompaktes Modell mit 329 Token/s auf RTX 3090 Ti
CompaniesNVIDIA
Warum es zählt
LFM3 1.7B läuft mit 1,71 GiB VRAM-Bedarf und hoher Inferenzgeschwindigkeit auch auf Consumer-Hardware effizient. Für lokale Deployments ist das ein praktikabler Einstieg in schnelle, ressourcenschonende Sprachmodelle.
— Lumeric Redaktion
329 Token/s (tg128)
Inferenzgeschwindigkeit auf RTX 3090 Ti
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com1w
LlamAmpere v0.6: 112 TPS bei 100K Token-Kontext auf einer RTX 3090
- BENCHMARKreddit.com3d
Liquid LFM3-1.7B erzielt 7.100 t/s auf Consumer-GPU-Split
- LAUNCHreddit.com1w
Ternary Nemotron 30B-A3B: 368K Kontext auf 12-GB-GPU mit 172 tok/s
- LAUNCHreddit.com1w
ik_llama.cpp Fork: MoE-Optimierungen für RTX 2060 mit 6 GB VRAM