Core Pinning bringt +318% Speed: LLM-Benchmarks auf Orange Pi 5 Plus (RK3588)
CompaniesDeepSeek
Warum es zählt
Wer llama.cpp/Ollama auf RK3588-SBCs betreibt, muss OLLAMA_NUM_THREADS=4 (Big Cores only) setzen – sonst kostet die A55-Little-Core-Stall-Falle bis zu 74% Durchsatz. Für 24/7-Agenten eignen sich 1B–3B-Modelle; 8B-Modelle stoßen thermisch und bandbreitenseitig (~25–30 GB/s LPDDR4x) an harte Grenzen.
— Lumeric Redaktion
Ollama Inference Speed (tok/s) – Orange Pi 5 Plus RK3588, 4T Big Cores · Spitzenwert
16.9%
DeepSeek-Coder 1.3B
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Core Pinning bringt +318% Speed: LLM-Benchmarks auf Orange Pi 5 Plus (RK3588)
CompaniesDeepSeek
Warum es zählt
Wer llama.cpp/Ollama auf RK3588-SBCs betreibt, muss OLLAMA_NUM_THREADS=4 (Big Cores only) setzen – sonst kostet die A55-Little-Core-Stall-Falle bis zu 74% Durchsatz. Für 24/7-Agenten eignen sich 1B–3B-Modelle; 8B-Modelle stoßen thermisch und bandbreitenseitig (~25–30 GB/s LPDDR4x) an harte Grenzen.
— Lumeric Redaktion
Ollama Inference Speed (tok/s) – Orange Pi 5 Plus RK3588, 4T Big Cores · Spitzenwert
16.9%
DeepSeek-Coder 1.3B
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.