MELT: Systematisches Benchmarking von LLMs auf Smartphones und Edge-Devices
Warum es zählt
Für Edge-Deployment zeigt die Studie konkret: iPhones mit LLMFarm/Metal sind schneller als Android-GPUs; Q4-Quantisierung schlägt Q3 in Durchsatz und Energieeffizienz; Prefill auf NVIDIA-Gerät + Decode auf Phone per WiFi 6 ist praktisch umsetzbar. Phones erreichen bis zu 47,1°C Oberflächentemperatur unter Last.
— Lumeric Redaktion
47,1 °C
Max. Oberflächentemperatur der Phones unter Last
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org1d
Studie: On-device LLM-Inferenz 3× weniger energieeffizient als Cloud-Server
- BENCHMARKarxiv.org2w
GreenBench: Energieeffizienz von Open-Source-LLMs auf Apple Silicon gemessen
- FORSCHUNGarxiv.org1w
Survey: Diffusion Language Models für KI-Agenten am Mobile Edge
- FORSCHUNGarxiv.org1w
SLMs vs. quantisierte LLMs: Studie vergleicht Nachhaltigkeit für Edge-AI
MELT: Systematisches Benchmarking von LLMs auf Smartphones und Edge-Devices
Warum es zählt
Für Edge-Deployment zeigt die Studie konkret: iPhones mit LLMFarm/Metal sind schneller als Android-GPUs; Q4-Quantisierung schlägt Q3 in Durchsatz und Energieeffizienz; Prefill auf NVIDIA-Gerät + Decode auf Phone per WiFi 6 ist praktisch umsetzbar. Phones erreichen bis zu 47,1°C Oberflächentemperatur unter Last.
— Lumeric Redaktion
47,1 °C
Max. Oberflächentemperatur der Phones unter Last
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org1d
Studie: On-device LLM-Inferenz 3× weniger energieeffizient als Cloud-Server
- BENCHMARKarxiv.org2w
GreenBench: Energieeffizienz von Open-Source-LLMs auf Apple Silicon gemessen
- FORSCHUNGarxiv.org1w
Survey: Diffusion Language Models für KI-Agenten am Mobile Edge
- FORSCHUNGarxiv.org1w
SLMs vs. quantisierte LLMs: Studie vergleicht Nachhaltigkeit für Edge-AI