Ein Nutzer auf r/LocalLLaMA schildert eine Anfrage seines nicht-technischen Kunden: Lässt sich durch den Einsatz eines Small Language Models (SLM) der KI-Inference-Kostenpunkt von 20 $ pro Nutzer spürbar senken? Der Poster ist skeptisch – er argumentiert, dass Hosting und Skalierung eines SLMs häufig teurer als erwartet ausfällt und regelmäßige Wartung, Updates sowie potenzielles Nachtraining erfordert. Die Diskussion berührt einen klassischen Make-or-Buy-Konflikt im AI-Engineering: Frontier-Modell-APIs bieten sofortige Verfügbarkeit, Skalierbarkeit und keine Infrastrukturverantwortung, kosten bei hohem Durchsatz aber erheblich. Selbstgehostete SLMs können bei großen, gleichmäßigen Workloads die laufenden API-Kosten unterbieten, setzen jedoch GPU-Infrastruktur, Monitoring und ML-Ops-Know-how voraus. Entscheidend sind Faktoren wie Anfragevolumen, Latenzanforderungen, Qualitätsansprüche der Aufgabe sowie die internen Ressourcen des Teams.