
Multimodale Workflows mit Gemma 4 und Ollama lokal aufbauen
Der Artikel von Shuai Guo beschreibt den Aufbau eines dreistufigen multimodalen Workflows, der vollständig lokal auf dem eigenen Rechner läuft. Als Grundlage dient Gemma 4 in der Variante E4B – ein auf Edge-Geräte ausgerichtetes Modell aus Googles Gemma-4-Familie, das sowohl Text als auch Bilder verarbeiten kann. Ollama übernimmt dabei die lokale Laufzeitumgebung und stellt die Schnittstelle zwischen Python-Code und Modell bereit. Der Workflow gliedert sich in drei klar getrennte Stufen: Zunächst bereitet eine `prepare_photos()`-Funktion die Bilder vor und extrahiert EXIF-Metadaten wie Aufnahmezeit und GPS-Koordinaten; dann analysiert Gemma 4 jedes Foto einzeln und gibt ein typisiertes Pydantic-Objekt (`PhotoMemoryAnalysis`) zurück; abschließend fasst das Modell alle Einzelauswertungen zu einer strukturierten Reisezusammenfassung zusammen. Das Pydantic-Schema definiert Felder wie `scene_summary`, `mood`, `visible_activities` und einen `confidence`-Wert zwischen 0 und 1, was eine direkt weiterverarbeitbare, typsichere Datenstruktur ergibt. Der Autor weist explizit auf ein Kompatibilitätsproblem hin: Unter seiner Windows-Umgebung mit Ollama 0.32.5 akzeptierte das System multimodale Anfragen, ignorierte den Bildinhalt aber faktisch. Für die Python-Umgebung genügen drei Pakete – `ollama`, `pillow` und `pydantic` – die per pip installiert werden.
- Gemma 4 E4B ist explizit als edge-freundliche Modellvariante positioniert und wird via `ollama pull gemma4:e4b` bereitgestellt.
- Das Pydantic-Schema PhotoMemoryAnalysis enthält u. a. die Felder visible_activities, inferred_interest_signals, mood und einen confidence-Float (0–1).
- Ollama-Version 0.32.5 auf Windows zeigte einen Kompatibilitätsfehler: Bildeingaben wurden akzeptiert, aber vom Modell nicht tatsächlich verarbeitet.
- Die Temperatur wird beim API-Aufruf auf 0 gesetzt (`options={"temperature": 0}`), um deterministische Ausgaben zu erzwingen.
- Als konkretes Praxisbeispiel diente eine Sammlung von Reisefotos aus Finnland, die der Autor in strukturierte Erinnerungseinträge überführte.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge

Multimodale Workflows mit Gemma 4 und Ollama lokal aufbauen
Der Artikel von Shuai Guo beschreibt den Aufbau eines dreistufigen multimodalen Workflows, der vollständig lokal auf dem eigenen Rechner läuft. Als Grundlage dient Gemma 4 in der Variante E4B – ein auf Edge-Geräte ausgerichtetes Modell aus Googles Gemma-4-Familie, das sowohl Text als auch Bilder verarbeiten kann. Ollama übernimmt dabei die lokale Laufzeitumgebung und stellt die Schnittstelle zwischen Python-Code und Modell bereit. Der Workflow gliedert sich in drei klar getrennte Stufen: Zunächst bereitet eine `prepare_photos()`-Funktion die Bilder vor und extrahiert EXIF-Metadaten wie Aufnahmezeit und GPS-Koordinaten; dann analysiert Gemma 4 jedes Foto einzeln und gibt ein typisiertes Pydantic-Objekt (`PhotoMemoryAnalysis`) zurück; abschließend fasst das Modell alle Einzelauswertungen zu einer strukturierten Reisezusammenfassung zusammen. Das Pydantic-Schema definiert Felder wie `scene_summary`, `mood`, `visible_activities` und einen `confidence`-Wert zwischen 0 und 1, was eine direkt weiterverarbeitbare, typsichere Datenstruktur ergibt. Der Autor weist explizit auf ein Kompatibilitätsproblem hin: Unter seiner Windows-Umgebung mit Ollama 0.32.5 akzeptierte das System multimodale Anfragen, ignorierte den Bildinhalt aber faktisch. Für die Python-Umgebung genügen drei Pakete – `ollama`, `pillow` und `pydantic` – die per pip installiert werden.
- Gemma 4 E4B ist explizit als edge-freundliche Modellvariante positioniert und wird via `ollama pull gemma4:e4b` bereitgestellt.
- Das Pydantic-Schema PhotoMemoryAnalysis enthält u. a. die Felder visible_activities, inferred_interest_signals, mood und einen confidence-Float (0–1).
- Ollama-Version 0.32.5 auf Windows zeigte einen Kompatibilitätsfehler: Bildeingaben wurden akzeptiert, aber vom Modell nicht tatsächlich verarbeitet.
- Die Temperatur wird beim API-Aufruf auf 0 gesetzt (`options={"temperature": 0}`), um deterministische Ausgaben zu erzwingen.
- Als konkretes Praxisbeispiel diente eine Sammlung von Reisefotos aus Finnland, die der Autor in strukturierte Erinnerungseinträge überführte.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.