Infercat: Lokale KI per P2P-Tunnel mit Freunden teilen
Infercat wurde von einem Einzelentwickler gebaut, der trotz eigener lokaler GPU-Hardware (MacBook und Linux-Server) im Alltag auf Cloud-Dienste wie ChatGPT zurückgriff – schlicht weil der Zugriff vom Smartphone umständlicher war. Der Name leitet sich von „Inference" und dem Unix-Tool `cat` ab, das Dateiinhalte streamt. Das technische Kernstück ist `tailcat`, eine Abwandlung der von Tailscale open-source veröffentlichten Netzwerkbibliothek, die P2P-Tunnel zwischen beliebigen Geräten mit Internetanschluss aufbaut. Ein zentraler Server vermittelt lediglich den initialen Paketaustausch (Handshake); danach läuft die Verbindung direkt und Ende-zu-Ende-verschlüsselt – außer bei Browser-Clients, wo der Server aktuell noch als Relay dient, aber nur verschlüsselte Daten sieht. Der Invite-Code kombiniert zwei Komponenten: die Tunneladresse (Public Key des Hosts) und einen Gateway-Schlüssel, der wie ein `OPENAI_API_KEY` funktioniert und vom Host nur als Hash gespeichert wird. Pro Schlüssel lassen sich Limits setzen, etwa maximale Token pro Tag oder eine Modell-Allowlist; einzelne Keys können pausiert, rotiert oder widerrufen werden, ohne andere zu beeinflussen. Das Host-System protokolliert ausschließlich Nutzungsstatistiken – Gesprächsinhalte werden nie gespeichert. Durch den OpenAI-kompatiblen Endpunkt auf `127.0.0.1:11435` lassen sich bestehende Tools wie Open WebUI, Cursor oder Claude Code ohne weitere Anpassungen anschließen.
- Drei Tunnel-Routen sind fest vorgegeben: /v1/models, /v1/chat/completions und /v1/embeddings – keine weiteren Endpunkte erreichbar.
- Installation via einzeiligem curl-Skript oder `brew install infercat/tap/infercat`; Inference-Engine-Erkennung (Ollama, llama.cpp, vLLM, LM Studio) erfolgt automatisch.
- Invite-Codes werden einmalig ausgegeben und können als QR-Code gedruckt werden (`infercat keys add alice`).
- Geplante Roadmap-Erweiterungen umfassen u. a. OCR, ASR, Bildgenerierung, serverseitige Tools (Search, Exec) und einen öffentlichen Gateway unter gateway.infercat.ai als Cloud-Relay-Alternative.
- Der lokale Endpunkt nach `infercat connect` läuft auf Port 11435 – bewusst neben dem Standard-Ollama-Port 11434, um Konflikte zu vermeiden.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Infercat: Lokale KI per P2P-Tunnel mit Freunden teilen
Infercat wurde von einem Einzelentwickler gebaut, der trotz eigener lokaler GPU-Hardware (MacBook und Linux-Server) im Alltag auf Cloud-Dienste wie ChatGPT zurückgriff – schlicht weil der Zugriff vom Smartphone umständlicher war. Der Name leitet sich von „Inference" und dem Unix-Tool `cat` ab, das Dateiinhalte streamt. Das technische Kernstück ist `tailcat`, eine Abwandlung der von Tailscale open-source veröffentlichten Netzwerkbibliothek, die P2P-Tunnel zwischen beliebigen Geräten mit Internetanschluss aufbaut. Ein zentraler Server vermittelt lediglich den initialen Paketaustausch (Handshake); danach läuft die Verbindung direkt und Ende-zu-Ende-verschlüsselt – außer bei Browser-Clients, wo der Server aktuell noch als Relay dient, aber nur verschlüsselte Daten sieht. Der Invite-Code kombiniert zwei Komponenten: die Tunneladresse (Public Key des Hosts) und einen Gateway-Schlüssel, der wie ein `OPENAI_API_KEY` funktioniert und vom Host nur als Hash gespeichert wird. Pro Schlüssel lassen sich Limits setzen, etwa maximale Token pro Tag oder eine Modell-Allowlist; einzelne Keys können pausiert, rotiert oder widerrufen werden, ohne andere zu beeinflussen. Das Host-System protokolliert ausschließlich Nutzungsstatistiken – Gesprächsinhalte werden nie gespeichert. Durch den OpenAI-kompatiblen Endpunkt auf `127.0.0.1:11435` lassen sich bestehende Tools wie Open WebUI, Cursor oder Claude Code ohne weitere Anpassungen anschließen.
- Drei Tunnel-Routen sind fest vorgegeben: /v1/models, /v1/chat/completions und /v1/embeddings – keine weiteren Endpunkte erreichbar.
- Installation via einzeiligem curl-Skript oder `brew install infercat/tap/infercat`; Inference-Engine-Erkennung (Ollama, llama.cpp, vLLM, LM Studio) erfolgt automatisch.
- Invite-Codes werden einmalig ausgegeben und können als QR-Code gedruckt werden (`infercat keys add alice`).
- Geplante Roadmap-Erweiterungen umfassen u. a. OCR, ASR, Bildgenerierung, serverseitige Tools (Search, Exec) und einen öffentlichen Gateway unter gateway.infercat.ai als Cloud-Relay-Alternative.
- Der lokale Endpunkt nach `infercat connect` läuft auf Port 11435 – bewusst neben dem Standard-Ollama-Port 11434, um Konflikte zu vermeiden.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.