Modell-Apps in deinem Netzwerk oder unter einer https-Adresse
Für alle, deren Modelle auf einem stärkeren Rechner laufen als dem mit dem Browser: ein Desktop-PC, ein Server zu Hause oder eine Maschine im Büro. Riff schreibt damit genauso wie mit LM Studio oder Ollama auf diesem Rechner Modelle: das KI-Modell auswählen und verwalten.
In Riff Home › Models (Modelle) enthält der Bereich Model apps (Modell-Apps) immer LM Studio und Ollama auf diesem Rechner. Daneben steht Add a model app (Modell-App hinzufügen), für alles andere. Du kannst insgesamt bis zu 12 Modell-Apps haben.
Eine Modell-App hinzufügen
- Klicke auf der Karte Add a model app (Modell-App hinzufügen) auf Add (Hinzufügen).
- Name: alles, woran du sie erkennst, etwa GB10 (tunnel).
- App: LM Studio, Ollama oder Other (OpenAI-compatible) (Andere (OpenAI-kompatibel)). Wähle Andere für vLLM, einen llama.cpp-Server oder alles andere, was die Chat-API von OpenAI spricht. Im selben Menü stehen Agenten zum Chatten Einen Hermes-Agenten verbinden.
- Adresse: wo die App antwortet, etwa
192.168.1.20:1234oderllm.yourdomain.com(siehe unten). - API-Schlüssel: nur, wenn die App einen verlangt. Sonst lass das Feld leer.
- Klicke auf Save and connect (Speichern und verbinden). Der Browser fragt einmal, ob Riff diese eine Adresse erreichen darf. Erlaube es.
- Die Karte zeigt Connected (Verbunden). Wähle in ihrem Menü ein Modell und klicke auf Use this model (Dieses Modell verwenden). Antworten, Beiträge und der Chat nutzen es jetzt, wie bei einer App auf diesem Rechner.
Um die Adresse von LM Studio oder Ollama zu ändern, klicke auf ihrer Karte auf Edit (Bearbeiten). Back to this computer (Zurück zu diesem Rechner) setzt sie wieder auf localhost. Eine App, die du hinzugefügt hast, hat Remove (Entfernen). Entfernst du die App, mit der Riff schreibt, wechselt Riff zurück zu Auto.
Welche Adressen funktionieren
| Du tippst | Riff nutzt | Für |
|---|---|---|
localhost oder 127.0.0.1 | http://, dieser Rechner | Eine App auf diesem Rechner |
192.168.1.20, 10.0.0.5, studio.local | http://, dein Netzwerk | Einen anderen Rechner zu Hause oder im Büro. Tailscale-Adressen (100.x.x.x) zählen auch |
llm.yourdomain.com | https:// | Deinen eigenen Server hinter einem Tunnel, etwa einem Cloudflare Tunnel |
- Lässt du den Port weg, ergänzt Riff den üblichen der App: 1234 für LM Studio, 11434 für Ollama, 8000 für Andere.
- Eine einfache
http://-Adresse im öffentlichen Internet wird abgelehnt, weil das, was du tippst, unverschlüsselt durchs Internet ginge. Riff zeigt Use an address on your network (192.168.1.20:1234, name.local) or an https tunnel address. (Verwende eine Adresse in deinem Netzwerk (192.168.1.20:1234, name.local) oder eine https-Tunneladresse.) - Unter dem Namen der Karte steht in einer Zeile, wo sie ist und was sie enthält, etwa Your network · 192.168.1.20:1234 · API key saved (Dein Netzwerk · 192.168.1.20:1234 · API-Schlüssel gespeichert) oder Tunnel · llm.yourdomain.com.
Die App für andere Rechner öffnen
Die meisten Apps antworten nur ihrem eigenen Rechner, bis du es anders einstellst. Zeigt eine neue Karte Not found (Nicht gefunden), steht darauf, was du auf diesem Rechner ändern musst:
- LM Studio: Starte den Server und schalte Serve on Local Network ein (Developer › Settings). Lass Enable CORS eingeschaltet.
- Ollama: Starte es mit
OLLAMA_HOST=0.0.0.0, und erlaube Riff weiterhin mitOLLAMA_ORIGINSModelle: das KI-Modell auswählen und verwalten. - Andere: Starte den Server so, dass er auf Host
0.0.0.0lauscht.
Ein Tunnel zeigt dagegen auf den Port der App auf diesem Rechner, also kann die App weiter auf localhost lauschen.
API-Schlüssel
Eine App, die von anderen Rechnern aus erreichbar ist, und alles hinter einem Tunnel sollte einen Schlüssel haben. Riff sendet ihn bei jeder Anfrage, als Authorization: Bearer gefolgt vom Schlüssel.
- In LM Studio erstellst du einen unter Developer › Server settings › API tokens.
- Verlangt eine App einen Schlüssel, den du nicht angegeben hast, zeigt die Karte Needs an API key (API-Schlüssel nötig) mit einem Feld dafür. Ein falscher zeigt Key not accepted (Schlüssel abgelehnt) Eine Modell-App oder ein Agent braucht einen Schlüssel oder eine Einstellung.
- Schlüssel bleiben auf diesem Rechner, getrennt von deinen übrigen Einstellungen, wo nur Riffs eigene Seiten sie lesen können. Sie sind nie in einer Sicherung Sichern und wiederherstellen.
Was diesen Rechner verlässt
Wenn Riff mit einer App auf einem anderen Rechner schreibt, gehen der Beitrag, auf den du antwortest, deine Botschaft und deine Stimme an diese Adresse und nirgendwohin sonst. Mit einem Tunnel laufen sie unterwegs zu deinem Server über den Tunnel-Anbieter (etwa Cloudflare). Riff spricht nur mit Adressen, die du hinzufügst, und erst, nachdem du auf Save and connect (Speichern und verbinden) oder Connect (Verbinden) geklickt hast.