Aplikacje z modelami w Twojej sieci lub pod adresem https
Dla każdego, kto uruchamia modele na mocniejszej maszynie niż ta z przeglądarką: na komputerze stacjonarnym, domowym serwerze albo maszynie w biurze. Riff pisze z nimi tak samo jak z LM Studio czy Ollamą na tym komputerze Modele: wybierz model AI i zarządzaj nim.
W Riff Home › Models (Modele) sekcja Model apps (Aplikacje z modelami) zawsze zawiera LM Studio i Ollama na tym komputerze. Obok jest Add a model app (Dodaj aplikację z modelami), do wszystkiego innego. Łącznie możesz mieć do 12 aplikacji z modelami.
Dodaj aplikację z modelami
- Kliknij Add (Dodaj) na karcie Add a model app (Dodaj aplikację z modelami).
- Nazwa: cokolwiek, po czym ją rozpoznasz, np. GB10 (tunnel).
- Aplikacja: LM Studio, Ollama lub Other (OpenAI-compatible) (Inna (zgodna z OpenAI)). Wybierz Inna dla vLLM, serwera llama.cpp lub czegokolwiek, co obsługuje API czatu OpenAI. W tym samym menu są agenci do rozmowy Połącz agenta Hermes.
- Adres: gdzie aplikacja odpowiada, np.
192.168.1.20:1234lubllm.yourdomain.com(więcej niżej). - Klucz API: tylko jeśli aplikacja go wymaga. W przeciwnym razie zostaw puste pole.
- Kliknij Save and connect (Zapisz i połącz). Przeglądarka raz zapyta, czy Riff może łączyć się z tym jednym adresem. Zezwól.
- Karta pokazuje Connected (Połączono). Wybierz model w jej menu i kliknij Use this model (Użyj tego modelu). Odpowiedzi, posty i czat korzystają z niego od teraz, tak jak z aplikacji na tym komputerze.
Aby zmienić adres LM Studio lub Ollamy, kliknij Edit (Edytuj) na jej karcie. Back to this computer (Wróć do tego komputera) przywraca localhost. Aplikacja, którą dodałeś, ma Remove (Usuń). Jeśli usuniesz aplikację, z którą pisze Riff, Riff wraca do Auto.
Które adresy działają
| Wpisujesz | Riff używa | Do czego |
|---|---|---|
localhost lub 127.0.0.1 | http://, ten komputer | Aplikacja na tym komputerze |
192.168.1.20, 10.0.0.5, studio.local | http://, Twoja sieć | Inny komputer w domu lub w biurze. Adresy Tailscale (100.x.x.x) też się liczą |
llm.yourdomain.com | https:// | Twój własny serwer za tunelem, np. Cloudflare Tunnel |
- Jeśli pominiesz port, Riff dopisze zwykły port aplikacji: 1234 dla LM Studio, 11434 dla Ollamy, 8000 dla Innej.
- Zwykły adres
http://w publicznym internecie jest odrzucany, bo to, co wpisujesz, szłoby przez internet bez szyfrowania. Riff pokazuje Use an address on your network (192.168.1.20:1234, name.local) or an https tunnel address. (Użyj adresu w swojej sieci (192.168.1.20:1234, name.local) lub adresu tunelu https.) - Pod nazwą karty jedna linia mówi, gdzie jest aplikacja i co zapisano, np. Your network · 192.168.1.20:1234 · API key saved (Twoja sieć · 192.168.1.20:1234 · zapisano klucz API) lub Tunnel · llm.yourdomain.com (Tunel · llm.yourdomain.com).
Pozwól aplikacji przyjmować inne komputery
Większość aplikacji odpowiada tylko własnemu komputerowi, dopóki tego nie zmienisz. Jeśli nowa karta pokazuje Not found (Nie znaleziono), mówi, co zmienić na tamtym komputerze:
- LM Studio: uruchom serwer i włącz Serve on Local Network (Developer › Settings). Zostaw włączone Enable CORS.
- Ollama: uruchom ją z
OLLAMA_HOST=0.0.0.0i nadal zezwalaj na Riff przezOLLAMA_ORIGINSModele: wybierz model AI i zarządzaj nim. - Inna: uruchom serwer nasłuchujący na hoście
0.0.0.0.
Tunel wskazuje za to port aplikacji na tamtym komputerze, więc aplikacja może dalej nasłuchiwać na localhost.
Klucze API
Aplikacja dostępna z innych komputerów i wszystko za tunelem powinno mieć klucz. Riff wysyła go z każdym żądaniem, jako Authorization: Bearer i klucz.
- W LM Studio utworzysz go w Developer › Server settings › API tokens.
- Jeśli aplikacja chce klucza, którego nie podałeś, karta pokazuje Needs an API key (Potrzebny klucz API) z polem na niego. Zły klucz daje Key not accepted (Klucz odrzucony) Aplikacja z modelami lub agent potrzebuje klucza albo ustawienia.
- Klucze zostają na tym komputerze, oddzielnie od reszty ustawień, tam, gdzie mogą je czytać tylko strony Riffa. Nigdy nie trafiają do kopii zapasowej Kopia zapasowa i przywracanie.
Co opuszcza ten komputer
Gdy Riff pisze z aplikacją na innym komputerze, post, na który odpowiadasz, Twoja myśl i Twój Głos trafiają pod ten adres i nigdzie indziej. Przy tunelu po drodze do Twojego serwera przechodzą przez firmę obsługującą tunel (np. Cloudflare). Riff łączy się tylko z adresami, które dodasz, i dopiero po kliknięciu Save and connect (Zapisz i połącz) lub Connect (Połącz).