App di modelli nella tua rete o a un indirizzo https
Per chi fa girare i modelli su una macchina più potente di quella con il browser: un desktop, un server di casa o una macchina in ufficio. Riff ci scrive come con LM Studio o Ollama su questo computer Modelli: scegliere e gestire il modello di IA.
In Riff Home › Models (Modelli), la sezione Model apps (App di modelli) contiene sempre LM Studio e Ollama su questo computer. Accanto c’è Add a model app (Aggiungi un’app di modelli), per tutto il resto. Puoi avere fino a 12 app di modelli in tutto.
Aggiungi un’app di modelli
- Fai clic su Add (Aggiungi) nella scheda Add a model app (Aggiungi un’app di modelli).
- Nome: qualsiasi cosa che la distingua, come GB10 (tunnel).
- App: LM Studio, Ollama o Other (OpenAI-compatible) (Altra (compatibile con OpenAI)). Scegli Altra per vLLM, un server llama.cpp o qualsiasi cosa che parli l’API di chat di OpenAI. Lo stesso menu ha anche agenti con cui chattare Collega un agente Hermes.
- Indirizzo: dove risponde l’app, come
192.168.1.20:1234ollm.yourdomain.com(vedi sotto). - Chiave API: solo se l’app la richiede. Altrimenti lascia il campo vuoto.
- Fai clic su Save and connect (Salva e collega). Il browser chiede una sola volta di consentire a Riff di raggiungere quell’indirizzo. Consentilo.
- La scheda mostra Connected (Collegato). Scegli un modello nel suo menu e fai clic su Use this model (Usa questo modello). Risposte, post e Chat ora lo usano, come con un’app su questo computer.
Per cambiare l’indirizzo di LM Studio o Ollama, fai clic su Edit (Modifica) nella sua scheda. Back to this computer (Torna a questo computer) la riporta su localhost. Un’app che hai aggiunto ha Remove (Rimuovi). Se rimuovi l’app con cui scrive Riff, Riff torna su Auto.
Quali indirizzi funzionano
| Scrivi | Riff usa | Per |
|---|---|---|
localhost o 127.0.0.1 | http://, questo computer | Un’app su questo computer |
192.168.1.20, 10.0.0.5, studio.local | http://, la tua rete | Un altro computer a casa o in ufficio. Valgono anche gli indirizzi Tailscale (100.x.x.x) |
llm.yourdomain.com | https:// | Il tuo server dietro un tunnel, come un Cloudflare Tunnel |
- Se ometti la porta, Riff aggiunge quella abituale dell’app: 1234 per LM Studio, 11434 per Ollama, 8000 per Altra.
- Un indirizzo
http://su internet pubblico viene rifiutato, perché ciò che scrivi attraverserebbe internet senza cifratura. Riff mostra Use an address on your network (192.168.1.20:1234, name.local) or an https tunnel address. (Usa un indirizzo della tua rete (192.168.1.20:1234, name.local) o un indirizzo di tunnel https.) - Sotto il nome della scheda, una riga dice dov’è e cosa contiene, come Your network · 192.168.1.20:1234 · API key saved (La tua rete · 192.168.1.20:1234 · chiave API salvata) o Tunnel · llm.yourdomain.com.
Fai accettare all’app altri computer
La maggior parte delle app risponde solo al proprio computer finché non dici il contrario. Se una nuova scheda mostra Not found (Non trovato), indica cosa cambiare su quel computer:
- LM Studio: avvia il server e attiva Serve on Local Network (Developer › Settings). Lascia attivo Enable CORS (Abilita CORS).
- Ollama: avvialo con
OLLAMA_HOST=0.0.0.0, e continua a consentire Riff conOLLAMA_ORIGINSModelli: scegliere e gestire il modello di IA. - Altra: avvia il server in ascolto sull’host
0.0.0.0.
Un tunnel invece punta alla porta dell’app su quel computer, quindi l’app può restare in ascolto su localhost.
Chiavi API
Un’app raggiungibile da altri computer, e tutto ciò che sta dietro un tunnel, dovrebbe avere una chiave. Riff la invia con ogni richiesta, come Authorization: Bearer seguito dalla chiave.
- In LM Studio, creane una in Developer › Server settings › API tokens.
- Se un’app vuole una chiave che non hai dato, la scheda mostra Needs an API key (Serve una chiave API) con un campo per inserirla. Una chiave sbagliata mostra Key not accepted (Chiave non accettata) Un’app di modelli o un agente ha bisogno di una chiave o di un’impostazione.
- Le chiavi restano su questo computer, separate dalle altre impostazioni, dove solo le pagine di Riff possono leggerle. Non finiscono mai in un backup Backup e ripristino.
Cosa lascia questo computer
Quando Riff scrive con un’app su un altro computer, il post a cui rispondi, la tua idea e la tua Voce vanno a quell’indirizzo, e da nessun’altra parte. Con un tunnel, passano dalla società del tunnel (Cloudflare, per esempio) lungo la strada verso il tuo server. Riff parla solo con gli indirizzi che aggiungi, e solo dopo che hai fatto clic su Save and connect (Salva e collega) o Connect (Collega).