本文へスキップ
JA
Chrome に追加

ネットワーク上や https アドレスのモデルアプリ

ハウツー新規

ブラウザのあるパソコンより強力なマシンでモデルを動かしている方へ。デスクトップ PC、自宅のサーバー、オフィスのマシンなど。Riff は、このパソコンの LM Studio や Ollama と同じようにそれらで書きます(モデル:AI モデルを選んで管理する)。

ネットワーク上のアドレスにモデルアプリを追加し、そのアドレスを許可して、モデルを選びます。

Riff Home › Models(モデル) の Model apps(モデルアプリ) セクションには、このパソコンの LM Studio と Ollama が常にあります。その隣の Add a model app(モデルアプリを追加) から、それ以外のすべてを追加できます。モデルアプリは合計 12 個まで持てます。

モデルアプリを追加する

  1. Add a model app(モデルアプリを追加) カードの Add(追加) をクリックします。
  2. 名前:区別できる名前なら何でもかまいません。例:GB10 (tunnel)。
  3. アプリ:LM Studio、Ollama、または Other (OpenAI-compatible)(その他(OpenAI 互換))。vLLM、llama.cpp サーバーなど、OpenAI のチャット API を話すものには「その他」を選びます。同じメニューには、チャットできるエージェントもあります(Hermes エージェントを接続する)。
  4. アドレス:アプリが応答する場所。例:192.168.1.20:1234 や llm.yourdomain.com(下記参照)。
  5. API キー:アプリが求める場合だけ入力します。それ以外は空のままにします。
  6. Save and connect(保存して接続) をクリックします。そのアドレスに Riff がアクセスしてよいかを、ブラウザが一度だけ尋ねます。許可してください。
  7. カードに Connected(接続済み) と表示されます。メニューでモデルを選び、Use this model(このモデルを使う) をクリックします。返信、投稿、チャットがそのモデルを使うようになります。このパソコンのアプリと同じです。

LM Studio や Ollama のアドレスを変えるには、そのカードの Edit(編集) をクリックします。Back to this computer(このパソコンに戻す) で localhost に戻ります。自分で追加したアプリには Remove(削除) があります。Riff が書くのに使っているアプリを削除すると、Riff は Auto(自動) に戻ります。

使えるアドレス

入力する内容Riff が使うもの用途
localhost または 127.0.0.1http://、このパソコンこのパソコンのアプリ
192.168.1.20、10.0.0.5、studio.localhttp://、あなたのネットワーク自宅やオフィスの別のパソコン。Tailscale のアドレス(100.x.x.x)も使えます
llm.yourdomain.comhttps://Cloudflare Tunnel などのトンネルの先にある自分のサーバー
  • ポートを省くと、Riff はアプリの通常のポートを補います。LM Studio は 1234、Ollama は 11434、その他は 8000 です。
  • 公開インターネット上の http:// アドレスは拒否されます。入力した内容が暗号化されずにインターネットを通ることになるためです。Riff は Use an address on your network (192.168.1.20:1234, name.local) or an https tunnel address.(ネットワーク上のアドレス(192.168.1.20:1234、name.local)か、https のトンネルアドレスを使ってください。) と表示します。
  • カードの名前の下には、場所と保存内容を示す1行があります。例:Your network · 192.168.1.20:1234 · API key saved(あなたのネットワーク · 192.168.1.20:1234 · API キー保存済み) や Tunnel · llm.yourdomain.com(トンネル · llm.yourdomain.com)。

アプリが他のパソコンを受け付けるようにする

ほとんどのアプリは、設定を変えるまで自分のパソコンにしか応答しません。新しいカードに Not found(見つかりません) と表示されたら、そのパソコンで何を変えればよいかが書かれています。

  • LM Studio:サーバーを起動し、Serve on Local Network をオンにします(Developer › Settings)。Enable CORS はオンのままにします。
  • Ollama:OLLAMA_HOST=0.0.0.0 を付けて起動し、引き続き OLLAMA_ORIGINS で Riff を許可します(モデル:AI モデルを選んで管理する)。
  • その他:ホスト 0.0.0.0 で待ち受けるようにサーバーを起動します。

トンネルの場合は、そのパソコン上のアプリのポートを指すので、アプリは localhost で待ち受けたままでかまいません。

API キー

他のパソコンからアクセスするアプリや、トンネルの先にあるものには、キーを設定しましょう。Riff はリクエストのたびに、Authorization: Bearer に続けてキーを送ります。

  • LM Studio では、Developer › Server settings › API tokens で作成します。
  • アプリが、まだ入力していないキーを求めると、カードに Needs an API key(API キーが必要) と入力欄が表示されます。キーが間違っていると Key not accepted(キーが受け付けられません) と表示されます(モデルアプリやエージェントにキーや設定が必要)。
  • キーはこのパソコンに保存され、他の設定とは分けて、Riff 自身のページだけが読める場所に置かれます。バックアップには一切含まれません(バックアップと復元)。

このパソコンから出ていくもの

Riff が別のパソコンのアプリで書くときは、返信先の投稿、伝えたいこと、あなたのボイスがそのアドレスに送られ、それ以外のどこにも送られません。トンネルを使う場合は、サーバーへの途中でトンネルの会社(たとえば Cloudflare)を通ります。Riff が通信するのは、あなたが追加したアドレスだけで、それも Save and connect(保存して接続) か Connect(接続) をクリックした後だけです。