Posted on by 256hax

elizaでLlama（Ollama）を使う

やりたいこと

elizaのチュートリアルでOpenAIではなく、Llamaを使って動かしたい。

補足

elizaのチュートリアルは大きく２つある。

  1. Starterを使うやり方
  2. eliza本体を使うやり方

「Starterを使うやり方」だと、OpenAIを必須で使う仕様になっているため、OpenAIのAPIの利用＆クレジットカードによる予算追加が必要になる。
一方で、「eliza本体を使うやり方」だとModelを自由に選択できるため、Llamaを指定することができる。

設定

.env

XAI_MODEL=llama3.2

characters/trump.character.json

   "modelProvider": "llama_local",

実行

１つ目のターミナルで以下を実行。

% pnpm start --character="characters/trump.character.json"

２つ目のターミナルを新規に立ち上げて以下を実行。

% pnpm start:client

起動完了したら、以下にアクセスしてChatをするだけ。そうすると、１つ目のターミナルにLlamaが動いて回答を生成してくれる。

http://localhost:5173/