強み
- CPUで動作
- 128Kトークンのコンテキスト
- 8言語
最適な用途
- プロセス内でのオフライン推論
- クエリやプロンプトの書き換え
- 短い要約
EDDIで実行する
最も手早いのはEDDIマネージャーです：エージェントウィザードまたはPlatform Operatorを開き、プロバイダーとモデルを選びます。自分で設定する場合は、使いたいプロバイダーについて以下の手順に従ってください。
Jlama (in-process) · type: "jlama"
モデルID: tjake/Llama-3.2-1B-Instruct-JQ4
1. 認証情報を保存する
このプロバイダーはAPIキーを使用しません： JlamaにはAPIキーは不要です：モデルはEDDIのJVM内で動作し、初回使用時にHugging Faceからダウンロードされます。
2. LLMタスクを設定する
これをエージェントのワークフローのlangchain.jsonとして使うか、EDDIマネージャーのLLMエディターにパラメーターを貼り付けます。
{
"tasks": [
{
"actions": [
"send_message"
],
"id": "chat",
"type": "jlama",
"parameters": {
"modelName": "tjake/Llama-3.2-1B-Instruct-JQ4",
"modelCachePath": "/var/lib/eddi/jlama",
"maxTokens": "512",
"systemMessage": "You are a helpful assistant",
"addToOutput": "true"
}
}
]
}EDDIでの注意点
- JlamaはEDDIのJVM内で動作します。再起動後もウェイトが残るよう
modelCachePathをマウントしたボリュームに向け、Podのサイズはモデル分とEDDIのヒープ分を合わせて見積もってください。 - モデルをダウンロードすれば完全にオフラインで動作するため、エアギャップ環境での導入に適しています。
関連モデル
出典
このページの情報はベンダーのドキュメントに基づき、2026-09-30に確認したものです。モデルは頻繁に変わるため、制限値に依存する前にベンダーに確認してください。価格はここには掲載していません：ベンダーの料金ページをご覧ください。