Skip to content
🚀 EDDI 6.5.0

ผู้ให้บริการ LLM 19 ราย ฐานความรู้ที่ครอลเว็บไซต์และอ่านไฟล์ของคุณ และบทสนทนาที่ย้ายตามเวอร์ชันเอเจนต์ที่เข้ากันได้มีอะไรใหม่

แมนเนจด์คลาวด์ เริ่มต้น
โมเดลทั้งหมด
Metaรันในเครื่องได้

Llama 3.2 1B

โมเดลหลายภาษาขนาด 1.2B พารามิเตอร์ สำหรับสภาพแวดล้อมที่มีทรัพยากรจำกัดและบนอุปกรณ์ มีขนาดเล็กพอที่จะรันภายใน JVM ของ EDDI

จุดแข็ง

  • รันบน CPU ได้
  • context 128K
  • แปดภาษา

เหมาะที่สุดสำหรับ

  • inference ภายในโปรเซสแบบออฟไลน์
  • การเขียนคำค้นและ prompt ใหม่
  • สรุปสั้นๆ

รันใน EDDI

เส้นทางที่เร็วที่สุดคือ Manager: เปิด agent wizard หรือ Platform Operator แล้วเลือกผู้ให้บริการและโมเดล หากต้องการกำหนดค่าเอง ให้ทำตามขั้นตอนเหล่านี้สำหรับผู้ให้บริการที่คุณต้องการ

Jlama (in-process) · type: "jlama"

Model id: tjake/Llama-3.2-1B-Instruct-JQ4

1. เก็บ credential

ผู้ให้บริการนี้ไม่ใช้ API key: Jlama ไม่ต้องใช้คีย์: โมเดลรันภายใน JVM ของ EDDI และดาวน์โหลดจาก Hugging Face เมื่อใช้งานครั้งแรก

2. กำหนดค่า LLM task

ใช้สิ่งนี้เป็น langchain.json ของเวิร์กโฟลว์เอเจนต์ หรือวางพารามิเตอร์ลงใน LLM editor ใน Manager

{
  "tasks": [
    {
      "actions": [
        "send_message"
      ],
      "id": "chat",
      "type": "jlama",
      "parameters": {
        "modelName": "tjake/Llama-3.2-1B-Instruct-JQ4",
        "modelCachePath": "/var/lib/eddi/jlama",
        "maxTokens": "512",
        "systemMessage": "You are a helpful assistant",
        "addToOutput": "true"
      }
    }
  ]
}

หมายเหตุสำหรับ EDDI

  • Jlama รันภายใน JVM ของ EDDI ชี้ modelCachePath ไปที่ volume ที่ mount ไว้เพื่อให้ weights คงอยู่หลังรีสตาร์ท และกำหนดขนาด pod ให้พอสำหรับโมเดลรวมกับ heap ของ EDDI
  • รันแบบออฟไลน์ได้ทั้งหมดเมื่อดาวน์โหลดโมเดลแล้ว จึงเหมาะกับการติดตั้งแบบ air-gapped

โมเดลที่เกี่ยวข้อง

แหล่งที่มา

ข้อมูลในหน้านี้มาจากเอกสารของผู้ผลิต ตรวจสอบเมื่อ 2026-09-30 โมเดลเปลี่ยนแปลงเร็ว จึงควรยืนยันขีดจำกัดกับผู้ผลิตก่อนนำไปใช้ ราคาไม่ได้แสดงไว้ที่นี่: ดูหน้าราคาของผู้ผลิต

เอกสารของผู้ผลิต ↗