स्केल के लिए बनाया
EDDI Java 25 और Quarkus पर चलता है, वर्चुअल थ्रेड्स (Project Loom) का लाभ उठाते हुए।
AI एजेंट्स के लिए वर्चुअल थ्रेड्स क्यों महत्वपूर्ण हैं
आधुनिक AI एजेंट मौलिक रूप से I/O-बाउंड हैं।
Java वर्चुअल थ्रेड्स इसे सुरुचिपूर्ण ढंग से हल करते हैं।
प्रदर्शन हाइलाइट्स
- वर्चुअल थ्रेड्स, लाखों लाइटवेट थ्रेड्स
- Quarkus रनटाइम, कंटेनरों के लिए अनुकूलित, देव-मोड हॉट रीलोड वाला क्लाउड-नेटिव Java। Quarkus पुराने JVM स्टैक की तुलना में उल्लेखनीय रूप से अधिक थ्रूपुट और तेज़ स्टार्टअप देता है, वह भी छोटे मेमोरी फुटप्रिंट के साथ
- Loom-अनुकूल कनेक्शन पूल, Agroal कनेक्शन पूलिंग वर्चुअल थ्रेड वर्कलोड के तहत पारंपरिक पूल को प्रभावित करने वाले ThreadLocal बाधाओं से बचता है
- NATS JetStream, हॉरिज़ॉन्टल स्केलिंग
- ड्यूअल डेटाबेस, MongoDB या PostgreSQL, एक environment variable से बदलें। दोनों के लिए एक Docker इमेज
- SSE स्ट्रीमिंग, Server-Sent Events के माध्यम से रियल-टाइम चैट रिस्पॉन्स, ग्रुप डिस्कशन फीड्स और लाइव लॉग स्ट्रीमिंग, टूल्स चलने के दौरान भी टोकन-दर-टोकन आउटपुट के साथ
- एक-कमांड इंस्टॉल, Docker Compose के माध्यम से EDDI + डेटाबेस डिप्लॉय करने और vault कुंजी जनरेट करने वाला इंटरैक्टिव विज़ार्ड
- Red Hat प्रमाणित, Red Hat प्रमाणित कैटलॉग में प्रकाशित UBI 10 इमेज, CI/CD में ऑटोमेटेड प्रीफ्लाइट चेक्स के साथ
संदर्भ में प्रदर्शन
कोई भी रनटाइम हर परिदृश्य में नहीं जीतता। अत्यंत विशिष्ट, शुद्ध-I/O रूटिंग परिदृश्यों में Node.js Java से आगे निकल सकता है, जबकि CPU-गहन कार्यों वाले वर्कलोड में Java लगातार आगे रहता है, और AI एजेंट्स को ठीक यही चाहिए। आधुनिक एजेंट विशाल I/O (LLM API कॉल, वेक्टर क्वेरी) और गहन गणना (डेटा ट्रांसफ़ॉर्मेशन, रूटिंग लॉजिक, एम्बेडिंग प्रोसेसिंग, कॉन्फ़िडेंस मूल्यांकन) का जटिल मिश्रण निष्पादित करते हैं। यही मिश्रित-वर्कलोड प्रोफ़ाइल वह जगह है जहाँ Quarkus पर वर्चुअल थ्रेड्स अपना सबसे मज़बूत लाभ देते हैं।
EDDI की वास्तुकला जानबूझकर इसी वास्तविकता के लिए अनुकूलित है: I/O-भारी एजेंट ऑर्केस्ट्रेशन लेयर के लिए वर्चुअल थ्रेड्स वाला Quarkus, साथ में Loom-अनुकूल कनेक्शन पूल (Agroal) जो उच्च वर्चुअल थ्रेड समवर्तिता में पारंपरिक पूलिंग लाइब्रेरी में देखी गई ThreadLocal समस्याओं से बचते हैं।