मुख्य सामग्री पर जाएं

प्रसंस्करण

भाषा मॉडल​

भाषा मॉडल उन्नत AI सिस्टम हैं जो मानव भाषा को समझ, व्याख्या और उत्पन्न कर सकते हैं। ये मॉडल विशाल टेक्स्ट डेटासेट पर प्रशिक्षित होते हैं और पैटर्न, शब्द संयोजन, वाक्य संरचनाएँ, और विभिन्न भाषाओं और भाषा उपयोगों की सूक्ष्मताएँ तक सीखते हैं। कई आधुनिक भाषा मॉडलों का मूल ट्रांसफ़ॉर्मर आर्किटेक्चर है, जो सेल्फ़-अटेंशन तंत्रों का उपयोग करके यह तय करता है कि किसी दिए गए संदर्भ में टेक्स्ट के कौन से हिस्से महत्वपूर्ण हैं।

भाषा के प्रसंस्करण में ये मॉडल सांख्यिकीय विधियों का उपयोग करके अनुमान लगाते हैं कि किसी टेक्स्ट में अगला सबसे संभावित शब्द या वाक्य क्या हो सकता है। वे लंबे टेक्स्ट के संदर्भ को समझ सकते हैं और इसलिए न केवल व्याकरणिक रूप से सही, बल्कि सामग्री के हिसाब से सुसंगत और प्रासंगिक टेक्स्ट भी उत्पन्न कर सकते हैं।

उदाहरण के लिए, किसी चैटबॉट या टेक्स्ट जनरेटर के लिए भाषा मॉडल का उपयोग करते समय मॉडल को कुछ प्रॉम्प्ट या प्रारंभिक डेटा दिया जाता है, और उस इनपुट के आधार पर मॉडल ऐसा टेक्स्ट उत्पन्न करता है जो दिए गए संदर्भ से तार्किक रूप से आगे बढ़ता है। इन मॉडलों का लक्ष्य ऐसा टेक्स्ट बनाना है जो सामग्री और शैली दोनों में यथासंभव मानव जैसा लगे।

टेक्स्ट-से-छवि मॉडल​

टेक्स्ट-से-छवि मॉडल ऐसे AI सिस्टम हैं जो लिखित टेक्स्ट विवरणों से दृश्य प्रस्तुतियाँ, जैसे फ़ोटो, चित्रण या अन्य प्रकार की छवियाँ, उत्पन्न कर सकते हैं। ये मॉडल उन्नत न्यूरल नेटवर्क का उपयोग करते हैं, विशेष रूप से जनरेटिव एडवर्सेरियल नेटवर्क (GAN) या उनके रूपांतर, जैसे डिफ़्यूज़न मॉडल।

प्रक्रिया उपयोगकर्ता द्वारा दर्ज किए गए टेक्स्ट विवरण से शुरू होती है। मॉडल इस टेक्स्ट का मूल्यांकन करता है और उसके अर्थ और संदर्भ को समझने का प्रयास करता है। इसके बाद मॉडल प्रशिक्षण के दौरान सीखी गई बातों का उपयोग करके टेक्स्ट विवरण से मेल खाती छवियाँ बनाता है; यह प्रशिक्षण टेक्स्ट-छवि जोड़ों के विशाल डेटासेट पर होता है।

प्रशिक्षण के दौरान मॉडल टेक्स्ट विवरणों और दृश्य विशेषताओं के बीच संबंध सीखता है। उदाहरण के लिए, यदि मॉडल बार-बार 'नीले समुद्र के ऊपर एक पीला सूरज' शब्द संयोजन को इस दृश्य को दर्शाने वाली छवियों के साथ देखता है, तो वह इन तत्वों को पहचानना और भविष्य की छवियों में दोबारा बनाना सीखता है।

परिणाम अक्सर आश्चर्यजनक रूप से सटीक और विस्तृत छवियाँ होती हैं जो दर्ज किए गए टेक्स्ट विवरण से मेल खाती हैं। ये मॉडल लगातार अधिक परिष्कृत हो रहे हैं और कई वस्तुओं तथा अमूर्त अवधारणाओं वाले जटिल दृश्यों को भी दर्शा सकते हैं। इनका उपयोग कला निर्माण, गेम डिज़ाइन, वर्चुअल रियलिटी और कई अन्य क्षेत्रों में किया जाता है।

AI-Public मॉडलों तक पहुँच देता है​

यह समझना महत्वपूर्ण है कि AI-Public बड़ी टेक्नोलॉजी कंपनियों द्वारा API के माध्यम से उपलब्ध कराए गए विभिन्न AI मॉडलों तक पहुँच देता है। API, या एप्लिकेशन प्रोग्रामिंग इंटरफ़ेस, नियमों और परिभाषाओं का एक समूह है जिसके माध्यम से सॉफ़्टवेयर प्रोग्राम एक-दूसरे के साथ संवाद कर सकते हैं। यह एक प्रकार की 'भाषा' की तरह काम करता है जिसे प्रोग्राम जानकारी का आदान-प्रदान करने और एक-दूसरे के फ़ंक्शन कॉल करने के लिए समझते हैं। AI-Public के पास स्वयं कोई भाषा मॉडल या टेक्स्ट-से-छवि मॉडल नहीं हैं।

हम विभिन्न मॉडलों के परिणामों के लिए ज़िम्मेदार नहीं हैं। फिर भी, हमने कंपनियों के लिए सबसे अच्छे और सबसे दिलचस्प मॉडल चुनने पर ध्यान दिया है।

प्रसंस्करण प्रक्रिया​

उत्तर उत्पन्न करने के लिए निम्नलिखित प्रक्रिया अपनाई जाती है:

  • उपयोगकर्ता एक प्रॉम्प्ट बनाता है।
  • फ़्रंट-एंड वेब एप्लिकेशन इसे सक्रिय चैट से जोड़ता है और "आरंभ हो रहा है" स्थिति के साथ एक चैट संदेश जोड़ता है।
  • चैट संदेश जोड़ने से AI-Public के सर्वरों पर एक फ़ंक्शन ट्रिगर होता है।
  • चैट संदेश की स्थिति "प्रसंस्करण हो रहा है" पर सेट की जाती है।
  • दस्तावेज़ों के साथ चैट चुनने पर सर्वर पहले दस्तावेज़ों से टेक्स्ट चुनने के लिए Firestore वेक्टर डेटाबेस को अनुरोध भेजता है।
  • इसके बाद सर्वर अनुरोध को एक API कनेक्शन के माध्यम से चुने गए भाषा मॉडल को भेजता है।
  • यदि स्ट्रीमिंग सेटिंग चालू है, तो हम संदेश को हर 10 प्राप्त चंक के बाद सहेजते हैं, और 100 चंक प्राप्त होने के बाद हर 25 चंक पर।
  • पूरा उत्तर प्राप्त होते ही स्थिति "पूर्ण" पर सेट की जाती है।
  • फ़्रंट-एंड एप्लिकेशन हर डेटाबेस अपडेट के बाद रीफ़्रेश होता है।
  • त्रुटियाँ पाए जाने पर स्थिति "त्रुटि" पर सेट की जाती है और एक त्रुटि संदेश दिखाया जाता है।

हम किसी भी API अनुरोध के साथ कोई व्यक्तिगत जानकारी नहीं भेजते। हालाँकि, उपयोगकर्ता ने प्रॉम्प्ट में या अपलोड किए गए दस्तावेज़ों में व्यक्तिगत जानकारी शामिल की हो सकती है।

PDF निष्कर्षण और उपयोग​

यूरोपीय पृष्ठभूमि प्रसंस्करण में Mistral OCR, PDF से पाठ और तालिकाएँ निकालता है। दूसरा मार्ग Google Document AI का उपयोग करता है। मॉडल पृष्ठ पर उपयोग की जा रही सेवा दिखाई देती है। PDF प्रसंस्करण का शुल्क प्रति पृष्ठ होता है; चैट, सारांश और एम्बेडिंग के संभावित शुल्क अलग हैं। महत्वपूर्ण संख्याओं, चित्रों और स्रोत संदर्भों को हमेशा मूल दस्तावेज़ में जाँचें।