मुख्य सामग्री पर जाएं

स्थानीय AI मॉडलों के साथ चैट करें

स्थानीय AI मॉडलों के बारे में क्यों?​

स्थानीय रूप से AI मॉडलों के साथ काम करना निम्न लाभ देता है:

  • स्वतः सुरक्षित - आपका डेटा आपके ही कंप्यूटर पर रहता है और कभी भी बाहरी सर्वरों पर नहीं जाता
  • कोई अतिरिक्त लागत नहीं - स्थानीय मॉडलों के पास प्रति उपयोग API लागत नहीं होती
  • गोपनीयता सुनिश्चित - संवेदनशील दस्तावेज़ों और जानकारी के लिए आदर्श

Ollama کیوں؟​

Ollama एक ऐसा टूल है जिससे आप स्थानीय रूप से AI मॉडलों को आसानी से चला सकते हैं। इसे हर कंप्यूटर पर अलग से इंस्टॉल किया जाता है, जिससे यूज़र्स की संख्या के बारे में कोई प्रतिबंध नहीं होता - कोई साझा सर्वर नहीं।

Ollama इंस्टॉल करना​

  1. Ollama डाउनलोड पेज पर जाएँ
  2. अपने ऑपरेटिंग सिस्टम के लिए संस्करण डाउनलोड करें (Windows, macOS या Linux)
  3. इंस्टॉलर के अनुसार Ollama स्थापित करें
  4. इंस्टॉल होने के बाद Ollama बैकग्राउंड में स्वचालित रूप से चलने लगेगा

एक भाषा मॉडल इंस्टॉल करना​

Ollama स्थापित करने के बाद कम से कम एक भाषा मॉडल डाउनलोड करना आवश्यक है:

  1. Ollama इंटरफेस खोलें (सिस्टम ट्रे आइकन या टर्मिनल के जरिए)
  2. पसंद का भाषा मॉडल डाउनलोड करें

अनुशंसित मॉडल​

पहले से बेहतर बनाम टूल और विज़न क्षमताओं वाला मॉडल चुनें:

  • Tool capabilities - मॉडल एप्लिकेशन में उपलब्ध सभी टूल्स का उपयोग कर सकता है, जैसे इंटरनेट खोज और इमेज जेनरेशन
  • Vision capabilities - मॉडल इमेजेज़ का विश्लेषण कर सकता है और वर्णन कर सकता है
अनुशंसित मॉडल

qwen3-vl:4b तेज़ी और टूल/ विज़न क्षमताओं के बीच अच्छा संतुलन देता है। इस मॉडल को टर्मिनल से इंस्टॉल करें:

ollama pull qwen3-vl:4b

हार्डवेयर के आधार पर मॉडल चुनना​

किसी मॉडल की प्रदर्शन आपके कंप्यूटर hardware पर निर्भर करती है:

हार्डवेयरअनुशंसा
सीमा (8GB RAM, GPU नहीं)छोटे मॉडल चुनें (1-4B पैरामीटर्स)
मध्य-स्तर (16GB RAM, बेस GPU)7B पैरामीटर तक के मॉडल
शक्तिशाली (32GB+ RAM, आधुनिक GPU)बड़े मॉडल संभव (13B+)
गति बनाम गुणवत्ता

छोटा मॉडल सामान्य तौर पर गति में बेहतर होता है, लेकिन सटीक उत्तर کم हो सकते हैं। अपने मामले के लिए सर्वोत्तम संतुलन खोजने के लिए प्रयोग करें।

डेस्कटॉप एप्लिकेशन में कॉन्फ़िगरेशन​

Ollama चालू हो जाने के बाद एक स्थापित मॉडल के साथ, डेस्कटॉप एप्लिकेशन इसे ऑटोमैटिकली डिटेक्ट कर लेती है। फिर आप चैट में स्थानीय मॉडल को क्लाउड- मॉडलों के विकल्प के रूप में चुन सकते हैं।

টools/vision सपोर्ट के साथ उपलब्ध मॉडलों​

पूर्ण सूची के लिए ollama.com/library देखें। मॉडलों को फ़िल्टर करें:

  • टूल क्षमताओं के लिए Tools टैग
  • इमेज पहचान के लिए Vision टैग

लोकप्रिय विकल्प:

  • qwen3-vl:4b - कॉम्पैक्ट, तेज, टूल + विज़न
  • llama3.2-vision - विज़न क्षमताएं
  • mistral - तेज सामान्य कार्य