Chatten met lokale AI modellen

Waarom lokale AI-modellen?

Ollama verwerkt het model lokaal. Aanmelden en chatopslag gebruiken de cloud en vereisen internet. Er is geen automatische overstap naar een cloudmodel.

Dat geldt voor de normale modus. In de offline modus blijft alles op deze computer: de app werkt dan ook zonder internet en nieuwe chats worden alleen lokaal en versleuteld opgeslagen.

Waarom Ollama?

Ollama is een tool waarmee je eenvoudig AI-modellen lokaal kunt draaien. Het wordt op iedere computer afzonderlijk geïnstalleerd, waardoor er geen beperkingen zijn wat betreft het aantal gebruikers - geen gedeelde server nodig.

Ollama installeren

1. Ga naar de Ollama download pagina
2. Download de versie voor jouw besturingssysteem (Windows, macOS of Linux)
3. Installeer Ollama door de installer te volgen
4. Na installatie draait Ollama automatisch op de achtergrond

Een taalmodel installeren

Na het installeren van Ollama moet je minimaal één taalmodel downloaden:

1. Open de Ollama interface (via het systeemvak icoon of terminal)
2. Download een taalmodel naar keuze

Aanbevolen model

Kies bij voorkeur een model dat tool en vision capabilities heeft:

• Tool capabilities - Het model kan gebruikmaken van alle tools die beschikbaar zijn in de applicatie, zoals internet zoeken en afbeeldingen genereren
• Vision capabilities - Het model kan afbeeldingen analyseren en beschrijven

Aanbevolen model

qwen3-vl:4b-instruct biedt een goede balans tussen snelheid en tool/vision mogelijkheden. Installeer dit model via de terminal:

ollama pull qwen3-vl:4b-instruct

Kies de variant -instruct: die antwoordt meteen. Het gewone qwen3-vl:4b denkt bij elke stap eerst lang na en is op een laptop vele malen trager. Voor kleine lokale modellen gebruikt de app een korte instructie en alleen de tools die bij je vraag horen. Mislukt dezelfde stap steeds opnieuw, dan stopt de AI en vertelt wat wel en niet lukte.

Model kiezen op basis van hardware

De prestaties van een model zijn sterk afhankelijk van de hardware van je computer:

Hardware	Aanbeveling
Beperkt (8GB RAM, geen GPU)	Kies kleinere modellen (1-4B parameters)
Gemiddeld (16GB RAM, basis GPU)	Modellen tot 7B parameters
Krachtig (32GB+ RAM, moderne GPU)	Grotere modellen mogelijk (13B+)

Snelheid vs. kwaliteit

Een kleiner model presteert over het algemeen beter qua snelheid, maar kan minder nauwkeurige antwoorden geven. Experimenteer om de beste balans voor jouw situatie te vinden.

Configuratie in de desktop applicatie

Zodra Ollama draait met een geïnstalleerd model, detecteert de desktop applicatie dit automatisch. Je kunt dan in de chat het lokale model selecteren als alternatief voor de cloud-modellen.

Op het beginscherm staat de modelkeuze direct onder het invoerveld, zodat je vóór je eerste vraag een lokaal model kunt kiezen. De gekozen instelling wordt gebruikt vanaf het eerste bericht en kan later in de chat nog worden gewijzigd.

Documenten en scans lokaal lezen

Met een lokaal model leest de desktop-app documenten op je eigen computer. Er wordt niets geüpload.

• Werkmap: in een goedgekeurde map leest de AI Word, PowerPoint, Excel, PDF, OpenDocument (ODT, ODP, ODS) en RTF. Oude .doc- en .ppt-bestanden leest de app alleen als LibreOffice is geïnstalleerd.
• Scans en foto's: gescande PDF-pagina's, afbeeldingen (PNG, JPG, WebP, TIFF) en afbeeldingen in Word- en PowerPoint-bestanden worden gelezen met tekstherkenning (OCR). De OCR wordt met de app meegeleverd en herkent Nederlands, Engels, Duits en Frans. In de chat zie je welke pagina wordt gelezen; een lange scan kan enkele minuten duren. Per document worden maximaal 100 pagina's met OCR gelezen.
• Onzekere herkenning: als de tekstherkenning onzeker is, meldt de AI dat. Controleer namen, cijfers en bedragen dan in het origineel. Handschrift, tabellen en schema's worden niet altijd goed herkend.
• Beeldmodel: heeft het gekozen model vision (zoals qwen3-vl:4b-instruct), dan bekijkt het model zelf de afbeeldingen waarin de tekstherkenning weinig of onzeker leest. Zonder GPU duurt dat langer.
• iPhone-foto's (HEIC): sla ze eerst op als JPEG of PNG.

Ook met een cloudmodel leest de app documenten in de werkmap op je computer, maar de gelezen tekst gaat dan als onderdeel van het gesprek naar dat model.

Werken zonder internet, ook met bijlagen in de chat: zie Offline modus.

Beschikbare modellen met tool/vision support

Bekijk de volledige lijst op ollama.com/library. Filter op modellen met:

• Tools tag voor tool capabilities
• Vision tag voor afbeeldingsherkenning

Populaire opties:

• qwen3-vl:4b-instruct - Compact, snel, tool + vision
• llama3.2-vision - Vision capabilities
• mistral - Snelle algemene taken