Lokale AI op je pc: draai een model offline

Wat is lokale AI eigenlijk?

Lokale AI betekent dat het taalmodel — het "brein" — als bestand op jouw computer staat en dat de berekeningen ook door jouw processor of videokaart worden gedaan. Je hebt twee dingen nodig: het modelbestand (een download van soms enkele gigabytes) en een programma dat dat model laadt en er een chatvenster omheen zet.

Het contrast met de bekende chatbots is fundamenteel. ChatGPT, Claude en Gemini zijn cloud-diensten: jij typt een bericht, dat gaat naar een datacenter, daar rekent een enorm model het antwoord uit en dat komt terug. Bij lokale AI slaat die hele reis over — de tekst blijft binnen de vier muren van je eigen machine. Dat is precies het aantrekkelijke, en meteen de kern van waarom mensen ervoor kiezen.

Waarom zou je het lokaal draaien?

Er zijn vier redenen die telkens terugkomen:

• Privacy. Je data verlaat je apparaat niet. Voor gevoelige documenten, klantgegevens of vertrouwelijk werk is dat een groot voordeel — je hoeft niemand te vertrouwen met je invoer. Het raakt direct aan de vragen uit onze gids over AI, AVG en privacy.
• Gratis in gebruik. Geen abonnement. Na de eenmalige investering in hardware (die je vaak al hebt) betaal je alleen wat stroom. Geen kosten per vraag.
• Offline. Geen internet nodig. Handig onderweg, op een afgeschermd netwerk, of gewoon als je niet afhankelijk wilt zijn van een dienst die plat kan gaan of duurder kan worden.
• Geen limieten. Geen berichtquota, geen "kom later terug". Je kunt het model zoveel gebruiken als je hardware aankan, ook voor grote hoeveelheden tekst achter elkaar.

Daar komt een vijfde, zachtere reden bij: controle en leren. Je bepaalt zelf welk model je draait en je snapt beter hoe de techniek werkt. Voor wie graag onder de motorkap kijkt, is dat op zichzelf al de moeite waard.

Wat heb je nodig?

De drempel is de afgelopen jaren flink gezakt. Waar je vroeger met de commandoregel moest werken, zijn er nu gebruiksvriendelijke programma's die het model downloaden én een net chatvenster bieden. Twee bekende, gratis categorieën:

• Ollama — een tool die modellen beheert en draait; populair omdat je met één commando een model binnenhaalt en start. Werkt op Windows, macOS en Linux.
• LM Studio — een programma met een grafische schil: je zoekt een model in een lijst, downloadt het met een klik en chat er direct mee. Fijn als je liever geen commandoregel gebruikt.

Belangrijker dan de software is je hardware. Een model draait op je processor (CPU) of, veel sneller, op je videokaart (GPU). De vuistregel: hoe meer werkgeheugen (RAM) en videogeheugen (VRAM), hoe groter en beter het model dat je vloeiend kunt draaien. Een moderne laptop met 16 GB RAM draait prima een middelgroot model; een aparte GPU maakt het merkbaar sneller. Mac-computers met "unified memory" doen het vaak verrassend goed. Reken ook op wat vrije schijfruimte: modelbestanden zijn al gauw enkele gigabytes.

Welke open modellen bestaan er?

Lokaal draaien kan alleen met open modellen (ook wel open-weight): modellen waarvan de makers de bestanden vrij beschikbaar stellen, zodat jij ze mag downloaden en draaien. De grote cloud-modellen van OpenAI en Anthropic zijn dat juist níet — die draaien alleen op hun eigen servers.

Een paar bekende families, op hoofdlijnen (we noemen bewust geen versienummers, want die verouderen snel):

• Llama — de open modellenfamilie van Meta; breed gebruikt en met veel varianten in verschillende groottes.
• Mistral — van het Franse Mistral AI; staat bekend om relatief kleine modellen die verrassend goed presteren.
• Gemma — de open familie van Google, bedoeld om lokaal en efficiënt te draaien.

Daarnaast bestaan er nog meer families, elk met eigen sterke punten voor talen, code of redeneren. In tools als Ollama en LM Studio kies je gewoon uit een lijst; je hoeft de onderliggende verschillen niet uit je hoofd te kennen. Een handige aanpak: download een klein en een middelgroot model, en vergelijk zelf welke voor jouw taken het beste voelt. Voor programmeerwerk zijn er speciale code-varianten — daarover meer in AI voor programmeurs.

De eerlijke beperkingen

Hier scheiden we de hype van de praktijk. Lokale AI is prachtig, maar het is geen gratis ChatGPT-killer. Reken op deze nadelen:

• Minder krachtig. De grootste, slimste modellen draaien in datacenters met hardware die geen thuis-pc evenaart. Een lokaal model is voor veel taken goed genoeg, maar bij complex redeneren of lange, ingewikkelde opdrachten merk je het verschil.
• Trager. Zonder stevige videokaart komt het antwoord woord voor woord binnendruppelen. Op een gemiddelde laptop is dat werkbaar voor korte taken, minder voor lange stukken.
• Technischer. Ook met gebruiksvriendelijke tools moet je zelf modellen kiezen, updaten en soms sleutelen aan instellingen. Er is geen helpdesk.
• Minder eromheen. Cloud-chatbots hebben vaak extra's: internettoegang, bestandsanalyse, spraak, plug-ins. Lokaal begin je met kale tekst; extra functies regel je zelf.

Kortom: je ruilt een deel van de kwaliteit en het gemak in voor privacy, controle en nul gebruikskosten. Of dat een goede ruil is, hangt volledig af van wat je ermee wilt. Twijfel je tussen lokaal en cloud, vergelijk dan ook onze gratis AI-tools en de grote chatbots naast elkaar.

Voor wie is het wel en niet?

Lokale AI is de moeite waard als je met gevoelige of vertrouwelijke gegevens werkt en die niet naar een cloud wilt sturen, als je vaak offline of op een afgeschermd netwerk werkt, als je grote hoeveelheden tekst wilt verwerken zonder limieten of kosten, of simpelweg als je graag zelf de techniek in handen hebt en wilt leren hoe het werkt.

Het is waarschijnlijk niets voor jou als je gewoon af en toe een tekst wilt laten schrijven of samenvatten, als je de best mogelijke kwaliteit wilt, als je hardware aan de lichte kant is, of als je geen zin hebt om iets in te stellen en te onderhouden. In die gevallen is een gratis of goedkoop cloud-abonnement sneller, makkelijker en beter. Er is geen schaamte in de makkelijke weg — kies wat bij je situatie past.