Wat een lokaal AI-model wel en niet kan voor een kleine kmo
De meeste AI-assistenten draaien in de cloud: wat je typt, gaat naar de servers van de aanbieder. Een lokaal model draait op je eigen computer of server. Open modellen zoals Llama (Meta) of de open modellen van Mistral kun je zo laten draaien, bijvoorbeeld met de gratis tool Ollama.
Dat klinkt als het antwoord op elke privacyzorg. Voor een deel ervan is het een goed antwoord. Dit mag je verwachten.
Wat het goed doet
Goed omschreven taken op één document tegelijk: samenvatten, sorteren, en vaste velden uit een document halen zoals een leveringsbon of een bestelformulier.
En de data blijft waar ze is. Voor een bedrijf dat plannen, dossiers of contracten van anderen behandelt, kan dat de hele inzet zijn.
Waar het tekortschiet
De modellen die op gewone kantoorhardware passen, zijn kleiner dan de grootste cloudmodellen. Dat merk je bij taken die redeneren over meerdere documenten tegelijk vragen, en bij tekst die naar klanten gaat, waar de toon telt.
Zoals elk taalmodel kan ook een lokaal model met volle overtuiging een fout antwoord geven. Een menselijke controle blijft nodig.
Wat het kost
Geen abonnement, maar niet gratis. Reken op drie dingen.
- Hardware: een machine met genoeg geheugen en liefst een sterke grafische kaart. Hoe groter het model, hoe meer het vraagt.
- Opzet: het model installeren, koppelen aan je documenten of workflows, en testen.
- Onderhoud: updates, nieuwe modelversies en iemand die kijkt als het stilvalt. Zonder eigenaar sterft het in stilte.
Wanneer het de moeite loont
Wanneer er een echte reden is waarom documenten het gebouw niet mogen verlaten, en de taak smal en repetitief is.
Is de zorg vooral 'gaan ze op onze data trainen?', kijk dan eerst naar de zakelijke plannen van de cloudassistenten. Verschillende daarvan trainen standaard niet op zakelijke data, en dat is veel minder werk dan zelf een model draaien.
Drie tips om te beginnen
- Kies één taak, niet 'een algemene assistent'. Een lokaal model is een werktuig voor één taak.
- Test op echte documenten uit het verleden, en vergelijk het resultaat met wat een mens zou hebben ingevuld.
- Beslis vooraf wie het onderhoudt en hoeveel uur dat mag kosten.
Zien waar de meerwaarde zit?
Klaar voor je eerste kleine stap?
Plan een kennismaking met Senne. Geheel vrijblijvend.
Je gaat sowieso met enkele concrete tips naar buiten.

