Het sinterklaasgedicht met ChatGPT gemaakt? Mails op spelling en grammatica controleren? Of gevraagd naar de beste manier om …? Dat kan best nuttig (of leuk) zijn, maar dan wordt nog niet het volledige potentieel en kracht van large language models (LLM) en generatieve AI benut.  

LLM is een type model voor ‘machine learning’ dat natuurlijke taal kan verwerken. ChatGPT, Bing-chat en nog vele andere applicaties gebruiken dit model, maar LLM is breder toepasbaar.   

In dit artikel staan drie toepassingen toegelicht waar op dit moment laaghangend fruit hangt. Deze toepassingen zijn algemeen toepasbaar. De voorbeelden zijn geschreven voor lokale overheden.   

1. Het vinden van een document of informatie uit documenten. 
2. Het analyseren van ongestructureerde data uit documenten. 
3. Het fungeren als (eerstelijns) helpdesk.  

Het vinden van informatie of documenten

Het gemakkelijk terugvinden van informatie binnen de organisatie laat soms wat te wensen over. Proberen te vinden van de juiste informatie is dagelijkse kost en met de huidige manier van zoeken niet altijd efficiënt of succesvol. Deze (klassieke) vorm van zoeken heet ‘lexicaal zoeken’. De zoekmachine zoekt op woorden die identiek zijn aan de woorden die zijn ingevoerd. Het terugvinden van informatie is mogelijk wanneer de zoeker weet welke unieke woorden worden gebruikt. De zoekresultaten worden gebaseerd op het aantal ‘matches’ die de zoekmachine kan maken.  

Het terugvinden van informatie wordt lastig wanneer alleen de strekking van een document bekend is en niet bekend is welke sleutelwoorden in het document gebruikt zijn. Dit maakt dat de zoeker meer tijd moet besteden aan de zoekopdracht dan gewenst. Met een beetje pech weet de zoeker niet de exact gebruikte terminologie en zal de zoekopdracht falen. De oplossing hiervoor is ‘semantisch zoeken’, ook wel ‘vector zoeken’ genaamd. De zoekmachine zoekt hiermee op de context (semantiek) van de zoekopdracht. De techniek achter de zoekmachine zoekt niet alleen naar een ‘match’ op de woorden in de zoekopdracht, maar kijkt ook naar woorden en zinnen die dicht in de buurt komen en matcht deze op basis van een vector-index. Zo kan de zoekmachine sneller tot de gewenste informatie komen, zonder precies de terminologie te kennen.  

Dit kan helpen om een archief beter doorzoekbaar te maken, maar kan ook worden toegepast op een zaaksysteem of ander document managementsysteem (DMS). Of zelfs over meerdere bronnen heen. 

Analyse ongestructureerde data

Naast het vinden van informatie, kan LLM ook ingezet worden om tot nieuwe inzichten te komen. Veel informatie zit nu ‘verstopt’ in documenten, ook wel ongestructureerde databronnen genoemd. Voorheen was het arbeidsintensief en lastig om hier trendanalyses of andere inzichten uit te halen vanwege de beperkte mogelijkheid in automatisering. Met de komst van LLM, zijn ook hier de mogelijkheden veel groter geworden. Zo is het mogelijk om per document te scoren over welk(e) onderwerp(en) het gaat, het sentiment te bepalen, of een samenvatting of conclusie te geven. Daarnaast is het mogelijk om een combinatie van deze analyses uit te voeren.  

Het kan interessant zijn om tafelgespreksverslagen te analyseren op type problematiek en de hulp die geboden is. Een ander voorbeeld is het analyseren van bouwinspectierapporten op de meest veelvoorkomende gebreken.     

Eerstelijns helpdesk: chatbot 

Dezelfde techniek voor het vinden van het juiste document of informatie kan ingezet worden om een chatbot in te zetten als eerstelijns-hulp. In tegenstelling tot bij een chatbot, zal bij een zoekmachine de zoeker zelf een check moeten doen op wat de meest relevante informatie is tussen de zoekresultaten. Een chatbot moet juist een correct antwoord genereren die gericht antwoord geeft op de vraag van de zoeker. 

Chatbots zijn natuurlijk niets nieuws. Maar waar eerst alles zeer expliciet moest worden geprogrammeerd (van woorden in een vraag, naar vooraf gedefinieerde antwoorden), is er nu veel minder programmeerwerk nodig en ontzorgt het LLM je voor het grootste deel. Het trainen en finetunen van het model is hierin wel belangrijk.  

Bij een chatbot is de nauwkeurigheid van cruciaal belang. Daarom is het aan te raden te beginnen bij minder risicovolle processen. Een kleine, maar waardevolle toepassing zou zijn om een chatbot op te zetten voor interne informatie, bijvoorbeeld HRM. Hoe ziet de speciale verlofregeling eruit, wat is de ouderschapsverlofregeling, wie is de vertrouwenspersoon? Dit zijn vragen die vrij eenvoudig met een chatbot te beantwoorden zijn. Ook voor de interne dienstverlening zou een experiment met een chatbot interessant kunnen zijn. Zo kan een collega sneller antwoord krijgen op de gestelde vraag (hoe doe ik een password reset, hoe reserveer ik een ruimte, hoe pas ik mijn handtekening aan?) en houdt de service desk ruimte voor vragen die meer aandacht nodig hebben. Een vervolgstap zou een chatbot voor externe vragen kunnen zijn. 

Hoe aan de slag?

Een kant-en-klare handreiking om deze toepassingen om te zetten naar techniek is niet in één artikel te gieten. Ook zullen verschillende leveranciers LLM-modellen gaan integreren in hun applicatie. Wel kunnen we een aantal punten meegeven om rekening mee te houden bij het toepasbaar maken van LLM’s; 

1. Selecteer de juiste usecase. Het kabinet onderstreept in hun visie op generatieve AI dat een waarde gedreven benadering noodzakelijk is bij het regie houden op de techniek. Vanuit deze benadering is er nagedacht over het doel, de urgentie, de mogelijkheden en de risico’s.  
2. Houdt rekening met de veiligheid. Voorkom een data-lek door bewust om te gaan met de data. Het is juist een meerwaarde om gebruik te maken van de data van jouw organisatie. Een gratis-versie van OpenAI GPT is dan bijvoorbeeld niet aan te raden (zie ook punt 4). Er is een nationaal initiatief om een eigen veilige LLM te bouwen voor de Nederlandse taal, dit gaat ‘GPT-NL’ heten (Bron; TNO).
3. Het kan niet vaak genoeg benoemd worden, maar LLM’s leren van de data waarop ze zijn getraind. Ook voor LLM’s geldt het spreekwoord “je bent want je eet”. Om betere resultaten te krijgen is het in veel gevallen raadzaam om het LLM dat gebruikt wordt ook te trainen of te finetunen op eigen data.
4. Bepaal welke techniek het beste van toepassing is voor de casus. Kees van den Tempel geeft in zijn linkedIn post een mooi overzicht. 

Meer weten?

Meer willen weten of een vraag naar aanleiding van dit artikel?Voor meer informatie kun je contact opnemen met Eline van Lieshout, 06 14 31 62 03, e.v.lieshout@telengy.nl of Tim van der Pol, 06 21 36 68 58, t.v.d.pol@telengy.nl.