Data mining tools

Data mining tools helpen om patronen in gegevens te onderzoeken. Bij nieuws en andere tekstbronnen gaat het bijvoorbeeld om terugkerende onderwerpen, genoemde organisaties of veranderingen in de hoeveelheid berichten. De uitdaging is niet alleen om veel materiaal te verzamelen. Je moet ook weten wat de gegevens voorstellen, welke beperkingen ze hebben en welke conclusie je er redelijkerwijs uit kunt trekken.

Begin met een afgebakende onderzoeksvraag

Een bruikbare vraag geeft richting aan de selectie van bronnen en hulpmiddelen. Wil je weten welke onderwerpen vaker voorkomen in een archief? Of wil je berichten over dezelfde gebeurtenis groeperen? Dat zijn verschillende taken. Wie zonder duidelijk doel allerlei gegevens samenvoegt, krijgt gemakkelijk veel grafieken maar weinig antwoorden die iets toevoegen aan het oorspronkelijke probleem.

Stel bijvoorbeeld dat een communicatieteam de berichtgeving over een bepaald product wil volgen. Leg dan vast welke bronnen meetellen, welke periode wordt onderzocht en welke schrijfwijzen van de productnaam relevant zijn. Bespreek ook wat buiten de analyse blijft. Een vooraf beschreven afbakening maakt het later makkelijker om opvallende uitkomsten te verklaren en de analyse opnieuw uit te voeren.

Maak herkomst en tijdstippen zichtbaar

Bewaar bij ieder bericht een herkenbare bron, een publicatietijd en een identificatie waarmee het origineel terug te vinden is. Als de tekst later wordt gewijzigd, kan ook een versienotitie nuttig zijn. Zonder zulke gegevens is moeilijk vast te stellen of een verandering in de analyse voortkomt uit nieuwe gebeurtenissen of uit een gewijzigde verzameling documenten.

Let op het verschil tussen publicatietijd en het moment waarop je materiaal ontvangt. Die tijdstippen kunnen uit elkaar liggen. Voor een overzicht per dag hoeft dat geen groot probleem te zijn, maar bij een nauwkeurige vergelijking van opeenvolgende gebeurtenissen kan het veel uitmaken. Kies daarom een tijdsdefinitie die bij de vraag past en gebruik die consequent.

Verwijder schijnbare aantallen

Hetzelfde nieuws kan op meerdere plaatsen verschijnen. Kopieën, korte doorplaatsingen en bijgewerkte versies maken het aantal berichten groter zonder dat er evenveel afzonderlijke gebeurtenissen zijn. Bepaal vooraf hoe je daarmee omgaat. Misschien wil je publicaties tellen, misschien juist gebeurtenissen. Beide kunnen zinvol zijn, maar ze beantwoorden niet dezelfde vraag.

Een controle op dubbele documenten is daarom een belangrijke stap. Bekijk exacte kopieën en neem ook enkele sterk gelijkende teksten door. Bewaar welke exemplaren zijn samengevoegd en waarom. Zo blijft de uitkomst uitlegbaar. Een plotselinge piek die vooral uit herpublicaties bestaat, verdient een andere toelichting dan een piek met veel nieuwe informatie.

Combineer zoeken met inhoudelijke controle

Een zoekterm kan een eerste selectie maken, maar woorden hebben niet altijd één betekenis. Een bedrijfsnaam kan ook een gewone uitdrukking zijn. Een afkorting kan naar verschillende organisaties verwijzen. Bekijk daarom een steekproef van gevonden en gemiste berichten. Daarmee zie je of de selectie goed aansluit op wat je wilde onderzoeken.

Gebruik labels en categorieën als hulpmiddel, niet als onbetwistbare waarheid. Laat bij een nieuwe indeling enkele documenten door meerdere mensen beoordelen en bespreek verschillen. Als mensen het structureel oneens zijn, zijn de categorieën mogelijk onvoldoende duidelijk. Een tool kan die onduidelijkheid niet oplossen door het proces alleen sneller uit te voeren.

Kies functies die je nodig hebt

Een passend hulpmiddel moet de gebruikte bronnen kunnen verwerken, selecties bewaren en resultaten begrijpelijk exporteren. Voor een kleine proef kan een overzichtelijke tabel voldoende zijn. Bij terugkerend werk kunnen opgeslagen stappen en automatische controles nuttig worden. Beoordeel ook of iemand anders de analyse kan herhalen zonder alle handelingen opnieuw uit te vinden.

Vraag bij een proef om zicht op de tussenstappen. Je wilt kunnen zien hoeveel documenten zijn ingelezen, welke zijn uitgesloten en wat de uiteindelijke selectie bevat. Alleen een eindscore of grafiek biedt daarvoor te weinig houvast. Een controleerbare werkwijze maakt het mogelijk om fouten te verbeteren zonder het hele onderzoek vanaf nul te beginnen.

Presenteer patronen met hun grenzen

Bewaar bij iedere rapportage de gebruikte selectie en onderzoeksperiode. Een volgende meting kan dan op dezelfde uitgangspunten worden gebaseerd, terwijl veranderingen in de verzameling apart zichtbaar blijven.

Een stijgend aantal berichten betekent niet automatisch dat een onderwerp belangrijker wordt. Misschien zijn meer bronnen toegevoegd of is een zoekterm aangepast. Benoem zulke veranderingen bij het resultaat. Laat waar mogelijk voorbeelden zien die het gevonden patroon verduidelijken. Data mining tools leveren zo een navolgbaar overzicht op dat aanleiding geeft tot onderzoek, in plaats van een stellige conclusie zonder zichtbare onderbouwing.

Sergej Dergatsjev, eigenaar van Online Solutions Group, heeft CompanyGids nieuw leven ingeblazen en het platform verder uitgebouwd tot een moderne bedrijvengids voor België. Bezoek Company Gids en Online Solutions Group.