Machine learning kan forvandle kommentarer til en guldgrube

Tænk hvis din virksomhed systematisk og lynhurtigt kunne udlede essensen af mange tusinde kommentarer, som er skrevet i forbindelse med surveys, på sociale medier, Trustpilot, Glassdoor med mere? Og på en systematisk måde – for eksempel hver uge eller måned – og på tværs af kommentarer afgivet på mange forskellige sprog. Hvad taler folk om? Er der kommet nye emner til, som du skal gøre noget ved? Og taler folk mindre om bestemte emner efter, du har sat aktiviteter i gang.

Hvis du arbejder med surveys, kender du det sikkert. Du har fået resultaterne af den seneste undersøgelse med en perlerække af dertilhørende kommentarer, som travle mennesker har taget sig tid til at give.

Og kommentarerne er værdifulde – de giver liv til de mange KPI’er. De taler til maven og hjertet, og det er ofte her, du finder årsagen til, hvorfor det går godt eller mindre godt.

Svært at overskue kommentarer

Problemet er, at der ofte er tusindvis af kommentarer, og nogle af dem er meget lange. Du kan ikke overskue at læse dem alle igennem – for slet ikke at tale om at finde essensen og fællesnævneren i dem. Og så har du måske også kommentarer, som er skrevet på et sprog, du ikke forstår.

Historisk har de fleste surveys bestået af 99 procent lukkede spørgsmål, hvor respondenten skulle svare på en skala fra eksempelvis 1-10. De åbne kvalitative spørgsmål har der måske været ét af – højest to!

Det skyldes, at vi har haft de statistiske værktøjer til at behandle de mange kvantitative data, så vi har kunnet rapportere KPI’er. Teknikker til at håndtere mange åbne kommentarer har været ikkeeksisterende.

Flere opdager værdien i kvalitative indsigter

Hos Ennova ser vi nu en tendens mod flere og flere kvalitative spørgsmål i surveys. Nogle virksomheder ønsker ligefrem flest åbne kommentarspørgsmål i deres surveys.

Der er især to faktorer, som skubber til denne tendens:

1. Flere indser nødvendigheden af et mere balanceret indblik i medarbejderne med small/thick data på den ene side og big data på den anden
2. Vi begynder at have nogle teknologier til rådighed, som kan behandle de mange kommentarer med et acceptabelt resultat

Den første er kærkommen efter en lang periode, hvor big data nærmest har været svaret på alle problemer. Erfaringen har nemlig vist, at selvom de store datamængder virkelig kan give et hav af nye og spændende indsigter, mangler vi ofte indblik i årsagerne. Vi har kunnet svare på hvad og hvordan, men har manglet svarene på hvorfor.

Her kommer den anden faktor, de stadigt mere modne teknologier, behovet i møde. De tilgængelige teknologier på markedet, hvor ’Text analytics’ lægger sig under hypede termer som ’Machine Learning’ og ’Artificial intelligence’, er kommet langt. Vi, som benytter og udvikler teknologierne, arbejder dog stadig på højtryk for at forbedre og raffinere dem.

Nogle af de elementer, som påvirker kvaliteten i analyserne, er:

• Stavefejl, humor, ironi, sarkasme og lignende
• Formuleringen af det spørgsmål vi stiller
• Evnen til at oversætte kommentarerne maskinelt

Lad mig sætte lidt flere ord på disse tre.

Håndtering af stavefejl og humor

Kommentarerne indeholder ofte stavefejl, som gør det svært for systemerne at håndtere teksterne. Det kan relativt enkelt løses med stavekontrol inden oversættelse og analyse. Det er derimod langt sværere at håndtere fx ironi, sarkasme og humor. Disse elementer er som oftest forskellige på tværs af kulturer og lande og kræver en grundlæggende forståelse af den enkelte kontekst, respondenten er en del af.

Netop fordi den kulturelle forforståelse er en variabel, som ligger uden for selve teksten bliver det enormt komplekst. Tænk bare på, hvor hurtigt kommunikationen kan blive uklar på fx sociale medier, hvor vi ikke kan aflæse mimik og tonefald.

I forhold til maskinelt at afkode ironi, sarkasme og humor er vi desværre stadig langt fra målet.

Kvaliteten af spørgsmålet er afgørende

Den næste udfordring er selve formuleringen af det åbne spørgsmål.

Kvaliteten af spørgsmålet er essentiel, men stærkt undervurderet. Det er jo hele grundlaget for den analyse, du lægger ned over alle kommentarerne efterfølgende.

De fleste stiller et spørgsmål som ’Har du noget at tilføje, kan du skrive det her’ eller ’Vil du venligst uddybe, hvorfor du vil anbefale/ej anbefale virksomheden?”

Men det er ikke særligt engagerende og motiverende for en kunde at bruge tid på.

Hos Ennova har vi eksperimenteret med andre typer kvalitative spørgsmål med et særligt fokus på at give mere kant.

Et eksempel, som har givet god respons, har været ”Hvis du blev direktør for denne virksomhed i morgen, hvad er de tre første ting så, du ville gøre?”

Fordelen ved dette spørgsmål er, at respondenten forholder sig til en konkret situation, selvom det naturligvis er et tænkt scenarie. Det gør det lettere at komme i tanke om noget at skrive. En anden fordel er, at spørgsmålet ikke er reduceret til et opfølgende spørgsmål, men derimod får lov at stå alene. Spørgsmålet opleves dermed som mere obligatorisk og respondenten vil være mere tilbøjelig til at svare.

Ulempen er, at vi afgrænser, hvad respondenten kan kommentere på, og vi går dermed glip af bestemte typer kommentarer. Spørgsmålet er dog stadig åbent for mange forskellige kommentarer.

Hvis du vil arbejde seriøst med kvalitativ analyse af kommentarer i surveys, er det nødvendigt, at du grundigt gennemtænker det spørgsmål, du stiller – ligesom du (forhåbentligt) allerede gør med dine skalaspørgsmål.

Kommentarer på forskellige sprog

Den næste udfordring er at få oversat alle kommentarer til samme sprog i en kvalitet, så du kan analysere dem samlet.

I Ennova har vi udviklet et maskinelt og dermed automatiseret tekstanalyseværktøj i en version 1.0. Det har vi anvendt i globale medarbejderundersøgelser, og vi begynder at bruge det på udvalgte kundetilfredshedsprojekter. Vi er i stand til gennemsnitligt at klassificere over 75 procent af alle kommentarer i forskellige temaer samt at kunne markere, om en kommentar er positivt eller negativt ladet, via en deep learning-algoritme. Det giver mulighed for hurtigt at dykke ned i mange tusinde kommentarer på adskillige sprog.

Produktet er under løbende udvikling, og vi vil nok aldrig få et eksakt facit, som vi kan på kvantitativt indsamlede KPI’er. Det er en maskinel tilgang, hvor det handler om at se de store linjer. Derfor giver det stadig rigtig god mening at læse en masse kommentarer igennem selv, da du dermed får kundens stemme helt ind under huden. Det skal du ikke undervurdere værdien af. Men den maskinelle analyse giver et solidt fundament for at forstå, hvordan de kommentarer, du læser igennem, passer ind i de tilbagevendende temaer i din survey. På den måde får du en uvurderlig nøgle til at finde de skatte, som ligger begravet i de mange tilkendegivelser.