«Natural Language Processing» (NLP) eller det man på norsk kan kalle analyse av naturlig språk, er blitt et essensielt verktøy for mange nye forretningsfunksjoner, fra chatbots og intelligente søk til analyser av store mengder dokumenter og artikler.
I dag finnes det enorme mengder ustrukturert og semi-strukturert innhold som kan gi betydelig innsikt, slik som for eksempel e-post, sosiale medier, videoer, kundesupportforespørsler og nyhetsartikler. Å tolke slikt innhold maskinelt krever at man klarer å få datamaskinen til å forstå språk.
I praksis er dette ikke alltid like enkelt. Man skal ikke bare få datamaskinen til å forstå hvert enkelt ord, men også flertall, synonymer, sarkasme, gramatikk, stedsnavn, kontekst etc. Natural Language Processing (ofte forkortet «NLP») har i denne sammenhengen blitt avgjørende:
Natural Language Processing innebærer bruk av algoritmer for å identifisere og trekke ut essensen av språket, slik at de mer eller mindre ustrukturerte språkdataene kan bli konvertert til en form som datamaskiner kan forstå.
Ofte skiller vi mellom følgende former for språkanalyse:
- Morfologi: Hvordan ord er bygget opp (f.eks skrivefeil, entall/flertallsord og kjønn på ord)
- Syntaktisk analyse: Sammenhengen mellom ordene, altså hvordan setningene er bygd opp.
- Semantisk analyse og pragmatikk: Når man har klart å forstå ordenes og setningenes oppbygning, er neste utfordring å forstå hva de egentlig handler om.
For å forstå det semi-strukturerte og ustrukturerte innholdet, brukes ofte teknikker som maskinlæring, dyp læring og statistikk. Dette muliggjør for eksempel talegjenkjenning, dokument-oppsummeringer, kategorisering av tekst, oversettelser, identifisering av spam og autocomplete.
Dette er et fagfelt Sannsyn har lang erfaring med. Noe av det som gjør oss unike er at vi også har jobbet mye med Natural Language Processing for norsk språk.
