Å forbedre søket i nettbutikken er lettere sagt enn gjort – slik løste den norske elektrogrossisten utfordringen

Nettbutikken har blitt en viktig del av konseptet til Berggård Amundsen.

Med økt trafikk på nett innså elektrogrossisten at de måtte forbedre en av nettbutikkens mest benyttede funksjoner: den interne søkemotoren.

Uten et godt søk innså Berggård Amundsen rett og slett at de ville tape omsetning.

Kundene krever stadig mer

Vi skal straks få høre mer om hvordan den nytenkende elektrogrossisten har forbedret sitt søk, men la oss først presentere kjeden som kanskje kan være ukjent for en del av våre lesere.

Berggård Amundsen er en elektrogrossist med elektrikere som sin viktigste kundegruppe.

På deres 26 servicesenter rundt omkring i Norge tilbys et nøye utvalgt grunnsortiment som er felles for alle utsalgssteder, i tillegg til et lokalt tilpasset utvalg produkter basert på etterspørsel i nærområdet.

Dette har vært en suksessoppskrift siden Sverre Berggård Amundsen etablerte selskapet i 1946.

I de senere årene har kjedens nettbutikk også blitt en viktig del av konseptet. I nettbutikken finner kundene et bredt utvalg produkter. Mye lagerføres på sentrallageret på Langhus utenfor Oslo, øvrige varer skaffes på forespørsel.

Så langt, alt vel. Men utfordringen for Berggård Amundsen og enhver annen vellykket kjede er at kundene forventer mer og mer, også av kjedens nettbutikk. Særlig den interne søkemotoren har vært en utfordring.

Med omsetning på 2,2 milliarder kroner og over 200 medarbeidere er Berggård-Amundsen litt mindre enn konkurrentene, men gjennom sine mange servicesentre har de fokus på lokal tilstedeværelse og nærhet til kundene og deres hverdag.

– Søkeresultatene var ikke relevante nok

I likhet med mange andre selskaper som selger varer på bedriftsmarkedet, har nettbutikken baelgros.no et enormt sortiment med tusenvis av varelinjer. For å finne frem i nettbutikken er en velfungerende søkemotor derfor helt avgjørende.

Her hadde nettbutikken sine utfordringer, forteller Katha Thommesen-Kähler, E-handel konverteringsspesialist hos Berggård Amundsen.

Katha Thommesen-Kähler

– Søket i nettbutikken fungerte ikke godt nok. Vi fikk etter hvert mange konstruktive og gode forslag til forbedringer fra både kunder og ansatte, men det var ikke alltid like enkelt å finne gode tekniske løsninger.

For å komme i mål valgte elektrogrossisten å leie inn ekstern bistand.

I tillegg til sine faste rådgivere i IT-selskapet Solteq, inngikk Berggård Amundsen en avtale med Sannsyn. Dette er et byrå som har lang erfaring med søk og relaterte områder som Natural Language Processing, maskinlæring og nevrale nettverk. Sannsyn har særlig jobbet mye med Apache Solr som er søketeknologien som også brukes på baelgros.no.

– De fleste sliter med et dårlig søk

Sammen lagde de tre aktørene en liste med søkeutfordringer de ønsket å løse. Listen inkluderte alt fra synonymhåndtering og feilstavelser til vekting av søkeord.

– Søk er mer komplekst enn mange er klar over, konstaterer Thommesen-Kähler.

I etterkant ble arbeidsoppgavene prioritert og en av Sannsyns innleide søke-eksperter begynte på toppen av listen.

Arbeidet gav raskt resultater.

Andelen som søker og deretter klikker seg videre for å se på et eller flere produkter har økt med 46 prosent siden prosjektet startet. Og andelen som nå legger noe i handlekurven etter å ha søkt i nettbutikken, har økt med 20 prosent.

– Søket vårt har utvilsomt blitt mer relevant, noe som igjen har gitt oss mer fornøyde kunder og økt omsetning, sier Thommesen-Kähler.

Samtidig er nettbutikksjefen tydelig på at det fortsatt er en del som gjenstår.

– Vi har store ambisjoner for kjedens nettbutikk og mener et godt søk er helt avgjørende for å skape en god kundeopplevelse. Vi har iverksatt en rekke tiltak som har gitt effekt på både kundeopplevelse og konverteringsrate, men vi kan ikke gi oss nå. Forbedringer av søket er et kontinuerlig arbeid.

Thommesen-Kähler ønsker ikke å gå ut med tall nå, men hun omtaler investeringene de foreløpig har gjort som “svært lønnsomme”. 

Systematisk og datadrevet arbeid

Morten Krogh-Moe som er daglig leder i Sannsyn, vil gi skryt til Katha Thommesen-Kähler og hennes kolleger i Berggård Amundsen.

– De fleste bedrifter sliter med et dårlig søk i nettbutikken, men de færreste går systematisk og datadrevet til verks for å løse problemene. I Berggård Amundsen har de hele tiden vært tydelige på at de ønsket en friksjonsfri kundereise med et godt søk i nettbutikken og stilt nødvendige ressurser til disposisjon.

Sannsyn har jobbet med søket til en rekke store nettsider. Morten Krogh-Moe mener at de som lykkes, har mange likhetstrekk med Berggård Amundsen.

– De som lykkes med søk er de som jobber datadrevet med mål om å skape gode kundeopplevelser. Søk blir da et naturlig satsingsområde.

– Skal man lykkes med søk, må man jobbe langs mange akser og hele organisasjonen må involveres, sier Morten Krogh-Moe fra Sannsyn.

– Det finnes ingen «quick fix»

Det finnes en rekke søkeløsninger på markedet, men dessverre er det ikke alle løsninger som fungerer i praksis, mener Krogh-Moe.

– Det finnes ingen «quick fix». Skal man lykkes med søk, må man jobbe langs mange akser og hele organisasjonen må involveres. Det er viktig å sette klare KPIer som kan måles, samle inn søkestatistikk og sette opp A/B-tester, men også gjøre kvalitative kundeundersøkelser. Man må også jobbe aktivt med synonymer, feilstavelser, forkortelser og oppdeling av ord. De beste i klassen jobber nå også med å personalisere søkeresultatene.

I parallell må man konstant jobbe med produktinformasjon og metadata, påpeker Krogh-Moe.

– Å lykkes med søk er som å spise en elefant, du må spise den bit for bit. Trøsten får være at et godt søk gir økt omsetning og mer fornøyde kunder.

Gjør suksess med maskinlæring og data science

Inntil 73 prosent av all tilgjengelig data blir aldri brukt på en god strategisk måte, ifølge Forrester Research*. Slik bør det ikke være, mener Morten Krogh-Moe, daglig leder i Sannsyn. 

– Vi hjelper bedrifter å jobbe mer datadrevet og på den måten skape store konkurransefortrinn. Det kan for eksempel være i form av økt kundeinnsikt, mer presis markedsføring eller automatisering. 

Sannsyn er et av Norges ledende data science-byråer. På kundelisten finner vi telecom-selskapet Ice, butikkjeder som ARK Bokhandel, Sprell og elektrogrossisten Berggård Amundsen og finansselskaper som Aptic og Gabler. Selskapet står også bak personaliseringsmotoren Gravity og søkemotoren TellusR.

Lang erfaring med maskinlæring

Mens mange byråer sliter med å tiltrekke seg jobbsøkere med nødvendig kvalifikasjoner innen maskinlæring og data science, er tilgangen på kvalifisert arbeidskraft foreløpig ikke er noe problem for Sannsyn.

– Selskapet ble etablert allerede i 2012, noe som gjør oss til et av Norges mest erfarne fagmiljøer innen dette domenet. Lang fartstid i kombinasjon med dyktige ansatte og mange attraktive prosjekter, er nok mye av grunnen til at folk søker seg til oss. Hos oss får man jobbe med det nyeste innen teknologi, ikke bare snakke om den, sier Krogh-Moe og gir dermed et lite stikk til en del av de nye aktørene som har kommet inn på markedet de siste årene.

I dag har hver fjerde ansatte i Sannsyn en PH. D, nær 90 prosent har en mastergrad, mens hver tredje har publiserte forskningsresultater. 

Levende fagmiljø

I høst ansatte Sannsyn Øyvind Spørck som leder for Sannsyns nye konsulent-avdeling. Han kommer fra PA Consulting, der han har vært ansvarlig for kunstig intelligens og analyse og jobbet med kunder som Tine, Bertel O.Steen og Vy. Han har en Mastergrad innen Data Science fra Harvard University og på privaten har han også utviklet sin egen AI-baserte algoritmehandelsplattform for valuta og råvarehandel. 

Nylig ble Mohammad Hossein Golestan som i våres fullførte en doktorgrad på NTNU, også en del av Sannsyn-teamet.

– Vi ser en snøballeffekt nå. Dyktige medarbeidere tiltrekker seg kunder og spennende prosjekter. Det igjen tiltrekker seg flere dyktige ansatte. Vi har blitt en attraktiv arbeidsplass, smiler Krogh-Moe.  

Etterspørselen etter data scientists vokser fort, sier Krogh-Moe som lokker med en spennende jobb for de som måtte ende opp i Sannsyn.

– Vi kan tilby et levende fagmiljø innen data science og maskinlæring. Risikoen hvis du som data scientist går til et ordinært IT-selskap, er at du ender opp som programmerer i et stort IT-prosjekt som varer i flere år. Det er ikke slik man blir god innen data science og maskinlæring. Hos oss kan du utvikle deg som spesialist, der du sammen med dyktige kolleger får jobbe på markedets mest utfordrende prosjekter.

*Up to 73 Percent of Company Data Goes Unused for Analytics. Here’s How to Put It to Work.

Master i data science fra Harvard – blir leder for Sannsyns konsulentavdeling

Denne artikkelen er opprinnelig publisert hos Kampanje: Data science-selskap henter leder fra Harvard.

Sannsyn hjelper selskaper å jobbe mer datadrevet. I fjor omsatte det norske selskapet for 12.2 millioner kroner. I år ligger selskapet an til solid omsetningsvekst. 

På kundelisten har Sannsyn blant annet forlaget Gyldendal, butikkjeder som ARK Bokhandel, Rema 1000 og Sprell, elektrogrossisten Berggård Amundsen og finansselskaper som Aptic og Gabler. I tillegg står selskapet bak personaliseringsmotoren Gravity og søkemotoren TellusR

Sannsyn har også vært involvert i flere prosjekter sammen med Try-huset. 

Ønsker å bruke egen erfaring i flere bransjer

Frem til nå har selskapet satset mest på å utvikle og selge egenutviklet teknologi. Den satsingen fortsetter, men nå øker selskapet sin satsing på konsulenttjenester, forklarer Morten Krogh-Moe, daglig leder og medeier i Sannsyn.

– Ambisjonene er å bli en ledende konsulentaktør med spesialkompetanse innen data science og avansert maskinlæring, populært kalt kunstig intelligens. 

Krogh-Moe trekker frem finansbransjen som et område der Sannsyn nå begynner å få betydelig kompetanse.

– Vi har frem til nå jobbet mest med ehandel og markedsføring, men fra et teknisk perspektiv er det ingen grunn til at våre data scientists og utviklere ikke skal kunne jobbe med andre bransjer. Erfaringen vi har skaffet oss gjennom å utvikle og jobbe med egen teknologi gjør at vi med hånden på hjertet kan si at vi har jobbet med dette faget i åtte år, ikke bare snakket om det de siste tre årene.

Krogh-Moe påpeker at den nye satsingen til Sannsyn ikke vil gå utover utviklingen av egen teknologi.

– Snarere tvert imot. Vår erfaring er at kombinasjonen er en styrke selv om tjenestene i utgangspunktet leveres uavhengig av hverandre.

Harvard-bakgrunn

For å lede konsulentsatsingen har Sannsyn ansatt Øyvind Spørck. Han kommer fra PA Consulting, der han har vært ansvarlig for kunstig intelligens og analyse og jobbet med kunder som Tine, Bertel O.Steen og Vy. Han har en Mastergrad innen Data Science fra Harvard University og også utviklet sin egen AI-baserte algoritmehandelsplattform for valuta og råvarehandel. 

– Jeg har en stor interesse for data science, algoritmer og store datamengder. Innen dette domenet har Sannsyn opparbeidet seg en sterk posisjon med mange dyktige ansatte og en rekke spennende prosjekter. Det var helt utslagsgivende for at jeg valgte å takke ja til jobben, sier Øyvind Spørck.

Morten Krogh-Moe er godt fornøyd med sin nye forsterkning.

– Vi er et av de mest erfarne miljøene i Norge innen dette domenet, men de siste årene har det kommet flere aktører på banen. At Øyvind Spørck har valgt å gå til oss, ser vi på som en stor ære.

Er det én ting du skal prioritere i nettbutikken, er det å få på plass et godt søk

Et godt søk i nettbutikken blir stadig viktigere. 

Mange nettbutikker har nå et så stort produktsortiment at det er umulig å finne frem i menyen og den lille søkeboksen øverst på nettsiden blir et viktig verktøy i jakten på det kunden trenger. 

Ingen nettbutikker er like og det er derfor vanskelig å generalisere, men vi vil ikke bli overrasket om opptil 25 prosent av kundene i din favoritt-nettbutikk benytter søket og at disse kundene står for to tredjedeler av nettbutikkens omsetning. 

Vår erfaring er at det særlig er kunder som har kommet langt i kjøpsprosessen og som vet hva de skal ha, som bruker søket i en nettbutikk. Kundene har verken tid eller lyst til å lete etter det de trenger.

Ikke godt nok å være middelmådig

I en fersk undersøkelse (Springboard Martech, juli 2021) blant 116 norske ehandlere og rådgivere svarte 91,38 prosent av de spurte at de mente et godt søk var litt eller svært viktig for kundeopplevelsen. Respondentene ble også spurt om hvordan de ser på søkets effekt på konverteringsraten, 90,52 prosent mente et godt søk er viktig. Det finnes mange liknende undersøkelser som sier omtrent det samme – søk er viktig! 

Samtidig må det være lov å hevde at de fleste nettbutikker dessverre har et søk som ikke innfrir kundenes forventninger:

Mange har et søk som er “helt greit”, men det er ikke godt nok. Det skal veldig lite til før kunden blir frustrert og gir søket strykkarakter – og trolig forlater nettsiden – kanskje til fordel for en konkurrent.

Handler ikke bare om å være kundesentrisk

Noen typiske utfordringer er mangelfull synonym-håndtering og problemer med å gi gode treff ved stavefeil eller orddeling. Fraværende vekting av produkter/kategorier/merkevarer, manglende autocomplete i søkefeltet og mangel på personalisering er andre gjengangere. 

En godt søk bør være en naturlig del av en kundesentrisk strategi, men det finnes også andre argumenter. Om man som nettbutikkeier har god kontroll på sitt søk, vil man umiddelbart være i stand til å identifisere søkeord som trender eller faller i popularitet, hvilke søkeord som gir null treff og hvilke søkeord som har en lav konverteringsrate. Dette er nyttig for informasjon for alle som jobber med salg, markedsføring, kategori og innkjøp. 

Løsningen ligger dels i å forbedre produktinformasjonen (du vil aldri få et godt søk om du ikke har gode overskrifter og produktbeskrivelser) og dels i tekniske forbedringer av søket. Så enkelt og så vanskelig.

Nesten alle store nettsteder sliter med egen søkemotor – nå vil Sannsyn løse problemet

Forbrukerne søker stadig mer hos Google og øvrige søkemotorer. Deres forventninger til et godt søk har etter hvert utviklet seg og forbrukerne forventer nå samme gode søkeopplevelse når de besøker nettsider, nettbutikker, nettaviser og intranett.

– For alle store nettsider med mye informasjon er et godt søk helt kritisk, sier Morten Krogh-Moe, daglig leder i det norske teknologiselskapet Sannsyn.

Ifølge Forrester Research går for eksempel 43 prosent av de besøkende direkte til søket når de går inn i en nettbutikk. 

En av verdens mest brukte søkemotorer

Et av Sannsyns viktigste satsingsområder er søk. De siste årene har Sannsyn jobbet med søk for blant annet Universitet i Oslo, butikkjedene ARK Bokhandel og Sprell, samt B2B-selskapene Berggård Amundsen og Elektroskandia.  

Sannsyn jobber særlig med Apache Solr, ofte omtalt som en av verdens beste søkemotorer. Solr som er bygd på åpen kildekode, brukes av alt fra nettbutikker og veldedige organisasjoner til nettaviser og offentlig sektor. 

Internasjonalt brukes Solr av Ticketmaster, eBay, Netflix, Zappos og Best Buy. Også her i Norge er søkemotoren svært populær. Den brukes blant annet av Finn.no og Universitetet i Oslo.

− Solr er en fantastisk søkemotor, men den har noen svakheter i tilgjengelighet for dem som skal implementere den og ta den i bruk. Det kan være svært komplisert å få ut statistikk eller å gi enkelte søkeord en ekstra boost. Til og med det å legge inn ekstra synonymer kan virke i overkant vanskelig for dem som ikke er teknikere, forklarer Krogh-Moe.

For å løse dette valgte Sannsyns Solr-eksperter like godt å utvikle en tilleggsmodul til Solr. Helt sentralt står maskinlæring, nevrale nettverk, Natural Language Processing og avansert statistikk og dataanalyse

Se intervju med Petter Egesund som er teknologidirektør i Sannsyn og mesterhjernen bak TellusR:

Mange har problemer med søket

Solr-utvidelsen som har fått navnet TellusR rulles nå ut i det nordiske markedet. Selv om Sannsyn ikke har begynt å markedsføre løsningen, booker selskapet nå flere kundemøter i uken med bedrifter, organisasjoner og offentlige virksomheter som ønsker å få orden på søket. 

– Det er tydelig at mange har problemer med søk og trenger bistand, smiler Krogh-Moe.

Med TellusR installert får brukerne både tilgang til mer søkestatistikk (f.eks søkeord som øker eller faller i popularitet, ord som gir null treff og ord som konverterer), men også mulighet til å A/B-teste Solr-konfigurasjoner og løfte frem bestemte søkeord. Forbedret semantisk forståelse og personalisering er også en del av løsningen. 

Ved behov kombineres TellusR også med å leie inn Sannsyns Solr-eksperter.

– Å forbedre søket kan være komplekst og da trengs både teknologi, kompetanse og erfaring, oppsummerer Krogh-Moe.

Maskinlæring og nevrale nettverk står sentralt i ny karrieretjeneste

Arbeidsmarkedet kan oppleves som fragmentert og vanskelig å orientere seg i for en jobbsøker. Dette gjelder også de som jobber med innovasjon og ny teknologi. 

Mange av disse er medlemmer i fagforeningen Tekna

I Tekna er det 88 000 medlemmer som har en mastergrad innen teknologi, realfag eller naturvitenskap. En del av disse er til enhver tid på jobbjakt.

For å hjelpe medlemmer med å orientere seg i arbeidsmarkedet, har Tekna lansert Karrierekompasset

Dette er en tjeneste som sammenligner jobbsøkerens profil med tusenvis av andre Tekna-medlemmer med lignende utdanning og arbeidserfaring.

Mangedimensjonalt rom for å finne nye sammenhenger

Petter Egesund fra Sannsyn har vært med å utvikle løsningen. 

Han forteller at hos Tekna har man satt opp en algoritme som håndterer mange faktorer som kan påvirke et jobbvalg. Ved hjelp av såkalte nevrale nettverk er man i stand til å se hvordan faktorer spiller sammen, men også motvirker og forsterker hverandre. 

– Vi bruker en teknikk som kalles embeddings som plasserer alle enhetene i et mangedimensjonalt rom. Likhet i avstand i dette rommet gjenspeiler likhet i virkeligheten. Vi kan bruke dette rommet til å finne sammenhenger mellom personer, stillingstitler, utdanning og arbeidssteder, forklarer Egesund.

Tjenesten videreutvikles fortløpende. På sikt ønsker Tekna å gi anbefalinger som for eksempel:

  • Hvilken arbeidsplasser kan passe for denne arbeidssøkeren?
  • Hvilke arbeidsplasser har like kompetanseprofiler? 
  • Hvilke stillingsprofiler er mest ettertraktet i arbeidsmarkedet?

Overraskende innsikter

Slike algoritmer gir ofte gode, men også overraskende innsikter, sier Egesund. 

– Eksempelvis vil man kunne se at teknisk utdanning vil kunne være viktig på arbeidsplasser der man ikke nødvendigvis vil kunne forvente dette – noe som igjen vil være viktig informasjon for en arbeidssøker som ikke nødvendigvis hadde sett i denne retningen.

Petter Egesund fra Sannsyn (Foto: Privat)

Men en utfordring med et slikt nettverk vil være at det kan inneholde såkalt biaser – det vil kunne bekrefte forutinntatte holdninger. En slik “holdning” kan være ønskede effekter, som at lokale arbeidsplasser vil bli ranket over de lengre unna, mens andre kan være uønskede. 

– Det er derfor viktig å kunne justere et nettverk som diskriminerer, dersom man ser at dette er tilfellet. En annen utfordring når man trener nettverk, er at det kan være utfordringer i datakvaliteten – eksempelvis kan samme utdanning ha ulikt navn på ulike universiteter. Mye arbeid innenfor data science består derfor i å “vaske” grunnlagsdataene, sier Egesund.

Den erfarne teknologen håper at løsningene gjør at jobbsøkere får øynene opp for nye og spennende jobber.

–  Med de nye algoritmene kan man presentere nye og relevante muligheter til jobbsøkerne. Målet er å finne jobber man ikke klarer å se selv kanskje fordi man har vært for lenge på et sted, har fokusert på et for snevert område eller ikke har full oversikt over markedet, avslutter Petter Egesund.

Lyst til å lese mer om den nye tjenesten? Les artikkelen Lærer som et barn med nevrale nettverk.

Ny innsikt og kunnskap med Data Science

Både privat og offentlig sektor besitter og produserer nå enormt mye data. For å håndtere de store datamengdene må man ta i bruk ulike vitenskapelige metoder, prosesser, algoritmer og systemer. 

Vitenskapen om å trekke ut kunnskap eller innsikt fra ulike typer data er det vi gjerne omtaler som «Data Science».

I praksis er data science et tverrfaglig fagfelt der man kombinerer fagfelt som datavitenskap, statistikk, informasjonsvitenskap, matematikk, visualisering, dataintegrasjon, grafisk design, dataarkitektur, etc.

Hvor kommet begrepet «Data Science» fra?

I 1962 beskrev John Tukey et fagfelt han kalte «dataanalyse», som ligner det vi i dag omtaler som Data Science. Selve begrepet Data Science dukket vssitnok opp på en forelesning i 1985 på det kinesiske vitenskapsakademiet C.F. i Beijing i Kina.

Jeff Wu brukte da begrepet Data Science for første gang som et alternativt navn for statistikk.

Data Science vs statistikk og dataanalyse. Hva er forskjellen ?

Statistikk legger ofte mest vekt på kvantitative data der man gjerne ønsker å beskrive noe. I motsetning til dette bruker en data scientists både kvantitative og kvalitative data (f.eks. bilder eller tale) og legger vekt på prediksjon og handling.

I den digitale tidsalderen har det blitt produsert mye innhold som inkluderer alt fra bilder og videoer til tekst og tall. For å finne dypere innsikt her, trengs det kompetanse som i dag sorterer under Data Science. Kanskje bør vi i dag se på statistikk som en del av Data Science-domenet og ikke omvendt.

Men det trenger i praksis ikke å være så store forskjeller. I mange prosjekter Sannsyn har vært involvert, så står statistiske beregninger helt sentralt.

Om vi avslutningsvis så ser på forskjellen på Data Science og dataanalyse, så kan vi si at en data scientist lager spørsmål og forsøker å spå fremtiden basert på store og uoversiktlige data, mens en dataanalytiker finner svar basert på eksisterende sett med spørsmål.

Hva er en Data scientist?

Data Science handler om å håndtere store datamender og inkluderer datarensing, forberedelse og analyser. En data scientist samler data fra flere kilder og bruker maskinlæring, prediktiv analyse og sentimentanalyse for å trekke ut kritisk informasjon fra de innsamlede datasettene. De forstår data fra et forretningssynspunkt og kan gi nøyaktige spådommer og innsikt som kan brukes til å styre kritiske forretningsbeslutninger.

Se hvorfor vi mener at det å finne en god data scientist nesten er som å finne en enhjørning:

Hva skal til for å bli en dyktig Data Scientist?

Dyktige Data Scientists er gjerne gode på analyse og programmering, men de har også nødvendig domenekunnskap. I praksis betyr dette:

  • Solid kunnskap om f.eks Python, R, Scala, SAS etc.
  • SQL-databaser
  • Evne til å jobbe med ustrukturerte data (f.eks fra forskjellige kilder som video og sosiale medier)
  • Forstå flere analytiske funksjoner
  • Kunnskap om maskinlæring
  • Forståelse for domenet og dermed kunne bruke sunn fornuft i jakten på meningsfylte funn.

Data Science er som nevnt høyere opp i teksten, et fellesbegrep som omfatter flere disipliner, herunder dataanalyse, data mining, maskinlæring og flere andre relaterte disipliner. Mens en data scientist forventes å forutsi fremtiden basert på tidligere mønstre, henter dataanalytikere ut meningsfull innsikt fra ulike datakilder. En data scientist lager spørsmål, mens en dataanalytiker finner svar på det eksisterende settet med spørsmål.

Hva er forskjellen på Data Science og maskinlæring?

Data science er som nevnt høyere opp et bredt begrep som inkluderer flere disipliner, inkludert maskinlæring. Hovedforskjellen mellom de to begrepene er at Data Science ikke bare fokuserer på algoritmer og statistikk, men også tar seg av hele databehandlingsmetoden. Dataanalyse og maskinlæring er to av mange verktøy og prosesser som brukes innen Data Science.

Analyser store tekstmengder med Text Mining

Text mining, noen ganger omtalt som text data mining, eller det vi på norsk gjerne kaller tekstanalyse, handler om å finne innsikt i store mengder tekst.

Text mining er en teknologi innen kunstig intelligens (AI) som muliggjør Natural language processing (NLP) ved at man transformerer den frie, ustrukturerte teksten i dokumenter og databaser til normaliserte, strukturerte data som deretter kan brukes til analyse eller maskinlæring.

Den strukturerte dataen skapt ved hjelp av text mining, kan igjen integreres i databaser, datavarehus eller BI-dashboards og kan brukes for deskriptive, preskriptive og prediktive analyser.

Sannsyn har lang erfaring med text mining og bistår flere av Norges største bedrifter med natural language processing, også på nordiske språk.

Et nevralt nettverk er nesten som en menneskehjerne

Dype kunstige nevrale nettverk» eller det vi ofte forkorter til «nevrale nettverk» (på engelsk deep neural network) kan defineres som en serie med algoritmer som prøver å gjenkjenne underliggende forhold i et datasett gjennom en prosess som noen ganger kan likne på den måten den menneskelige hjernen opererer på.

Nevrale nettverk har blitt sentralt i menneskehetens jakt på kunstig intelligens og brukes blant annet til tekstanalyse og bilde- og talegjenkjenning, der det ofte er vanskelig å formulere klare matematiske sammenhenger for å finne sammenhenger i dataen:

Trening av nevrale nettverk

Mens man tradisjonelt sett har brukt programmering for å gjøre datamaskinene smarte, bygger nevrale nettverk på ideen om å utvikle et selvlærende system. For at et nevralt nettverk skulle kunne lære å ta korrekte beslutninger, er det viktig å trene det nevrale nettverket (nevrale nettverk trenes opp istedet for å programmeres). Denne læreprosessen omtales ofte som dyp læring.

La oss ta et eksempel på hvordan man trener et nevralt nettverk:

Se for deg at du ønsker å identifisere en person basert på et bilde. Det man da vil gjøre er be systemet å matche et bilde med en database med navn og bilder av tusenvis av personer. Når systemet kommer med et svar, gir man beskjed til nettverket hva som var det riktige svaret og hvor stort avvik det var mellom systemets forslag og fasiten. Denne prosessen gjentas til systemet faktisk klarer å identifisere rett person. Les mer om trening av nevrale nettverk.

Det er nå en økende interesse for nevrale nettverk i markedet. En viktig årsak til dette er at vi omsider har fått store nok datamengder i kombinasjon med datamaskiner som er kraftige nok til å trene disse modellene.

Ingen språkforståelse uten Natural Language Processing (NLP)

«Natural Language Processing» (NLP) eller det man på norsk kan kalle analyse av naturlig språk, er blitt et essensielt verktøy for mange nye forretningsfunksjoner, fra chatbots og intelligente søk til analyser av store mengder dokumenter og artikler.

I dag finnes det enorme mengder ustrukturert og semi-strukturert innhold som kan gi betydelig innsikt, slik som for eksempel  e-post, sosiale medier, videoer, kundesupportforespørsler og nyhetsartikler. Å tolke slikt innhold maskinelt krever at man klarer å få datamaskinen til å forstå språk.

I praksis er dette ikke alltid like enkelt. Man skal ikke bare få datamaskinen til å forstå hvert enkelt ord, men også flertall, synonymer, sarkasme, gramatikk, stedsnavn, kontekst etc. Natural Language Processing (ofte forkortet «NLP») har i denne sammenhengen blitt avgjørende:

Natural Language Processing innebærer bruk av algoritmer for å identifisere og trekke ut essensen av språket, slik at de mer eller mindre ustrukturerte språkdataene kan bli konvertert til en form som datamaskiner kan forstå.

Ofte skiller vi mellom følgende former for språkanalyse:

  • Morfologi: Hvordan ord er bygget opp (f.eks skrivefeil, entall/flertallsord og kjønn på ord)
  • Syntaktisk analyse: Sammenhengen mellom ordene, altså hvordan setningene er bygd opp.
  • Semantisk analyse og pragmatikk: Når man har klart å forstå ordenes og setningenes oppbygning, er neste utfordring å forstå hva de egentlig handler om.

For å forstå det semi-strukturerte og ustrukturerte innholdet, brukes ofte teknikker som maskinlæringdyp læring og statistikk. Dette muliggjør for eksempel talegjenkjenning, dokument-oppsummeringer, kategorisering av tekst, oversettelser, identifisering av spam og autocomplete.

Dette er et fagfelt Sannsyn har lang erfaring med. Noe av det som gjør oss unike er at vi også har jobbet mye med Natural Language Processing for norsk språk.