Valg og evaluering av språkmodeller

I denne videoen forklarer Lilja hvordan du kan orientere seg i mylderet av språkmodeller. Hun diskuterer betydningen av modellstørrelse og forskjellen mellom åpne og lukkede modeller. Hun diskuterer også det globale kappløpet, og hvordan vi systematisk kan måle og evaluere kvaliteten på modellene.

Oppsummering og læringsaktiviteter

Det kommer nye språkmodeller nesten annenhver uke, og det finnes allerede svært mange forskjellige. For å kunne ta gode og bevisste valg om hvilken modell du kan bruke, må du ha kunnskap om hva som kjennetegner ulike modeller, og hva vi skal legge til grunn for valget.

Nedenfor finner du et kort overblikk over de viktigste aspektene ved evaluering av språkmodeller.

Modellstørrelse, åpenhet og geopolitikk

Hvordan størrelsen måles i parametere, forskjellen på åpne og lukkede modeller og global konkurranse.

Vis overblikk over størrelse, åpenhet og geopolitikk

Modellstørrelse (parametere): Størrelsen på en språkmodell måles i antall parametere, som er de interne tallene modellen lærer under trening. Større modeller kan løse mer komplekse oppgaver, men krever også mer datakraft. Mindre modeller (7–13 milliarder) er mer strøm- og ressurseffektive enn de største (100 milliarder+). Små modeller egner seg best for mindre språk (som norsk) fordi vi har mindre tilgjengelig tekst å trene modellene på.
Åpne vs. lukkede modeller: Lukkede modeller (som GPT-5.6) holdes hemmelige av kommersielle selskaper. Åpne modeller (open-weights) lar hvem som helst laste ned modellene for lokal kjøring, noe som sikrer personvern (f.eks. på sykehus eller i forskning). Dette rangeres bl.a. på Artificial Analysis Openness Index.
Geopolitikk og Norge: Utviklingen av KI domineres av USA og Kina (f.eks. åpne DeepSeek-modeller). I Norge jobber Nasjonalbiblioteket og UiO med å utvikle mindre norske modeller som speiler norsk kultur og språk.

Evaluering og utfordringer med tekstgenerering

Hvordan språkmodeller evalueres og hvorfor det er en utfordring å måle kvaliteten på generert tekst.

Vis overblikk over evaluering og tekstgenerering

Tre evalueringskriterier: Modeller evalueres fortløpende etter ytelse/nøyaktighet (om de er faglig korrekte), effektivitet (hastighet og strømforbruk) og sikkerhet (om de unngår skadelig innhold).
Ingen fasit: Fri tekstgenerering (f.eks. "Hvorfor feirer vi 17. mai?") har mange mulige korrekte svar. Dette gjør automatisk evaluering vanskelig sammenlignet med tradisjonelle maskinlæringsoppgaver med én fasit (f.eks. bildegjenkjenning).
Evalueringsmetoder:
- Klassifikasjon: Oppgavene gjøres om til flervalgsoppgaver/quizer. Enkelt å måle, men tester ikke den faktiske språklige kvaliteten.
- Ord-overlapp: Sammenligner ordsekvenser med et menneskelig svar. Raskt, men kan overse grove faktafeil (f.eks. høy score på setningen "17. mai er Sveriges nasjonaldag...").
- LLM som dommer (LLM-as-a-Judge): En mer avansert modell evaluerer den genererte teksten etter flere kriterier (sannferdighet, relevans, flyt).

Testbatterier (benchmarks) og NorEVAL

Hvordan testbatterier og "leaderboards" kan benyttes til å sammenligne språkmodeller, og hvordan norsk kvalitet måles.

Vis overblikk over testbatterier og NorEVAL

Testbatterier (Benchmarks) og ledertavler (leaderboards): Samlinger av datasett og oppgaver som rangerer modeller mot hverandre og mot menneskelig ytelse på ledertavler (leaderboards). Eksempler er Artificial Analysis LLM Leaderboard (engelske tester) og EuroEval (europeiske språk).
NorEVAL: NorEVAL er et omfattende testbatteri for norsk språk. Det er utviklet av Språkteknologigruppen (LTG) ved Universitetet i Oslo, og siden har et eget dashboard for sammenligning av åpne modeller.
Dialekt- og kulturoppgaver: For å teste om modellene forstår norsk kultur og dialekter, inkluderer NorEVAL blant annet quizer hentet fra NRK om norske dialektord (f.eks. om modellen forstår at dialektordet "bale" betyr å streve).

Avanserte modellegenskaper og valg av modell

Hva RAG og resonnering betyr for svarene, samt Liljas fire råd for valg av modell.

Vis overblikk over egenskaper og valg av modell

RAG (Retrieval Augmented Generation): En metode der modellen automatisk søker etter oppdatert informasjon i eksterne databaser eller på internett før svaret genereres. Dette ankrer svarene i faktiske kilder og begrenser hallusinering.
Resonnerende modeller (Reasoning / Thinking): Modeller trent spesifikt til å bryte ned komplekse logikk- og matteproblemer og løse dem i flere logiske steg (Chain-of-Thought) i bakgrunnen før svaret vises.
Liljas fire råd for valg av språkmodell:
1. Velg en så åpen modell om mulig: Bruk nedtrekksmenyen på UiOs offisielle tjeneste gpt.uio.no for å velge blant mindre, åpne modeller hvis oppgaven du skal gjøre trenger det.
2. Vær kritisk og sammenlign: Svaret påvirkes sterkt av hvilken modell du velger og hva den er trent på. Sammenlign gjerne svarene fra to ulike modeller.
3. Sett deg inn i evaluering: Sjekk for eksempel testresultatene på norske oppgaver (via NorEVAL) dersom du skal generere mye norsk tekst.
4. Match egenskaper til oppgaven du skal gjøre: Bruk modeller med nettsøk (RAG) for dagsaktuelle fakta og resonnerende modeller for komplekse matematikk- og logikkutfordringer.

Kildehenvisninger og videre lesing:

NorEVAL. (2024). A Benchmark for Norwegian Language Models. Språkteknologigruppen (LTG), Universitetet i Oslo. DOI:10.18653/v1/2025.findings-acl.181
Artificial Analysis Language Model Performance and Openness Index. Hentet fra https://artificialanalysis.ai