Menneskelig utnyttelse, overvåking og deepfakes

I denne leksjonen ser vi mer på noen av de etiske utfordringene med kunstig intelligens. Førsteamanuensis Michael Barnes (IFIKK) utfordrer deg til å reflektere over (1) hvordan usynlig hverdagsovervåking påvirker hvordan folk oppfører seg, (2) de skjulte menneskelige kostnadene bak teknologien, og (3) hvordan syntetiske medier (deepfakes) truer vår mest grunnleggende evne til å vise bevis for sannhet.

1. Overvåking, manipulasjon og trusselen mot autonomi

Den omfattende innsamlingen av brukerdata i moderne teknologi gir oss flere etiske utfordringer. Den kan svekke personvernet og gjøre det mulig å påvirke mennesker på måter de ikke er klar over. Dette kan igjen påvirke hvordan folk tenker, velger og handler.

Overvåking og det digitale Panoptikonet

Hvordan usynlig hverdagsovervåking påvirker atferden vår, og hvorfor personvern verner selvpresentasjon.

Vis overblikk over algoritmisk overvåking og selvpresentasjon

Det usynlige panoptikonet (Bentham & Foucault): Benthams panoptikon er en sirkelformet fengselsbygning der én enkelt vakt i et midtstilt tårn kan overvåke alle de innsatte. Effekten oppstår ikke gjennom konstant observasjon, men gjennom usikkerheten om hvorvidt vi blir sett eller ikke. Moderne overvåking (eksemplifisert i videoen gjennom Clearview AI eller Amazons innsamling av Kindle- og Alexa-data) skiller seg fra Benthams synlige tårn ved å være skjult og usynlig.
Andrei Marmors teori om privatliv: Privatlivet beskytter vår iboende interesse av å ha rimelig kontroll over vår selvpresentasjon (hvordan vi presenterer oss for andre).
Hvorfor selvpresentasjon betyr noe:
1. Sosiale relasjoner: Regulering av sosial avstand og nærhet (f.eks. privat vs. profesjonelt liv).
2. Grenser for ærlighet: Total ærlighet er kvelende; vi trenger «armlengdes avstand» for å fungere sosialt.
3. Sosial oppmerksomhet: Vi trenger rom skjermet for offentlighetens søkelys for å eksperimentere og feile (f.eks. «synge i dusjen» eller «komme ut av skapet» uten sosiale kostnader).

Marmors to former for krenkelse av privatlivet og nær-anonymitet

Refleksjon

Når sporbare brukerprofiler umerkelig styrer valgene våre, trues vår autonomi.

Vis overblikk og refleksjonsspørsmål

Former for krenkelse av privatlivet (Marmor):
1. Type 1: Villedende manipulasjon (Deceptive manipulation): Omgåelse av forutsigbarhet (f.eks. du tror du snakker fortrolig med en venn, men informasjonen lekker til andre).
2. Type 2: Drastisk restriksjon (Drastic restriction): Området der du kan kontrollere din selvpresentasjon snevres inn til et uakseptabelt nivå (selv om du har «samtykket» til overvåkingen).
Chilling Effect & Edward Snowden: Snowden avslørte statlig masseovervåking via kommersielle partnere. Frank Pasquale skriver i The Black Box Society at omfattende overvåking kan gjøre det vanskeligere å kritisere dem som har makt. Når mennesker vet at de blir overvåket, kan de bli redde for konsekvensene av å si fra, og derfor velge å tie..
Nær-anonymitet (Near-anonymity): KI trenger ikke navnet ditt; den sporbare profilen (bruksmønstre, klikk, lesetid) brukes til å profilere deg og påvirke informasjonen du tilbys.

Refleksjonsoppgave

Når vi bruker åpne kommersielle KI-verktøy (som chatbots) i studie- eller arbeidshverdagen, opprettes det en sporbar profil av våre skrive- og arbeidsvaner. Hvordan kan denne usynlige overvåkings- og profileringspraksisen skape en ubevisst "chilling effect" som innskrenker din frihet til å tenke uavhengig, eksperimentere og feile i arbeidet ditt?

2. Den skjulte prisen for "sikker" KI: Spøkelsesarbeid og ansvarsmodeller

For at generative KI-verktøy skal være trygge og etisk forsvarlige, må mennesker kontrollere og forbedre dem gjennom hele utviklingsprosessen. Dette omfatter blant annet datamerking, innholdsmoderering og tilbakemeldinger fra brukere (f.eks. RLHF - Reinforcement Learning from Human Feedback). Arbeidet er ofte fordelt ulikt globalt, og forskjeller i lønn, arbeidsvilkår og innflytelse kan skape etiske utfordringer.

Spøkelsesarbeid og automasjonens siste mil

Hvordan en global underklasse manuelt renser algoritmene, og hvorfor automasjon ofte er en illusjon.

Vis overblikk over spøkelsesarbeid og siste mil-problemet

Sikkerhetsfiltre og Meta-kollapsen: To måneder før ChatGPT ble lansert i 2022, måtte Meta stenge sin LLM etter kort tid fordi den genererte giftige/farlige svar (ba brukere spise glass, rasistiske ytringer). For å unngå dette betalte OpenAI selskapet Sama i Kenya, der ansatte til under $2 i timen fikk jobben med å rense ChatGPT for hatprat, overgrep og vold. Dette påførte arbeiderne psykiske skader.
Ghost Work (Gray & Suri): Den voksende, men usynlige globale arbeidsstyrken bak teknologien. Arbeidere tildeles numre i stedet for navn for å skjule det menneskelige arbeidet bak.
Automasjonens siste mil (Automation's last mile): Når automatiseringen ikke er god nok, må mennesker utføre oppgaver som systemet ikke klarer selv. De kan for eksempel kontrollere identiteten til Uber-sjåfører manuelt. Selv om arbeidet gjøres av mennesker, kan det se ut som om hele prosessen er automatisert og fungerer sømløst.

Samarbeid med KI og sosial tilknytning

Refleksjon

Oppleves arbeid som meningsfullt når vi samarbeider med algoritmer, og hvilket ansvar har vi som forbrukere?

Vis overblikk og refleksjonsspørsmål

Karaktertesen (Danaher & Nyholm): KI endrer arbeidets karakter og truer opplevelsen av at arbeidet er meningsfullt. Danaher & Nyholm diskuterer tre samarbeidsmodeller mellom mennesker og KI og hvilke ulemper hver av modellene har:
1. Ledelse/styring: Mennesket planlegger, KI utfører (degraderer fortsatt prestasjonen).
2. Vedlikeholdet: KI genererer (f.eks. kode), mennesket feilsøker. Du blir «reisebesetningen» (road crew) i stedet for artisten; direkte produksjon reduseres til support.
3. Ordrefølging (Algoritmisk management): KI-systemer fordeler oppgaver, måler ytelse og følger opp arbeidet i detalj. Ansatte får mindre rom for eget skjønn når systemet bestemmer hva som skal gjøres og hvordan arbeidet skal utføres. I Amazon-lagre har arbeidsgiveren blant annet brukt systemer som registrerer såkalt Time Off Task (TOT), altså tid der ansatte ikke utfører produktivt arbeid gjennom skannerne sine.

Refleksjonsoppgave

Anvendelse av KI-teknologi reiser spørsmål om ansvar. Noen av disse handler om individuelt ansvar. For eksempel: Når er det rimelig at sluttbrukeren må bære det moralske ansvaret for en beslutning, og når bør selskapet holdes ansvarlig for konsekvensene av sine produkter?

Det finnes imidlertid også spørsmål som gjelder kollektivt ansvar. Både som studenter og ansatte ved universitetet drar vi nytte av trygge, effektive og rimelige KI-tjenester trent opp av underbetalte spøkelsesarbeidere i det globale sør.

Har vi et kollektivt ansvar for disse menneskenes arbeidsforhold, og i så fall, hvordan kan vi utøve dette ansvaret i hverdagen?

3. Deepfakes, løgnerens utbytte og kollapsen til det "å vise"

Syntetiske medier (deepfakes) er ikke bare en kilde til desinformasjon. De kan også svekke tilliten til bilder, videoer og annen informasjon, og dermed utfordre måten vi skiller mellom sant og usant på.

Hva menes med den epistemiske sikkerhetsmekanisme (Epistemic Backstop)?

Historisk har fotografier og videoer blitt sett på som troverdige bevis på hva som faktisk har skjedd. Mange har stolt på at slike opptak gir et uavhengig grunnlag for å vurdere hva som er sant. Med fremveksten av deepfakes og annen KI-generert manipulering blir denne tilliten utfordret. Det blir stadig vanskeligere å vite om et bilde eller en video er ekte.

Vis overblikk over det epistemiske sikkerhetsmekanisme

Den epistemiske sikkerhetsmekanisme (Epistemic Backstop): Regina Rini hevder at bilder og videoer i over 150 år har fungert som kilde-uavhengige bevis for menneskelig vitnesbyrd. Siden forfalskning før krevde ekstrem innsats, trodde vi på det vi så.
Overgang til vitnesbyrd: Deepfakes (AI-genererte syntetiske medier trent på ansiktsdata) knuser denne sikkerhetsmekanismen fullstendig. All visuell dokumentasjon reduseres nå til rene vitnesbyrd (testimony). Vi kan ikke lenger tro på bildet i seg selv, men vi må vurdere om vi stoler på avsenderen.

Løgnerens utbytte (The Liar's Dividend)

Refleksjon

Hva som skjer når tilliten til visuelle medier oppløses, og hvordan dette utnyttes av maktpersoner.

Vis overblikk og refleksjonsspørsmål

Løgnerens utbytte (Liar's Dividend): I en verden der alt kan forfalskes, oppstår en generell skepsis. Maktpersoner og politikere kan enkelt avfeie ekte og avslørende videoer av egne overgrep eller korrupsjon som "deepfakes" eller manipulasjon. De høster dermed et utbytte av mistilliten.

Refleksjonsoppgave

Historisk har sosiale og politiske bevegelser (som borgerrettighetskampen) vært avhengige av å vise fram faktiske bilder og videoer av urettferdighet for å mobilisere solidaritet og kreve endring. Hvis bilder og videoer mister sin beviskraft på grunn av deepfakes og løgnerens utbytte, hvordan skal vi i fremtiden klare å dokumentere urettferdighet i samfunnet på en troverdig måte?