Når det kommer til å bruke #KI til å gjøre analyse av negative ytringer om grupper, er jeg svært skeptisk.
Det er så mye menneskelige ting å vurdere - som kontekst, tone og ikke minst avsender. Kan et program bidra positivt? Hvordan ungår man risikoen for at den overser eller feilregistrerer?
Det kan hende de har funnet en forsvarlig og nyttig måte å bruke det på. Blir spennende å høre mer om metoden.
#AI #norskforsk #forskning #samisk #politikk #rasisme #Allheimen #NorskTut
@mbergnordlie
Hei!
Det er eg som har gjort analysen med KI i rapporten. Du kan lese meir om akkurat den delen av metoden og avgrensingane den har i det siste kapitlet i rapporten:
https://www.ogtall.no/publikasjoner/negative-holdninger-og-stereotypier-om-samer-paa-facebook
Der står det også litt om valideringa av metoden. Kort forklart har to av mine kjempeflinke kollegaar manuelt markert rundt 8000 kommentarar som negativ haldning eller stereotypi mot sama, eller ikkje for kommentarar på offentlege facebooksider. For å validere KI-motoden, som kun vart nytta på kommentarar frå facebookgrupper, køyrde me dei menneskeleg markerte kommentarane gjennom GPT-4 for å samanlikne kategoriseringa den gav med det menneskja gav: Her fann me at den hadde omtrent 13% falske positivar; altså kommentarar som GPT-4 meinte var negative ytringar, men som menneskja meinte ikkje var det, og ca 6% falske negativar; altså kommentarar som GPT-4 meinte var uproblematiske, men som menneskja meinte var negative ytringar.
Ikkje ver redd for å spørje om du har fleire spørsmål til den delen av metoden!
Samtidig vet vi fra tidligere undersøkelser at samer har fire ganger så høy risiko for å oppleve diskriminering som majoritetsbefolkningen, og tre av fire unge samer har opplevd diskriminering fordi de er samer. For å svare på hvordan samer omtales på sosiale medier har vi samlet inn og…
@konki Ser dere korrigerer for de falske positivene.
Kunne du utdypet kort om hvordan?
Og gitt at GPT-4 tok såpass mye feil, hva anser du som fordelen ved å bruke GPT-4 og ikke bare gjøre alt med menneskelig vurdering?
Boardda Mihkkal
Konrad