Kalle KniiviläDet här är livsfarligt. Journalister på Finlands största tidning Helsingin Sanomat litade på en felaktig AI-sammanfattning av pressmeddelandet från Försvarsministeriet och publicerade en nyhet där det framgick att man skulle ha skjutit ner ryska drönare i Kouvola. Detta trots att drönarna inte var ryska och inte hade skjutits ner.
Ska man verkligen använda ett verktyg som hittar på falska nyheter?
Hmm, samma felaktiga nyhet publicerades även i kvällstidningen Ilta-Sanomat, som ingår i samma koncern och använder samma AI-verktyg.
Päätoimittajalta: Pyydämme anteeksi vakavaa virhettä https://www.is.fi/kotimaa/art-2000011913249.html
Den felaktiga rubriken var inte helt entydig. Det går att läsa som "ryska drönare skjutits ner" eller "ryska drönare fälldes". Men i sammanhanget läste jag automatiskt det "skjutits ner", för "fälldes" är ologiskt. Fälldes varifrån då?
Aho@kallekn jag skulle säga att texten antyder att man har gjort något åt dem, annars hade det ju varit "pudonneet" eller liknande.
Leander Lindahl 🇪🇺@kallekn det här kommer nog tyvärr att bli vanligt. Folk verkar inte begripa att en LLM (AI) inte har någon relation till fakta och logik, utan endast fogar samman strukturer som har rätt sorts mönster utifrån ett genomsnitt. Det som låter rätt, inte det som är rätt.
@leanderlindahl Om man inte sätter stopp för denna utveckling snart kommer ingen att lita på det som står i tidningar. Och varför ska man då läsa, än mindre betala?
@kallekn ja, det är dystra utsikter. Jag har inte lyckats hitta någon vinkel på hur man ska tänka runt det här. Inget kommer att vara sant i framtiden (deepfake för foto och film etc).
Men det känns som att borde finnas någon slags tanke att formulera runt det här och hur det kommer att balanseras upp av någon annan utveckling. Den tanken undgår mig dock ännu.
Det skrämmande för mig är hur många som verkar tro att gen AI ger ifrån sig fakta. Det gör den inte. Den har inte en susning om fakta
Troed SångbergLLMer fungerar inte helt olikt mänskliga hjärnor. Fundera själv över hur du gör för att veta vad som är fakta.
Ingen som använt en LLM som programmeringshjälpmedel tror längre på att det de numera uppnår "bara" är sannolikhetsberäkningar på nästa token - även om det är just det som händer. Något mer än så har uppstått när de gått över en viss storlek.
Helt rätt är dock att aldrig använda en LLM som en databas. Precis som vi slår upp information i trovärdiga källor behöver de göra det för att man ska nå vettiga resultat.
@troed @kallekn
är allt annat än jag expert på det här. Kan väldigt lite. Men... min erfarenhet är att du måste både förbereda det du matar in (prompt, context) väldigt väl och med viss skicklighet/vana för att få ett gott resultat OCH besitta rätt förmåga/kunskap för att bedöma om resultatet är värdefullt eller bara strunt. Finns säkert undantag. Men generellt mitt intryck. Man kan alltså inte använda det för saker man inte själv förstår sig på tillräckligt för att kunna bedöma resultatet
är allt annat än jag expert på det här. Kan väldigt lite. Men... min erfarenhet är att du måste både förbereda det du matar in (prompt, context) väldigt väl och med viss skicklighet/vana för att få ett gott resultat OCH besitta rätt förmåga/kunskap för att bedöma om resultatet är värdefullt eller bara strunt. Finns säkert undantag. Men generellt mitt intryck. Man kan alltså inte använda det för saker man inte själv förstår sig på tillräckligt för att kunna bedöma resultatet
Bloggade precis lite om detta, hur - den helt korrekta - kommentaren att LLMer bara utför statistik på mest sannolika efterföljande token trots allt verkar ge upphov till något "mer". Använder ett riktigt exempel från en fråga jag ställde min programmeringshjälpreda i dag:
mrg@leanderlindahl @kallekn Här är en intressant rapport från BBC och EBU just om AI för nyhetsnotiser, 41% av notiserna i studien hade ”at least one significant issue”.
https://www.bbc.co.uk/mediacentre/2025/new-ebu-research-ai-assistants-news-content
@leanderlindahl @kallekn Samma fenomen dyker upp vid översättning, 404media skriver om hur Wikipedia fick problem med felaktigheter i LLM-översatta artiklar.
https://www.404media.co/ai-translations-are-adding-hallucinations-to-wikipedia-articles/
@kallekn
När det blir rätt beror det på att träningsmaterialet har ett stort antal förekomster av "rätt". T ex om nån frågar vad är Sveriges huvudstad, eller säger skriv ett javascript som itererar över den här array:en. Men om det finns för lite "rätt" i träningsmaterialet så fogar den samma annat som "låter rätt" ändå. S k hallucination.
När det blir rätt beror det på att träningsmaterialet har ett stort antal förekomster av "rätt". T ex om nån frågar vad är Sveriges huvudstad, eller säger skriv ett javascript som itererar över den här array:en. Men om det finns för lite "rätt" i träningsmaterialet så fogar den samma annat som "låter rätt" ändå. S k hallucination.
@kallekn det blir intressant att se var den här utvecklingen tar vägen... När det var nytt för mig minns jag att jag skämtsamt sa "det är som att jobba med någon som är ett geni och en komplett galen mytoman på samma gång". Fantastiska resultat och samtidigt helt opålitlig.
@kallekn kanske värt "några" Euro per månad o ha en riktig journalist istället för en kostsam LLM som hittar på egen "fakta"
@aho @kallekn grundproblemet tror jag är att en AI vet inte när det den ger ifrån sig är påhittad fakta och när det är verklig fakta. Den vet ingen skillnad mellan de två. Annars hade man redan utformat dem så att de berättade när det var helt säkert och när det var spekulationer/påhittat. Den vet helt enkelt inte skillnaden. Den väver sina mönster utifrån det material och de instruktioner den fått.
@leanderlindahl @kallekn det hela är ju inte AI utan frågan om sannolikhet att text fragment hör ihop för en specifik text kombination som är din fråga/instruktion.
dgormsen.bsky.social
Joakim Fors@kallekn "Effektivisering" brukar det heta…
Janko Luin 
@joakimfors @kallekn ”Effektivisering” brukar innebära att skära ner på säkerhetsmarginaler, så verksamheten kostar mindre i fredstid men kollapsar i kris. Det stämmer tydligen även här.
Magnus Ahltorp@kallekn Det är ju tyvärr så här chattbottarna fungerar. Äldre sammanfattningssystem kunde också göra fel, men baserade sig helt på ursprungstexten, så felen var normalt av typen att den kombinerade ihop fel saker eller utelämnande något viktigt.
Chattbottbaserade sammanfattningssystem fungerar enligt en helt annan princip: hitta på innehåll som är troligt enligt vad som brukar skrivas, löst baserat på ursprungstexten. Resultatet blir därefter.
@ahltorp Högst olämpligt i nyhetssammanhang. Och i de flesta andra sammanhang också för den delen.
@kallekn Ja, verkligen. Men att språket är så naturligt, LLM:ernas stora styrka, gör utmatningen väldigt attraktiv och försåtlig, vilket gör att det är lätt att tro på innehållet. Äldre system var mer korrekta, men hade ofta onaturliga delar, framförallt att stycken inte hängde ihop. Samma sak gäller maskinöversättning.
@kallekn LLM-baserade system har som högsta prioritet naturlighet och trolighet. Resultatet ska vara så svårt som möjligt för en människa att förstå att det är LLM-genererat.
Le Big Mac@kallekn men vaffan.
Quo usque tandem-cykel📎@kallekn Anar en retorisk fråga...