Yhden päivän Claude Code-kokeilua töissä lukuunottamatta en ole tekoälyjä käyttänyt koska homma jo pelkästään kuulostaa niin täysin älyvapaalta. Tuossa muistui vaan mieleen sitten että IBM:n Granite -mallit on koulutusmateriaalia myöten avoimia joten tämmöistä voisi nyt ehkä paikallisesti omalla koneella kokeilla, know your enemy -hengessä.

Fedorasta löytyy kyllä llama-cpp jolla tuota voisi ajaa, mutta koska oma kone näytönohjaimineen on muinaismuisto niin tuo Fedoran versio ei siitä ymmärrä mitään. Itse käännetty llama-cpp jo toimii sitten riittävän nopeasti tähän tarpeeseen.

Tämmöisellä komentorivillä sitä ajoin, jos joku haluaa kokeilla vastaavaa: "llama-cli -hf unsloth/granite-4.0-h-micro-GGUF:Q4_K_XL". Granitesta on monta eri versiota, isommat vaatii sitten jo niin paljon muistia että meikäläisen rakkineilla on turha kuvitellakaan. Kyllä tässä homman nimi tulee harvinaisen nopeasti selväksi. Kun malli on ladattu, käytin testipromptina:

"tell me about llm technology"

Ensimmäinen vastaus alkoi näin:

"LLM stands for "Legal Machine Learning." It is an emerging field that combines the fields of law and artificial intelligence. LLM technology seeks to leverage machine learning and artificial intelligence to automate and enhance various aspects of legal work."

Kun tarpeeksi monta kertaa hakkasi /regen ja/tai aloitti ohjelman alusta, sain myös tämmöisen:

"LLM, or Large Language Model, is a type of artificial intelligence (AI) model that is designed to understand, generate, and respond to human language. It is a form of deep learning, a subset of machine learning, where models are trained on vast amounts of data to learn patterns and relationships within the data, thereby enabling them to understand and generate human language."

Kolmas variantti jonka sain pari kertaa:

"LLM technology stands for "Legal Language Model" technology. This is a subfield of artificial intelligence (AI) and natural language processing (NLP) that is specifically designed to understand, process, and generate legal language. It leverages machine learning algorithms to interpret and understand legal texts, contracts, laws, and case law, enabling tasks such as legal document analysis, contract review, and legal research."

Varsinaiset vastaukset oli paljon pidempiä, mutta en jaksanut lähteä kamman kanssa kahlaamaan edes sitä oikealta näyttävää vastausta, koska sen oikeellisuus ei lopulta ole merkityksellistä: Jos tiedät vastauksen valmiiksi niin et oppinut yhtään mitään, ja jos et, niin et mitenkään voi tietää mikä vastauksista oli oikein, jos mikään. Eli tämä on ihan täydellisen hyödytöntä ajan ja energian haaskausta.

Ei tässä mitään yllättävää minulle ollut, näiden toimintaperiaate pääpiirteissään on selvä. Itse koetttu on kuitenkin aina itse koettu.

Ja tähän teknologiaan kaadetaan biljoonia biljoonien päälle koska ollaan mukamas aina juuri saavuttamaisillaan suurta läpimurtoa. Kun perusperiaate on pielessä niin ei se siitä oikeaksi muutu vaikka kuinka paljon laskenta-aikaa siihen hassataan.

Edit: Unohtui todeta että tälle tekniikalle saattaa olla ihan hyödyllisiä käyttökohteitakin olemassa. Tiedonhakuun, mihin niin monet sitä tuntuvat käyttävän, siitä ei todellakaan ole.

#tekoaly #kielimallit

Kuolen vähän sisältä aina, kun joku töissä sanoo kielimallien osaavan jotain, tai oppivan tekemään jotain.

Tekoäly ei osaa mitään, vaan laskee todennäköisyyksiä ja tekee tilastollista analyysiä ohjatusti.

Keisarilla ei ole vaatteita, vaikka torillinen väkeä niin kuvittelee.

#tekoäly #kielimallit #LLM

Kielimallit tmuuntaa koodausongelman testien kirjoittamisen ongelmaksi. Sellaisten testien kirjoittaminen, jotka nappaa joka jumalan typeryyden, on aivan helvetin paljon vaikeampaa kuin hyvälaatuisen koodin kirjoittaminen. Ja kumpaakaan kielimallit ei tule osaamaan.

Tää tulee tuhoamaan test-driven devauksen, mikälil tää kielimallisirkus ei kaadu omaan taloudelliseen mahdottomuuteensa sitä ennen.

#kielimallit

Pieni ketju gpt-kielimalleista ja erityisesti niiden käyttömotivaatiosta.

Väitän, että gpt-kielimallin suurin houkutus on siinä, että se mahdollistaa näennäisesti sellaisten asioiden tekemisen, jotka ovat loogisesti mahdottomia. Avaan hieman.

Teen työkseni tietojärjestelmien määrittelyä ja suunnittelua. Suuri osa työstäni on ihmisten jututtamista, yritän saada selville, mitä lopputuloksen pitäisi tehdä. Toivotut asiat ovat usein ratkaisemattomassa ristiriidassa keskenään: 1/n

#kielimallit

Uusi tutkimus tekoälyn energian tarpeesta kertoo taas, et kielimallien sähkönkulutus sen kuin kasvaa. Nyt julkaistu arvio asettaa yksittäisen kyselyn keskimääräiseksi energian kulutukseksi 18,9 Wh.

Monesta tämä on varmasti vähän, mut itse olen sitä mieltä et hyötyihin nähden määrä on kokonaisuudessaan aivan valtava (joitain poikkeuksia varmasti on). Mallien koulutuksen ja käytön energian tarpeen kasvuvauhti on myös todella kova. #kielimallit #tekoäly #energiankulutus

https://etn.fi/index.php/13-news/18692-yksi-chatgpt-kysely-kuluttaa-50-kertaa-enemmaen-saehkoeae-kuin-google-haku

Tulipa sellainen ajatus mieleen, että kun suurelle osalle ihmisistä tietokoneet on jo nyt antropomorfisoituja, niin kielimallit vaan jatkaa siitä. "Mystinen vehje"

Olkoon arvontaa, ihan sama jos koko härveli on tähänkin asti itselle ollut tuloksia arpova, irrationaalinen musta laatikko.

#TÄ #kielimallit

Tässä töissä noita kielimallien tuotoksia kattellessa tajuaa, että nehän ei tee mitään sellaista mikä ois vaikeaa, vaan siirtää vaan vaikeudet toiseen kohtaan prosessia, ja tekee niistä vielä hankalampia.

Selitän. Kielimallin saa tuottamaan paljon tekstiä melko nopeasti. Se missä kielimalli on ihan hyödytön, on virheiden korjaaminen ja yksityiskohtien laittaminen oikein.

Ja sehän on ihan helvetin työlästä hommaa.

#llm #kielimallit 1/4

Toisaalta on hienoa, että Yle tuo generatiivisen tekoälyn haittoja esille ( https://yle.fi/a/74-20209923 ) - mutta harmillisesti tässäkin artikkelissa generatiivinen ja muut tekoälyt niputetaan keskenään samaan kategoriaan:

"Ruotsalainen korostaa, että tekoälyllä on paljon potentiaalia myös hyvään.

Vaikka tekoäly on energia-, vesi- ja raaka-ainesyöppö, samalla sen avulla voidaan hillitä ilmastonmuutosta optimoimalla energiantuotantoa, liikennettä, teollisuutta, lämmitystä tai jopa ruoantuotantoa sellaiseksi, että päästöjä syntyy mahdollisimman vähän.

Tekoälyä on myös paljon muukin kuin pelkästään ChatGPT:n kaltainen generatiivinen tekoäly, Ruotsalainen muistuttaa.

– Tekoälymenetelmillä voidaan tehdä oikeasti isoja asioita. Tällä hetkellä esimerkiksi EU rakentaa maapallon kaksoismallia, jonka avulla voidaan tarkkailla ilman ja ihmisten toiminnan vaikutusta ilmastonmuutokseen, hän kertoo."

Ei generatiivista tekoälyä pitäisi puolustella* sillä, että joistain muunlaisista tekoälyistä on oikeaa hyötyä. Ne ovat ihan eri asioita, eivätkä liity toisiinsa muuten kuin markkinointiin käytetyn epämääräisen kattotermin kautta.

*) Ja nimenomaan sitä tuossa tehdään. Samaa sanaa "tekoäly" käytetään saman tekstin sisällä viittaamaan välillä generatiiviseen tekoälyyn, välillä muunlaisiin tekoälyihin ja välillä molempiin. Teksti vie lukijaa harhaan.

#kielimallit #LLM #AI

Testasimpa eilen vibekoodausta. Teetätin VS Coden copilotilla suht yksinkertasen Meshtastic-clientin pythonilla. Se sai käynnistyvän softan aikaan, mutta eihän se toiminut oikeasti. Se käytti meshtastic-kirjastoa ihan ihmeellisesti väärin, vissiin kielimalli opetellut jotain kirjaston vanhaa versiota. Poikkeuksia ei käsitelty mitenkään joten vian selvittely vaati käsin debuggausta.

Kun koodia alkoi korjaamaan, niin ehdotukset olivat välillä oikein välillä ihan mitä sattuu.

Aika paljon piti tehdä käsin korjauksia ja lopputulos oli että käsin olisin tehnyt paljon yksinkertaisemman ja vähemmällä koodilla toimivan version.

#kielimallit #vibekoodaus #ohjelmointi

Kielimallit muistuttavat mua edellisestä tekoälyn/koneoppimisen vaiheesta. Nimittäin Prologista.

Prolog on kieli, jolle annetaan loogisia propositioita, ja se päättelee niistä kysyttyjä asioita. Prologin kanssa kontekstin ongelma tuli aika äkkiä vastaan kun sillä yritti tehdä jotain hyödyllistä: simppelit ongelmat olivat tietysti helppoja koodata, mutta ihmiset, kieli ym menivät tosi nopeasti todella vaikeaksi.

#kielimallit #llm #koneoppiminen

1/n