Тернарный KAN: не баг, а фича — почему дискретные веса работают лучше

Это продолжение поста “Две нейросети по 15 КБ” - там были базовые цифры. А тут уже личная история: как делалось, что пошло не так, и что выяснилось по пути. Май 2024 года. Выходит статья “KAN: Kolmogorov-Arnold Networks”. И происходит то, что бывает раз в несколько лет - кто-то предлагает альтернативу MLP. Не модификацию и не лайфхак - альтернативу. В MLP каждый нейрон делает weight × input + bias , и все 80 лет развития - это вариации на тему “как сделать этот вес точнее, быстрее, разреженнее”. KAN предлагает другое: заменить линейный вес на обучаемую функцию. Вроде мелкий трюк, а на практике - меньше параметров при той же точности и встроенная интерпретируемость. К 2026 году уже появились QuantKAN (4-битное квантование), KANtize (2-3-битные B-spline таблицы), BiKA (аппаратный акселератор, вдохновленный KAN). И все они, по сути, про одно - сделать KAN меньше, чтоб работал не только на GPU. Граница в три бита - она же психологическая. Ниже 4 бит у всех начинается «а вдруг всё сломается». И знаете что? Обычно так и есть. Любой, кто квантовал нейросети в 2 бита, знает: точность падает. Не чуть-чуть - катастрофически. Но {-1, 0, +1} - это даже не два бита, это log₂(3) ≈ 1.58 бита. Формально - между binary и ternary, а по ощущениям - чистое безумие. Ну я и решил попробовать.

https://habr.com/ru/articles/1049822/

#KAN #KolmogorovArnold_Networks #тернарные_веса #квантование #QAT #TinyML #Edge_AI #MNIST #регуляризация #STM32

Две нейросети по 15 КБ: тернарный KAN и рассуждение без LLM

Тернарный KAN 15.4 КБ с точностью 96.15% на MNIST и система многошагового рассуждения VSA‑Reasoner без LLM с 90% точностью. Оба изобретения используют тернарные веса {-1,0,+1}, работают на CPU и упаковываются в десятки килобайт.

https://habr.com/ru/articles/1048200/

#TinyML #Edge_AI #KAN #нейросети #тернарные_веса #VSA #QAT

Kanada leicht favorisiert, BiH kämpferisch, ein enges WC-Duell. Freu dich aufs Kickoff 21:00 CEST (UTC+2).

Kanada 48.9%
Draw 28.9%
Bosnien-Herzegowina 22.3%

#Football #Soccer #Weltmeisterschaft #KAN #BIH #KANBIH

♪ "REGIKOSTAR ～レジ子スターの刺激～" by "KAN" (2010) on album "カンチガイもハナハダしい私の人生", Composed by "KAN" #NowPlaying ♬

投稿者がこの楽曲を再生した回数は "26回" です(｀・ω・´)

https://www.youtube.com/watch?v=v5PR0RaojXs

#歌ってみた #配信

#KAN

♪ "愛は勝つ" by "KAN" (1990) on album "IDEAS III ～the very best of KAN～", Composed by "KAN" #NowPlaying ♬

投稿者がこの楽曲を再生した回数は "17回" です(｀・ω・´)

https://www.youtube.com/watch?v=v5PR0RaojXs

#歌ってみた #配信

#KAN

♪ "まゆみ" by "KAN" (1993) on album "IDEAS ～the very best of KAN～", Composed by "KAN" #NowPlaying ♬

投稿者がこの楽曲を再生した回数は "23回" です(｀・ω・´)

https://www.youtube.com/watch?v=EOJEfUehnVU

#歌ってみた #配信

#KAN

Luchtige Avonturen: Wat Kan Lucht Doen?

Hallo, jonge ontdekkingsreizigers! Ik ben Pieper, jullie enthousiaste muis en natuurkunde-gids! Vandaag gaan we samen op avontuur in de wereld van de lucht! 🌬️⚡ Zijn jullie klaar om te leren wat l...

🌞 Leer verder: https://leeralles.nl/luchtige-avonturen-wat-kan-lucht-doen/?feed_id=23907

#AVONTUREN #DOEN #KAN #LUCHT #LUCHTIGE #WAT
https://leeralles.nl/luchtige-avonturen-wat-kan-lucht-doen/?feed_id=23907

#Israel’s #KAN keeps snidely mocking #Eurovision artists from competing countries.

LELEK, representing #Croatia, objected to a post where KAN mocked the performers’ tattoos. KAN deleted the post and allegedly apologised to the Croatian delegation for its remarks.

https://escxtra.com/2026/05/13/lelek-respond-to-israeli-broadcaster-social-media-comments/
https://www.timesofisrael.com/liveblog_entry/israels-public-broadcaster-deletes-apologizes-for-meme-about-croatian-eurovision-bands-tattoos/

Israelis feel Noam Bettan has already won Eurovision regardless of final outcome

When Noam Bettan takes the stage to represent Israel as he sings the song, “Michelle,” at the final…
#Eurovision #Austria #EurovisionSongContest2026 #Israel #Kan #vienna #YuvalRaphael
https://www.europesays.com/europe/41662/