Как одна операция из линейной алгебры захватила мир ИИ
В 2017 году в мире нейросетей произошел почти незаметный переворот. Без громких презентаций и человекоподобных роботов исследователи из Google опубликовали статью с очень скромным названием — Attention is All You Need . Но именно после нее индустрия ИИ фактически разделилась на «до» и «после». Сегодня на трансформерах работают ChatGPT, Claude, Gemini, Midjourney и почти весь современный генеративный ИИ. И самое странное в этой истории — фундаментом революции стала одна из самых простых операций линейной алгебры: скалярное произведение векторов. Не новая архитектура памяти. Не сложная логика вывода. Не биологически правдоподобная модель мозга. А обычное перемножение чисел с последующим сложением. Но чтобы понять, почему именно эта операция оказалась настолько мощной, нужно сначала вспомнить, в какую стену уперлись нейросети старого поколения.
https://habr.com/ru/companies/timeweb/articles/1033070/
#скалярное_произведение #rnn #cnn #машинное_обучение #искусственный_интеллект #математика #матрицы #математика_для_программистов #трансформеры #timeweb_статьи

John Yoo — a well-known and, in some legal and political circles, infamous conservative lawyer — will assist a Justice Department investigation that has theorized a yearslong conspiracy against President Donald Trump and is looking at several former high-ranking federal officials.

Comedian and Trump critic Bill Maher on Sunday received the Mark Twain Prize for American Humor at the Kennedy Center for the Performing Arts, the Washington institution that is entangled in a legal battle over President Donald Trump’s effort to overhaul it.

Department of Homeland Security Secretary Markwayne Mullin defends ending Temporary Protected Status (TPS) for Haitians, saying the US can deport people to Haiti despite State Department warnings and lack of commercial flights due to violence.