Szybszy od nauczyciela. System SAIL sprawi, że roboty w końcu przestaną się ślamazarzyć

Jeśli kiedykolwiek widzieliście robota składającego ręczniki lub parzącego kawę, prawdopodobnie uderzyła was jedna rzecz: bolesna powolność.

Dotychczasowy standard nauki maszyn – tzw. Imitation Learning (uczenie przez naśladownictwo) – miał bowiem twardy szklany sufit. Robot mógł być co najwyżej tak szybki, jak człowiek, który pokazywał mu daną czynność.

Naukowcy z Georgia Tech właśnie rozbili ten sufit systemem SAIL (Speed Adaptation for Imitation Learning). Efekt? Robot, który uczy się od ciebie, ale wykonuje zadanie nawet 3-4 razy szybciej.

Przełamanie bariery demonstracji

Tradycyjne klonowanie zachowań jako metoda uczenia robotów polega na tym, że człowiek (za pomocą sensorów lub kamer) pokazuje robotowi, jak np. układać owoce na talerzu. Problem w tym, że przy próbie przyspieszenia tego ruchu, roboty zazwyczaj traciły koordynację, wpadały w wibracje lub po prostu psuły otoczenie. Fizyka przy wyższych prędkościach działa inaczej, a standardowe AI nie potrafiło „przeskalować” dynamiki ruchu.

System SAIL rozwiązuje to modułowo:

  • Wygładzanie ruchu: algorytm dba o to, by przy dużych prędkościach ramiona robota nie szarpały.
  • Harmonogramowanie akcji: system kompensuje opóźnienia sprzętowe (latency), wiedząc, że sygnał musi dotrzeć do serwomechanizmu z wyprzedzeniem.
  • Dynamiczna adaptacja: robot „wie”, kiedy może docisnąć gaz, a kiedy – jak przy wycieraniu tablicy – musi zwolnić, by zachować kontakt z powierzchnią i wymaganą skuteczność działania.

Wyniki, które robią wrażenie

W testach laboratoryjnych system SAIL pozwolił ramionom robotycznym na wykonanie zadań w świecie rzeczywistym 3,2 raza szybciej niż ich ludzkim instruktorom. W symulacjach ten wynik skakał nawet do 4-krotnego przebicia.

Co ważne, roboty nie traciły przy tym na precyzji. Składały ubrania, pakowały żywność i układały kubki z wystarczającą dokładnością, ale w tempie, którego żaden człowiek nie byłby w stanie utrzymać przez ośmiogodzinną zmianę, a robot zmian nie potrzebuje.

Terminator? Nie, raczej „Ręcznikator”

Tu pojawia się druga strona medalu, którą Malcolm Azania z New Atlas nazywa wprost „robotyczną apokalipsą miejsc pracy”. Według prognoz McKinsey, do 2030 roku automatyzacja może pochłonąć od 400 do 800 milionów etatów.

Twórca Roomby chce, żebyś pokochał robota. Poznaj „Familiara” – futrzastego towarzysza z AI

System SAIL sprawia, że roboty przestają być „ciekawostką z laboratorium”, a stają się realną alternatywą dla pracowników w szpitalach, domach opieki czy restauracjach. Jeśli robot potrafi składać prześcieradła cztery razy szybciej od personelu i nie potrzebuje przerwy na kawę, rachunek ekonomiczny dla właściciela placówki staje się brutalnie prosty. Z drugiej strony patrząc na poniższe wideo opublikowane przez twórców systemu SAIL, wydaje nam się, że od laboratoryjnych osiągnięć do sukcesu komercyjnego (i zastąpienia ludzi) jeszcze trochę brakuje, sami zobaczcie:

#AI #automatyzacja #GeorgiaTech #iMagazineTech #ImitationLearning #robotyka #rynekPracy #SAIL #technologia

So many gems in this interview, just little spoiler:

#DwarkeshPatel Next token prediction!

#RichardSutton That’s not a goal. It doesn’t change the world…

https://youtu.be/21EYKqUsPfg

ps: My goal now is aging with such clarity thinking, and relaxed dialectical teaching!!!

#TheBitterLesson #RL #ML #LLMs #ImitationLearning #GoalDrivenExperience

Richard Sutton – Father of RL thinks LLMs are a dead end

YouTube
How a big shift in training LLMs led to a capability explosion https://arstechni.ca/FerG #reinforcementlearning #imitationlearning #explainers #Features #AI
How a big shift in training LLMs led to a capability explosion

Reinforcement learning, explained with a minimum of math and jargon.

Ars Technica
Nvdia und Stanford erfinden Cross-Episodic Curriculum - KiNews24.de

Nvdia und Stanford erfinden Cross-Episodic Curriculum: Forscher von Stanford, NVIDIA und der University of Texas stellen mit Cross-Episodic Curriculum (CEC) einen neuen KI-Algorithmus vor, der das Lernen und die Generalisierungsfähigkeit von Transformer-Agenten steigert.

KI NEWS24
Imitation learning is a powerful approach for training agents in sparse reward environments. By giving the agent a role model to learn from, we can help it to avoid making costly mistakes. But be careful not to be too perfect! The agent needs to learn to recover from its own mistakes. #ai #imitationlearning #reinforcementlearning #machinelearning
A bot that watched 70,000 hours of Minecraft could unlock AI’s next big thing

Online videos are a vast and untapped source of training data—and OpenAI says it has a new way to use it.

MIT Technology Review

OpenAI makes #imitationlearning breakthrough, creating the best #Minecraft bot yet by making it watch 70,000 hours of video of people playing the game.
#ai #technology

https://www.technologyreview.com/2022/11/25/1063707/ai-minecraft-video-unlock-next-big-thing-openai-imitation-learning/

A bot that watched 70,000 hours of Minecraft could unlock AI’s next big thing

Online videos are a vast and untapped source of training data—and OpenAI says it has a new way to use it.

MIT Technology Review