Nowy pomysł Muska: Optimus może nauczyć się składać ubrania, oglądając filmy wideo

Tesla (TSLA.O) korzysta ze sprawdzonego schematu do szkolenia swojego humanoidalnego robota. Według osób zaznajomionych ze sprawą, producent samochodów elektrycznych poinformował pracowników pod koniec czerwca, że projekt Optimus będzie w większym stopniu koncentrował się na podejściu „czysto wizualnym”.

Wcześniej Tesla wykorzystywała kombinezony do przechwytywania ruchu oraz zestawy VR do rejestrowania danych operatorów ludzkich i zdalnego sterowania robotem. Obecnie firma będzie głównie szkolić robota poprzez nagrywanie wideo pracowników wykonujących zadania, na przykład ucząc go, jak podnosić przedmioty lub składać koszulki.

Według osób zaznajomionych ze sprawą, rezygnacja z kombinezonów do przechwytywania ruchu i zdalnego sterowania pozwoli zespołowi szybciej zwiększyć skalę zbierania danych.

Ta zmiana oznacza istotną korektę strategii robotycznej Tesli, zbliżając Optimusa do długo wyznawanej przez CEO Elona Muska idei, że sztuczna inteligencja może opanować złożone zadania wyłącznie za pomocą kamer. Tesla szkoliła w podobny sposób swoje oprogramowanie do autonomicznej jazdy.

Zmiana ta nastąpiła wkrótce po rezygnacji szefa projektu Optimus, Milana Kovaca. Według źródeł, projekt przejął szef AI Ashok Elluswamy.

Przechwytywanie ruchu i zdalne sterowanie to standardowa praktyka w branży robotyki. Na przykład wiodąca firma robotyczna Boston Dynamics wykorzystywała zdalne sterowanie do szkolenia swojego robota Atlas. Podczas szkolenia pracownicy zakładali kombinezony do przechwytywania ruchu i wykonywali różne zadania, a dane były następnie przekazywane robotowi. Kombinezony te mogą być także używane do zdalnego sterowania robotem.

Nie jest jeszcze jasne, czy Tesla w przyszłości ponownie nada priorytet przechwytywaniu ruchu i zdalnemu sterowaniu, czy też będzie rozwijać się dalej, wykorzystując dane wideo na bazie wcześniej zebranych informacji.

Robert Griffin, starszy naukowiec w Institute for Human and Machine Cognition, twierdzi, że duża ilość danych ze zdalnego sterowania pozwala robotom uczyć się poprzez fizyczną interakcję ze środowiskiem. Zaznacza, że poleganie wyłącznie na danych wideo utrudnia robotom dokładne przełożenie ruchów z nagrań na rzeczywistość.

„Jeśli korzystasz tylko z danych wideo, nie masz bezpośredniej fizycznej interakcji.” – mówi.

Składanie koszulek i podnoszenie przedmiotów

Musk po raz pierwszy ogłosił plany Tesli dotyczące rozwoju humanoidalnego robota o nazwie Optimus w 2021 roku. Ten miliarder stwierdził, że robot ostatecznie będzie w stanie wykonywać prace fabryczne oraz zadania opiekuńcze.

W zeszłym roku firma rekrutowała „operatorów zbierania danych”. Stanowiska te polegały na wykonywaniu i rejestrowaniu podstawowych prac domowych. W ogłoszeniach o pracę zaznaczono, że operatorzy muszą przez długi czas nosić kombinezony do przechwytywania ruchu i zestawy VR.

Jeszcze do końca czerwca projekt obejmował szkolenie Optimusa poprzez zdalne sterowanie i kombinezony do przechwytywania ruchu. Według źródeł, pracownicy spędzali dużo czasu na rozwiązywaniu problemów związanych z odzieżą i samym robotem, co ograniczało ilość zbieranych danych.

Od czasu zmiany metody szkolenia, pracownicy zaczęli rejestrować swoje ruchy za pomocą zestawu pięciu kamer własnej produkcji Tesli. Według źródeł, kamery te są zamontowane na kaskach i ciężkich plecakach noszonych przez pracowników, rejestrując obraz w różnych kierunkach i dostarczając modelom AI precyzyjnych danych o położeniu w środowisku.

Christian Hubicki, dyrektor laboratorium robotyki na wspólnym wydziale inżynierii Florida A&M University i Florida State University, uważa, że kamery z różnych perspektyw mogą pozwolić Tesli na uchwycenie subtelniejszych szczegółów – „na przykład położenia stawów i palców” – oraz lepsze pozycjonowanie robota. Dodaje, że te nagrania mogą również uzupełniać dane zebrane wcześniej przez zdalne sterowanie.

Podczas szkolenia pracownicy otrzymują konkretne instrukcje dotyczące zadań, zwłaszcza ruchów dłoni, aby zapewnić, że ruchy wyglądają jak najbardziej naturalnie. Jeden z pracowników stwierdził, że mogą spędzić miesiące na wielokrotnym wykonywaniu tego samego prostego zadania.

Jonathan Aitken, ekspert ds. robotyki z University of Sheffield, mówi, że Tesla prawdopodobnie będzie musiała znaleźć sposób, aby Optimus uczył się różnych zadań poprzez pewne uogólnione ruchy.

„Na taką skalę muszą mieć zestaw uniwersalnych ruchów, w przeciwnym razie szkolenie wszystkich zadań zajmie bardzo dużo czasu.” – mówi Aitken.

Dodaje, że Tesla może przyjąć strategię podobną do firmy Physical Intelligence, która uczy roboty przenośnych umiejętności poprzez wprowadzanie dużej ilości danych demonstracyjnych, pozwalając im elastycznie stosować te umiejętności zamiast zapamiętywać pojedyncze zadania.

„Bardzo teslowski sposób rozwoju robotyki”

Ta nowa strategia jest zgodna z metodą, jaką Tesla szkoli swoje oprogramowanie do autonomicznej jazdy. Inne firmy z branży autonomicznej jazdy wykorzystują czujniki takie jak lidar i radar fal milimetrowych do szkolenia oprogramowania, podczas gdy Tesla polega głównie na kamerach.

Firma zbiera dane z milionów samochodów Tesla wyposażonych w 8 do 9 kamer. Musk powiedział, że Tesla uruchomiła oprogramowanie wspomagające jazdę w Chinach po przeszkoleniu systemu AI na podstawie publicznie dostępnych nagrań azjatyckich ulic.

Podczas telekonferencji wynikowej w styczniu tego roku Musk przyznał, że „wymagania szkoleniowe dla humanoidalnego robota Optimus mogą ostatecznie być co najmniej 10 razy większe niż dla samochodów.”

„To bardzo teslowski sposób rozwoju robotyki. Żadna inna firma nie próbuje robić tego na taką skalę.” – mówi Aitken. „Potrzebują tak ogromnej ilości danych, jak przy szkoleniu samochodów.”

Alan Fern, ekspert AI i robotyki z Oregon State University, twierdzi, że szkolenie Optimusa jest dla Tesli nawet trudniejsze niż rozwój autonomicznych samochodów.

„Prowadzenie pojazdu to tylko jedno zadanie.” – mówi. Poleganie głównie na nauce z wideo „wymaga, aby robot zarówno rozumiał, co się dzieje na nagraniu, jak i posiadał umiejętności wykonania zadania. Niektórych rzeczy można nauczyć się przez obserwację, ale inne wymagają ćwiczeń w symulatorze lub w rzeczywistości.”