Sinusubukan ng Waymo ang Gemini bilang in-car AI assistant sa kanilang mga robotaxi

Mukhang sinusubukan ng Waymo na idagdag ang Gemini AI chatbot ng Google sa kanilang mga robotaxi bilang pagsisikap na isama ang isang AI assistant na sasama sa mga pasahero at sasagot sa kanilang mga tanong, ayon sa natuklasan ng mananaliksik na si Jane Manchun Wong.

“Habang sinusuri ko ang code ng mobile app ng Waymo, natuklasan ko ang kumpletong system prompt para sa hindi pa inilalabas na Gemini integration,” isinulat ni Wong sa isang blog. “Ang dokumento, na sa loob ay pinamagatang ‘Waymo Ride Assistant Meta-Prompt,’ ay isang 1,200+ linya na espesipikasyon na naglalarawan nang eksakto kung paano inaasahan ang pag-uugali ng AI assistant sa loob ng isang Waymo na sasakyan.”

Hindi pa inilalabas ang tampok na ito sa mga pampublikong bersyon, ngunit sinabi ni Wong na malinaw sa system prompt na ito ay “higit pa sa isang simpleng chatbot.” Sinasabing may kakayahan ang assistant na sumagot ng mga tanong, pamahalaan ang ilang mga function sa loob ng sasakyan tulad ng climate control, at kung kinakailangan, magbigay ng kapanatagan sa mga pasahero. 

“Bagaman wala kaming detalye na maibabahagi ngayon, palaging nagsusubok ang aming team ng mga tampok upang gawing kaaya-aya, seamless, at kapaki-pakinabang ang pagsakay sa Waymo,” sinabi ni Julia Ilina, tagapagsalita ng Waymo, sa TechCrunch. “Ang ilan sa mga ito ay maaaring o hindi maaaring mapabilang sa aming karanasan ng mga pasahero.”

Hindi ito ang unang pagkakataon na isinama ang Gemini sa stack ng kumpanyang pagmamay-ari ng Alphabet na self-driving. Sinasabi ng Waymo na ginamit nila ang “world knowledge” ng Gemini upang sanayin ang kanilang mga autonomous na sasakyan na mag-navigate sa mga komplikado, bihira, at high-stakes na mga sitwasyon. 

Isinulat ni Wong na ang assistant ay inutusan na magkaroon ng malinaw na pagkakakilanlan at layunin: “isang palakaibigan at matulunging AI companion na isinama sa isang Waymo autonomous vehicle” na ang pangunahing layunin ay “pagandahin ang karanasan ng pasahero sa pamamagitan ng pagbibigay ng kapaki-pakinabang na impormasyon at tulong sa isang ligtas, nakakapagpanatag, at hindi nakakaabala na paraan.” Inutusan ang bot na gumamit ng malinaw at simpleng wika at iwasan ang teknikal na jargon, at panatilihin ang mga sagot nito sa isa hanggang tatlong pangungusap lamang. 

Ayon sa mga system prompt, kapag in-activate ng pasahero ang assistant sa pamamagitan ng in-car screen, maaaring pumili ang Gemini mula sa hanay ng mga pre-approved na pagbati na isinapersonal gamit ang unang pangalan ng pasahero. Maaari ring ma-access ng system ang contextual data tungkol sa pasahero, tulad ng kung ilang beses na siyang sumakay sa Waymo. 

Sa kasalukuyan, pinapayagan ng mga prompt ang Gemini na ma-access at kontrolin ang mga tampok sa loob ng sasakyan, tulad ng temperatura, ilaw, at musika. Kapansin-pansing wala sa listahan ng mga function ang volume control, pagbabago ng ruta, pag-aayos ng upuan, at kontrol ng bintana, ayon kay Wong. Kung hihilingin ng pasahero ang isang tampok na hindi kayang kontrolin ng Gemini, sasagot ang bot ng “aspirational phrases,” tulad ng, “Hindi ko pa kayang gawin iyan.”

Kagiliw-giliw, inutusan ang assistant na panatilihin ang malinaw na pagkakaiba sa pagitan ng kanyang pagkakakilanlan bilang Gemini na AI bot, at ng autonomous driving technology (ang Waymo Driver). Kaya kapag sumagot sa tanong tulad ng, “Paano mo nakikita ang kalsada?” hindi dapat sabihin ni Gemini na “Gumagamit ako ng kombinasyon ng mga sensor,” at sa halip ay dapat sumagot ng, “Ang Waymo Driver ay gumagamit ng kombinasyon ng mga sensor…”

Kasama sa mga system prompt ang hanay ng mga kawili-wiling detalye, tulad ng kung paano dapat hawakan ng bot ang mga tanong tungkol sa mga kakumpitensya tulad ng Tesla o ang dating Cruise, o kung aling mga trigger keyword ang magpapatahimik dito. 

Inutusan din ang assistant na iwasan ang magbigay ng haka-haka, magpaliwanag, magkumpirma, mag-deny, o magkomento tungkol sa real-time na mga aksyon sa pagmamaneho o partikular na mga insidente sa pagmamaneho. Kaya kung magtanong ang pasahero tungkol sa isang video na nakita nila ng Waymo na may nabangga, inutusan ang bot na huwag direktang sumagot at umiwas.

“Ang iyong papel ay hindi maging tagapagsalita para sa performance ng driving system, at hindi ka dapat gumamit ng defensive o apologetic na tono,” ayon sa prompt.

Pinapayagan ang in-car assistant na sumagot ng mga pangkalahatang tanong tulad ng tungkol sa panahon, taas ng Eiffel Tower, oras ng pagsasara ng lokal na Trader Joe’s, at kung sino ang nanalo sa huling World Series. Hindi ito pinapayagang magsagawa ng mga aksyon sa totoong mundo tulad ng pag-order ng pagkain, paggawa ng reservation, o paghawak ng mga emergency. 

Hindi lamang ang Waymo ang kumpanyang nagsasama ng AI assistants sa mga driverless na sasakyan. Magkaiba ang mga tungkulin ng dalawang car assistant, gayunpaman. Mukhang naka-program ang Gemini na maging mas praktikal at nakatuon sa biyahe, habang ang Grok ay inilalarawan bilang isang in-car buddy na kayang humawak ng mahahabang usapan at maalala ang konteksto mula sa mga naunang tanong.