Q&A: как видео помогает обучать «мозги» роботов для physical AI

Хотя многие компании используют для обучения видео с YouTube, соосновательница стартапа Anaxi Labs Кейт Шен смотрит в другую сторону.

Роботы вполне могут стать следующей технологической возможностью на триллион долларов — во многом благодаря ИИ. Неудивительно, что это вызвало гонку среди робототехнических компаний, которые стремятся создавать промышленных и гуманоидных роботов, чтобы помогать людям или заменять их.

А чтобы эти устройства лучше ориентировались в реальном мире, «мозги» роботов подпитывают видео с YouTube. Идея в том, чтобы помочь им понять среду, в которой они будут работать, и ускорить развитие physical AI.

Кейт Шен, соосновательница стартапа Anaxi Labs, выбрала другой подход к обучению робототехнических моделей. Она собирает и предоставляет видео с людьми, выполняющими задачи, а затем делится ими с разработчиками робототехники.

По ее словам, видео в человеческом масштабе критически важно для обучения роботов, потому что оно точнее отражает, как роботы должны выполнять задачи в зависимости от обстоятельств вокруг них. В более широком смысле этот подход также может дать более четкую дорожную карту для physical AI.

С учетом этого Computerworld недавно поговорил с Шен о проектах Anaxi Labs в области physical AI и о том, чем они отличаются от того, что делают другие компании.

Расскажите о вашей компании и почему вы ее основали. «Это во многом стартап из [Carnegie Mellon University]. Мы создали компанию, когда поняли, что в AI-разработке [large language models] (LLM) все знают, что на инфраструктурном уровне есть две вещи — чипы и данные. То же самое происходило и в робототехнике, по мере перехода от цифрового к физическому ИИ.

«Но на этот раз все уже понимают сложность, все уже используют инфраструктуру. А вот с данными нам приходится строить инфраструктуру с нуля, потому что, в отличие от LLM, обучающие данные для роботов не могут быть взяты из интернета.

«Мы поняли, что это рано или поздно станет барьером, и превратится в огромную, огромную индустрию. Так мы и основали компанию».

Разве данные для physical AI в основном не собираются с YouTube? Что вы делаете иначе? «Вы упомянули два подхода: использовать видео с YouTube и использовать симуляцию. И, к сожалению, тогда выбрали именно эти два пути из-за отсутствия лучших вариантов. Объем данных, нужный для обучения physical AI, намного превышает то, что есть в интернете, и для каждого сценария нужны физические взаимодействия много, много раз — больше, чем можно найти на YouTube.

«Мы поняли, общаясь почти со всеми игроками отрасли с прошлого года, что идет сдвиг в сторону egocentric, то есть основанных на человеке тренировочных видео и данных. Мы начали активно инвестировать в создание world-scale data pipeline. Мы начали работать с промышленно насыщенными регионами, где обычно есть бизнес, охватывающий несколько сценариев — например, строительство, логистику и особенно заводские цеха.

«А второй поток — это возможность использовать community model и подключиться к мировому пулу людей и потребителей, которые хотят загружать видео для обучающих целей. Этим летом мы запускаем наше приложение для сбора и разметки данных».

Что именно вы пытаетесь собирать из видео? «Данные, которые мы собираем, — это просто та задача, которую наши клиенты хотят поручить своим роботам: egocentric view, по сути, когда в видео две руки делают одно и то же — сортируют посылки, и на них сканируют штрихкод. В целом есть около 20 общих шагов, которые чаще всего встречаются на промышленных фабричных линиях, и мы работаем со всеми ними. Все чаще мы видим бытовые сценарии, например уборку кухни или спальни.

«Чтобы модели могли понимать видео, второе по важности — это разметка. В самом начале им были нужны только segmentation, captioning и contact point.

«Но теперь, чтобы робот действительно понимал, как и почему происходит сцена, от них все чаще требуют captioning в формате почти как chain of thought.

«Например, робот видит тапочек. И дальше мы определяем, что произошло, после чего нужно сильнее сжать захват. И это результат».

Как вы оцениваете physical AI и как он влияет на рабочие места? «Есть два аспекта: безопасность и влияние на рынок труда. По сравнению с LLM, в ранние дни LLM все просто брали как можно больше данных из интернета. Но в physical AI, когда оформляют заказ, есть отдельная категория под названием failure и recovery cases — то есть что делать, если что-то пошло не так, как должен действовать робот в каждом сценарии. Это огромное отличие от дней LLM. Безусловно, все компании в сфере physical AI это осознали и закладывают в модель с самого начала.

«[Что касается рабочих мест,] сейчас, по крайней мере на этом этапе, мы видим в основном плюсы. Есть много небольших робототехнических компаний, которые хорошо зарабатывают, работая с компаниями, затронутыми нехваткой рабочей силы. Мы видим спрос со стороны заводов, которые страдают от дефицита персонала, и со стороны заводов, которым трудно нанимать людей, потому что их задачи слишком опасны».

Материал — перевод статьи с английского.

Оригинал: Q&A: How video helps build robot brains for physical AI