Команда профессора Стэнфордского университета и исследовательницы в области искусственного интеллекта Фэй-Фэй Ли представила систему T-Rex, которая обеспечивает роботам высокочастотную тактильную обратную связь. Благодаря этому машины могут выполнять деликатные задачи, такие как перелистывание страниц книги или сдавливание тюбика зубной пасты. Исследователи считают, что сочетание зрения и осязания станет следующим этапом развития воплощенного ИИ (Embodied AI), сообщает BigGo Finance.

В рамках исследования, опубликованного в arXiv, роботы успешно перелистывали страницы книг, переносили яйца, сжимали тюбики зубной пасты, разъединяли сложенные чашки, открывали замки, извлекали карточки, вкручивали лампочки и даже распознавали плитки маджонга на ощупь. Всего система тестировалась на 12 различных задачах.

По результатам испытаний T-Rex достиг среднего показателя успешности 65%, что на 30 процентных пунктов превысило лучшую базовую модель EgoScale. Лучшие результаты система продемонстрировала при перелистывании страниц книги — 96%, разделении поставленных одна на другую чашек — 78%, реакциях нейтрализации — 76% и переносе яиц — 75%.

[see_also ids="691310"]

Для обучения исследователи собрали около 100 часов данных о взаимодействии роботов с предметами. База охватила 207 повседневных объектов и 22 базовых типа действий, в частности захват, складывание, нажатие, протирание, резка и очистка.

Основой системы стал двурукий робот Dexmate Vega-1 с двумя роботизированными руками Sharpa Wave, каждая из которых имеет 22 степени свободы и оснащена пятью тактильными датчиками на кончиках пальцев. Для визуального восприятия использовали стереокамеру ZED X Mini и две камеры, установленные на запястьях.

Авторы исследования отмечают, что традиционные модели, сочетающие только зрение, речь и действия, недостаточно эффективны для работы с физическим контактом. Причина заключается в том, что при взаимодействии с объектом робот должен реагировать значительно быстрее, чем позволяет обработка изображений.

[see_also ids="690694"]

В T-Rex эти процессы работают с разной скоростью. Высокоуровневая система зрения и планирования работает с частотой 30 Гц и определяет, что нужно сделать, тогда как тактильная система функционирует на частоте 300 Гц и мгновенно корректирует силу нажатия и положение пальцев в случае скольжения предмета.

Исследователи подчеркивают, что именно осязание позволяет роботам определять изменения, которые практически невозможно оценить только с помощью камер. Это особенно важно при работе с хрупкими или мелкими предметами, когда необходимо контролировать силу нажатия и момент контакта.

Работа продолжает многолетние исследования Фэй-Фэй Ли в области так называемого пространственного интеллекта. Если база данных ImageNet в свое время научила системы ИИ распознавать объекты на изображениях, то нынешние исследования направлены на то, чтобы научить машины понимать пространство, физическое взаимодействие и последствия собственных действий.

[see_also ids="689096"]

По мнению исследователей, будущее робототехники зависит от сочетания нескольких типов восприятия. Камеры помогают определить расположение объектов, симуляторы позволяют отрабатывать сценарии взаимодействия, а тактильные сенсоры обеспечивают быструю реакцию после физического контакта. Исследователи считают, что следующий этап развития воплощенного ИИ заключается в способности машин ощущать физический мир.

Современные производители роботов уже движутся в этом направлении. Подобные системы используют гуманоидные роботы Figure Helix 02, Unitree G1 и AgiBot Lingxi X2, которые сочетают камеры, LiDAR, датчики силы и тактильные датчики для более точной работы в реальной среде.

В статье «ИИ-роботы и стакан воды на старость» Роман Яненко анализирует переход искусственного интеллекта из виртуальной среды в физический мир благодаря развитию робототехники. Автор отмечает, что сочетание языковых моделей и мультимодальных систем с гуманоидными платформами позволяет машинам выполнять сложные бытовые, промышленные и связанные с безопасностью задачи.