Google DeepMind создала самообучающегося RoboCat

В Google DeepMind исследователи недавно объединили искусственный интеллект с роботом по имени RoboCat, и, хотя он еще не правит Интернетом, ожидается, что он совершит большой скачок в будущий мир самообучающихся автоматов.

DeepMind

Используя ту же технологию, что и большие языковые модели, команда DeepMind, состоящая из более чем 30 исследователей, заявила, что совершила прорыв с RoboCat, который не только быстро изучает новые задачи, но и может повысить свою производительность, создавая собственные данные о производительности.

«RoboCat имеет добродетельный цикл обучения», — говорится в статье DeepMind, опубликованной на сервере препринтов arXiv. «Чем больше новых задач он изучает, тем лучше он усваивает дополнительные новые задачи».

До сих пор роботы, как правило, выполняли конкретные, заранее запрограммированные задачи. С введением больших языковых моделей наборы навыков роботов начали расширяться, хотя обучение на огромных объемах данных требовало огромного количества времени.

🔗 YouTube видео

Robocat, однако, может быстро освоить новые задачи, такие как установка кусочков головоломки различной формы в соответствующие отверстия или размещение фруктов в миске. Затем он смог прогрессировать и выполнять более сложные задачи «на основе набора данных из миллионов траекторий» из предыдущих задач и новых самостоятельно генерируемых данных.

«Эти улучшения были связаны с растущим опытом RoboCat, подобно тому, как люди развивают более разнообразный спектр навыков по мере углубления своего обучения в данной области», — говорят исследователи.

По мере того, как RoboCat совершенствовал свою технику, его новое изученное поведение было перенесено на других роботов, которые, в свою очередь, основывались на этих навыках.

Робот точно настроил свою производительность на 100-1 демонстрациях с помощью управляемой человеком роботизированной руки. Затем побочные модели обучались на конкретных задачах, и эти данные вносились в общий пул инструкций.

В то время как RoboCat изначально достиг 36% успеха в решении задач, которые он ранее не изучал, со временем он улучшил свою производительность. Благодаря самообучению его успешность удвоилась.

«RoboCat обучается намного быстрее, чем другие современные модели», — говорят исследователи DeepMind. «Он может выбрать новую задачу всего за 100 демонстраций, потому что он опирается на большой и разнообразный набор данных».

Разработка рассматривается как важный шаг на пути к ускорению исследований в области робототехники, «поскольку она снижает потребность в обучении под наблюдением человека и является важным шагом на пути к созданию робота общего назначения».

Смогут ли такие роботы в конечном итоге обойтись без необходимости вмешательства человека?

Этот вопрос был затронут 100 лет назад в пьесе 1921 года «R.U.R.: Универсальные роботы Россума», рассказе чешского писателя Карела Чапека.

В пьесе была представлена фабрика, которая создавала синтетических гуманоидов, которые работали непрерывно и в конечном итоге сократили затраты на рабочую силу на 80%. Слово «робот» впервые было использовано в этой пьесе после чешского слова «robota», что означало «принудительный труд крепостных».

В конце концов, роботы взбунтовались и уничтожили человечество.

Мы можем надеяться, что RoboCats будут более дружелюбными.

Хотя мы также должны помнить, что однажды сказал юморист Уилл Роджерс: «Выпустить кота из мешка намного проще, чем положить его обратно».

Подробнее: Konstantinos Bousmalis et al, RoboCat: A Self-Improving Foundation Agent for Robotic Manipulation, arXiv (2023). DOI: 10.48550/arxiv.2306.11706 🔗

DeepMind: https://www.deepmind.com/blog/robocat-a-self-improving-robotic-agent 🔗