Rрупномасштабная платформа моделирования для обучения роботов на повседневных задачах

Robocasa - это моделирование для обучения агентов -роботов.Кредиты изображений: Юк Чжу и Соруш Насириани.

Производительность инструментов искусственного интеллекта (ИИ), включая крупные вычислительные модели для обработки естественного языка (NLP) и алгоритмы компьютерного зрения, быстро улучшалось за последние десятилетия.Одна из причин этого заключается в том, что наборы данных для обучения этих алгоритмов экспоненциально выращивались, собирая сотни тысяч изображений и текстов, часто собираемых из Интернета.

С другой стороны, данные обучения для алгоритмов контроля и планирования роботов остаются гораздо менее распространенными, отчасти потому, что его приобретение не так просты.Таким образом, некоторые компьютерные ученые пытаются создать более крупные наборы данных и платформы, которые можно использовать для обучения вычислительных моделей для широкого спектра приложений для робототехники.

В недавней статье, предварительно опубликованной на сервере Arxiv и представленной на конференции Robotics: Science and Systems 2024, исследователи из Техасского университета в Остине и Nvidia Research представили одну из этих платформ под названием Robocasa.

Robocasa-это масштабная структура моделирования, которую можно использовать для обучения генеральных роботов для выполнения различных задач в повседневных условиях.

«Недавний прогресс в области ИИ был в значительной степени способен обучением крупных моделей по массовым источникам данных», - сказал Tech Xplore Yuke Zhu, ведущий автор документа.

«Вдохновленные этими достижениями, мы стремимся разработать модели фундамента для общепринятых роботов, которые могут выполнять различные повседневные задачи. Robocasa предназначена для предоставления высококачественных данных имитации, необходимых для обучения таких моделей фонда робототехники».

Основная цель недавней работы Чжу, Сорууш Насириани, Абхирама Маддукури, Ланса Чжана, Адита Париха, Аарона Л.О., Абхишека Джоши и Аджая Мандлекара, состояла в том, чтобы разработать новую платформу моделирования с открытым исходным кодом, которая облегчила бы обучение робототех-алгоритм.

В конечном итоге их усилия привели к разработке Robocasa, которая является продолжением Robosuite, моделирования, которую они представили несколько лет назад.Robosuite служит инфраструктурой моделирования, которую команда использовала для создания моделируемых сред.

«Мы использовали генеративные инструменты искусственного интеллекта для создания разнообразных объектных активов, сцен и задач», - пояснил Чжу.«Эти инструменты искусственного интеллекта значительно улучшили разнообразие и реализм моделируемого мира. Кроме того, Robocasa поддерживает различные аппаратные платформы робота и предоставляет большие наборы данных с более чем 100 тысячами траекторий для обучения модели».

Платформа Robocasa включает в себя тысячи трехмерных сцен, содержащих более 150 различных типов повседневных предметов и десятков мебельных предметов и электрических приборов.Robocasa имеет высоко реалистичные симуляции, которые были обогащены с использованием генеративных инструментов ИИ.

Чжу и его коллеги разработали 100 задач, которые алгоритмы робототехники могут быть обучены и составлены высококачественными человеческими демонстрациями для этих задач.Их платформа также включает в себя методы для получения эффективных траекторий и движений, которые позволят роботам выполнять эти задачи.

«Два ключевых вывода взволновали меня больше всего», - сказал Чжу.«Во-первых, мы продемонстрировали тенденцию масштабирования: поскольку мы увеличиваем размер (сгенерированных машинными) обучающими наборами, производительность модели неуклонно росла. Во-вторых, комбинируя данные моделирования с реальными данными, мы обнаружили, что дополненный набор данных усилилВыступление робота в реальных задачах “.

В первоначальных экспериментах новая платформа моделирования оказалась ценным ресурсом для создания синтетических учебных данных, которые затем можно использовать для обучения алгоритмам имитации обучения.В целом, это исследование демонстрирует, что данные моделирования могут быть высокоэффективными при обучении моделей искусственного интеллекта для приложений для робототехники.

В будущем другие команды могут экспериментировать с Robocasa, которая является открытым исходным кодом и, таким образом, можно легко получить на GitHub.Между тем, Чжу и его коллеги планируют продолжать расширять и улучшать свою платформу, чтобы облегчить его широкое использование в сообществе робототехники.

«Во-первых, мы стремимся включить более продвинутые генеративные методы ИИ для дальнейшего расширения наших моделирования, захватывая разнообразие и богатство, ориентированные на человека среды, от домов и фабрик до офисов»,-добавил Чжу.

«Во -вторых, мы планируем разработать лучшие алгоритмы для использования данных моделирования для создания систем робототехники, которые являются более надежными и обобщенными в реальном мире».

More information: Soroush Nasiriany et al, RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots, arXiv (2024). DOI: 10.48550/arxiv.2406.02523