4 мин. чтения
5/27/2023 12:00:00 PM

Программный пакет для упрощения использования полей нейронного излучения в исследованиях робототехники

Featured Image (Слева) Рендеринг с NeRF, который создается с помощью квадрокоптера, оснащенного камерой, и NerfBridge в разное время. (Справа) Реконструкция глубины из того же NeRF, показывающая точную реконструкцию геометрии сцены. Фото: Ю и др.

Нейронные поля излучения (NeRF) — это передовые методы машинного обучения, которые могут генерировать трехмерные (3D) представления объектов или сред из двумерных (2D) изображений. Поскольку эти методы могут реалистично и детально моделировать сложные реальные среды, они могут значительно поддержать исследования в области робототехники.

Однако большинство существующих наборов данных и платформ для обучения NeRF предназначены для использования в автономном режиме, поскольку они требуют завершения этапа оптимизации позы, что значительно задерживает создание фотореалистичных представлений. Это до сих пор не позволяло большинству робототехников использовать эти методы для тестирования своих алгоритмов на физических роботах в режиме реального времени.

Исследовательская группа из Стэнфордского университета недавно представила NerfBridge, новый программный пакет с открытым исходным кодом для обучения алгоритмов NeRF, который в конечном итоге может позволить их использовать в онлайн-экспериментах по робототехнике. Этот пакет, представленный в статье, предварительно опубликованной на arXiv, предназначен для эффективного соединения ROS (операционная система робота), известной программной библиотеки для приложений робототехники, и Nerfstudio. библиотека с открытым исходным кодом, предназначенная для обучения NeRF в режиме реального времени.

«Недавно члены моей лаборатории, Стэнфордской лаборатории мультироботизированных систем, были взволнованы изучением применения нейронных полей излучения (NeRF) в робототехнике, но мы обнаружили, что сейчас нет простого способа использовать эти методы с реальным роботом, поэтому с ними невозможно провести какие-либо реальные эксперименты», — говорит Хавьер Ю, первый автор статьи. рассказал Tech Xplore. «Поскольку инструментов не существовало, мы решили создать их сами, и из этого инженерного толчка, чтобы увидеть, как NeRF работают на роботах, мы получили хороший инструмент, который, как мы думаем, будет полезен многим людям в сообществе робототехники».

YouTube 🔗

NeRF — это сложные методы, основанные на искусственных нейронных сетях, которые были впервые представлены исследовательским сообществом компьютерной графики. По сути, они создают подробные карты мира, обучая нейронную сеть реконструировать 3D-геометрию и цвет сцены, запечатленной на фотографии или 2D-изображении.

«Проблема картографирования по изображениям — это то, над чем мы в сообществе робототехники работаем в течение длительного времени, и NeRF предлагают новый взгляд на то, как к ней подойти», — пояснил Юй. «Как правило, NeRF обучаются в автономном режиме, где все изображения собираются заранее, а затем NeRF сцены обучаются все сразу. Однако в робототехнике мы хотим использовать NeRF непосредственно для таких задач, как навигация, и поэтому NeRF бесполезен, если мы получаем его только по прибытии в пункт назначения. Вместо этого мы хотим создавать NeRF постепенно (онлайн) по мере того, как робот исследует окружающую среду. Это именно та проблема, которую решает NerfBridge».

NerfBridge, пакет, представленный Ю и его коллегами, использует изображения, снятые датчиками и камерами, встроенными в физических роботов. Эти изображения непрерывно передаются в мощную учебную библиотеку NeRF от Nerfstudio, что позволяет создавать NeRF, которые постоянно обновляются и совершенствуются по мере того, как робот захватывает новые изображения своего окружения.

 Image Визуализация того, как NerfBridge интегрируется с роботизированными системами и NerfStudio. Изображения транслируются с робота, а позы камер оцениваются в режиме реального времени. Затем поставленные изображения передаются в NerfBridge, который, в свою очередь, вставляет их в набор обучающих данных для экземпляра NerfStudio. Фото: Ю и др

Чтобы продемонстрировать потенциал своего метода, Ю и его коллеги использовали его для обучения NeRF на основе изображений, снятых камерой, установленной на квадрокоптере, беспилотном летательном аппарате с четырьмя роторами, когда он летал как в помещении, так и на открытом воздухе. Их результаты были замечательными, подчеркивая ценность NerfBridge для облегчения использования NeRF в исследованиях робототехники.

Таким образом, этот многообещающий метод вскоре может быть использован другими исследователями для обучения NERF и тестирования их алгоритмов на физических роботах, когда они ориентируются в окружающей среде. Между тем, Ю и его коллеги планируют изучить дополнительные стратегии, которые могли бы расширить использование NeRF в робототехнике.

«В конечном счете, мы надеемся, что NerfBridge снизит входной барьер для других исследователей, чтобы начать изучать применение NeRF в робототехнике и тестировать свои новые алгоритмы на роботах в реальном мире», — добавил Юй. «Двигаясь вперед от NerfBridge, мы собираемся изучить методы улучшения обучения NeRF, когда изображения поступают от робота, и продемонстрировать конкретные преимущества использования карт на основе NeRF для других задач в робототехнике, таких как локализация и навигация».

Оригинал статьи: Javier Yu et al, NerfBridge: Bringing Real-time, Online Neural Radiance Field Training to Robotics, arXiv (2023). DOI: 10.48550/arxiv.2305.09761 🔗

Получи бесплатную еженедельную рассылку со ссылками на репозитории и лонгриды самых интересных историй о стартапах 🚀, AI технологиях 👩‍💻 и программировании 💻!
Присоединяйся к тысячам читателей для получения одного еженедельного письма

Подписывайся на нас:

Нашли ошибку в тексте? Напишите нам.

Добавляй ЛРНЧ в свою ленту Google Новостей.
Читайте далее 📖

Новая методика помогает пользователю понять, почему робот вышел из строя, а затем настроить его для выполнения задачи

7/20/2023 · 4 мин. чтения

Новая методика помогает пользователю понять, почему робот вышел из строя, а затем настроить его для выполнения задачи

ChatGPT создал своего первого робота

6/8/2023 · 4 мин. чтения

ChatGPT создал своего первого робота