Полностью автономная система беспилотников для кинематографии и мониторинга дикой природы

Cinempc в действии.На этом рисунке изображены два эксперимента, в которых Cinempc управляет как внутренней камерой, так и внешней внешней, в инструкции пользователей.Первый ряд демонстрирует первоначальный эксперимент, где Cinempc управляет как внутренней, так и внешней, чтобы захватить цель (стул), придерживаясь правила третей и поддерживая фокус.Во втором ряду две кадры из второго эксперимента демонстрируют запись двух целей (автомобиль и бутылка), отвечающие различным требованиям для фокуса изображения (первоначально сосредоточенное на бутылке, а затем на автомобиле) и расположение целей на изображении (размещениеих в соответствии с правилом третей).Дрон остается неподвижным на протяжении всего выполнения этого эксперимента.Таким образом, все изменения в записи выполняются посредством манипуляции с фокусным расстоянием и расстоянием фокусировки камеры, ее внутренней.Кредит: Pueyo et al.

Недавние технологические достижения, такие как все более сложные беспилотники и камеры, открыли захватывающие новые возможности для кинематографии.В частности, режиссеры теперь могут снимать сцены с широкого спектра углов, которые ранее были недоступны и в гораздо более высоком разрешении.

Исследователи из Университета Зарагосы и Стэнфордского университета недавно разработали Cinempc, новую кинематографическую систему, которая опирается на полностью автономный беспилотник, который несет кинематографическую камеру для снятия нескольких целей автономно, следуя инструкциям режиссера.Платформа модулирует различные параметры беспилотников и камеры, чтобы удовлетворить эти инструкции.Инновационная система команды, изложенная в IEEE Transactions по робототехнике, может принести волну инноваций в киноиндустрии и других секторов, которые могут извлечь выгоду из высококачественных видеозаписей.

«Существующие решения для автономной кинематографии дронов выявили общий надзор, а именно: ни один не обеспечил автоматический контроль над внутренними параметрами камеры (то есть фокусное расстояние, апертуру, расстояние фокусировки)»,-сказал Pablo Pueyo Ramon, соавтор бумаги, Tech Xplore.

«В кинематографии контроль над этими параметрами необходим для достижения различных художественных и технических целей, таких как желаемая глубина поля (части сцены, показанные в фокусе или размытоЭтот пробел, определяющий автономную часть соответствующей внутренней камеры, способной достичь широкого спектра пользовательских кинематографических инструкций ».

Пууйо и его коллеги уже некоторое время разрабатывают инновационные технологии для кинематографии.Новая система, которую они разработали, получили название Cinempc, впервые была представлена в 2021 году.

Cinempc по сути состоит из программного обеспечения, которое может быть установлено в любом дроне, оснащенном контролируемой профессиональной камерой (например, камеры DSLR).В рамках своего недавнего исследования исследователи расширили функциональные возможности своего программного обеспечения и решили оценить его производительность в реальной обстановке.

«Помимо включения лучшей и более продвинутой стратегии управления, новая версия Cinempc также включает в себя модуль восприятия, способный выявлять соответствующую информацию со сцены, как актеры и актрисы, что делает его 100% автономным контрольным решением», - пояснил Пуэйо.«Наконец, мы теперь выпускаем исходный код, чтобы каждый мог его использовать».

Пуэйо и его коллеги проверили улучшенную версию Cinempc, применив ее к настоящему дрону для кинематографии и снимая с ним различные сцены.Они обнаружили, что их программное обеспечение достигло замечательных результатов, надежно оценивая относительные позы снятых целей и позволяя пользователям больший контроль над кадрами, снятыми беспилотником, например, добавляя уникальные эффекты, отслеживая конкретные люди или объекты и так далее.

«По нашему мнению, последствия нашего исследования только для кинематографии замечательны», - сказал Пуэйо.«Мы очень рады предложить творческую свободу кинематографистов, повысить безопасность и повышенную автономию для принятия решений в реальном времени».

Обновленную версию CINEMPC уже можно легко получить доступными для разработчиков кинематографистов и режиссеров в Интернете.Следовательно, он может быть вскоре использоваться для улучшения использования беспилотников для съемки фильмов, коротких фильмов и документальных фильмов.

CineMPC также может оказаться полезным для различных других приложений, например, позволил бы ученым-эколокам и исследователям внимательно следить за дикой природой и природной средой издалека и не нарушая их, контролируя масштаб камер, оснащенные беспилотниками.Кроме того, это также может быть многообещающим инструментом для точного сельского хозяйства, так как он позволяет как контроль больших полей на расстоянии, так и тщательно осмотреть конкретные растения.

«В настоящее время мы работаем над разработкой передовых методов ИИ, чтобы упростить взаимодействие с Cinempc, стремясь демократизировать использование автономных беспилотников», - добавил Пуэйо.«Вместо того, чтобы полагаться на инструкции ввода вручную, мы планируем разработать удобные интерфейсы и интуитивные элементы управления.

«Например, мы только что опубликовали еще одну статью, в которой инструкции по беспилотнику определяются последовательности видео, например, небольшим разрезом вашего любимого фильма. Наше решение идентифицирует необходимую информацию для управления дроном и камеройВоспроизведите его, и Cinempc выполняет его ».

Больше информации: Pablo Pueyo et al., Cinempc: полностью автономная система кинематографии беспилотников, включающая зум, фокусировку, позу и состав сцены, транзакции IEEE на робототехнике (2024).Doi: 10.1109/tro.2024.3353550

Pablo Pueyo et al., Cinteransfer: контроль робота для имитации кинематографического стиля из одного примера, 2023 IEEE/RSJ Международная конференция по интеллектуальным роботам и системам (IROS) (2023).Doi: 10.1109/iros555552.2023.10342280