4 мин. чтения
5/26/2023 10:00:00 AM

AI генерирует видео из активности мозга

Featured Image Декодирование мозга и реконструкция видео. Мы предлагаем прогрессивный подход к обучению для восстановления непрерывного визуального опыта от фМРТ. Реконструируются высококачественные видео с точной семантикой и движениями. Предоставлено: arXiv (2023). DOI: 10.48550/arxiv.2305.11675

Исследователи из Национального университета Сингапура и Китайского университета Гонконга сообщили на прошлой неделе, что они разработали процесс, способный генерировать видео из сканирования мозга. Исследование опубликовано на сервере препринтов arXiv.

Используя процесс, называемый функциональной магнитно-резонансной томографией (фМРТ), исследователи Цзясинь Цин, Цзыцзяо Чен и Хуан Хелен Чжоу объединили данные, полученные с помощью визуализации, с моделью глубокого обучения Stable Diffusion для создания плавных высококачественных видеороликов.

В последние месяцы сообщалось об успешном воссоздании неподвижных изображений, полученных из мозговой активности с помощью stable diffusion с помощью искусственного интеллекта, обычно используемой для генерации изображений. Но, как сообщили Цин и его команда, извлечение непрерывных визуальных образов представляет собой особую проблему.

Процесс фМРТ обычно использует сигналы, зависящие от уровня оксигенации крови (BOLD), и фиксирует изображения активности мозга каждые несколько секунд. Это приведет к получению видеоизображений низкого качества. Стандартная скорость видеозахвата составляет 30 кадров в секунду.

«Понимание информации, скрытой в нашей сложной мозговой деятельности, является большой загадкой в когнитивной нейробиологии», — сказал Цин. «Задача воссоздания человеческого зрения по записям мозга, особенно с использованием неинвазивных инструментов, таких как фМРТ, является захватывающей, но сложной задачей».

Его команда добилась высококачественного видео с помощью своей модели Mind-Video. Описанный как «двухмодульный конвейер, предназначенный для преодоления разрыва между декодированием мозга изображений и видео», его декодер фМРТ постепенно учится на полученных сигналах мозга, обучаясь с базами данных изображений и тонкой настройкой.

По их словам, в результате получились высококачественные видеоролики с динамикой движения и сцены с точностью 85%.

Цин говорит, что их работа показывает многообещающие перспективы для будущих крупных модельных приложений «от нейробиологии до интерфейсов мозг-компьютер».

Использование ИИ наряду с МРТ и EGM (электромиограммой) для изучения изображений, мозговой активности и движения мышц открывает новые перспективы в работе ума. Синдзи Нисимото, нейробиолог из Университета Осаки, говорит, что эти процессы однажды могут быть использованы для захвата мыслей и снов.

YouTube 🔗

Исследователь сновидений Дэниел Олдис, работая с коллегой из Лаборатории когнитивной нейробиологии в Техасском университете в Остине, работает над технологией МРТ для записи снов, которая отслеживает активность мозга и нервные импульсы в мышцах для определения образов, речи и движений во сне.

«Это похоже на первые годы космической гонки», — сказал он недавно. «Но в этом случае мы отправляемся в пространство мечты».

Среднестатистический человек видит до шести снов за ночь, но забывает 90% из них в течение нескольких минут после пробуждения. Перспектива запечатлеть постоянную запись снов волнует.

Сны озадачивали нас веками. В ранних культурах сны считались посланиями от Бога. В 20-м веке Фрейд ввел идею подавленных сексуальных и эмоциональных импульсов, стоящих за нашими снами.

Некоторые из наших величайших вдохновений исходят от тех ночных путешествий, которые мы все совершаем каждую ночь нашей жизни.

Мелодия песни «Yesterday» группы The Beatles, названная лучшей песней 20-го века по результатам опроса BBC Radio, пришла к Полу Маккартни во сне. Знаменитый вступительный рифф из трех нот гигантского хита Rolling Stones «Satisfaction» пришел к Киту Ричардсу посреди ночи; он проснулся, чтобы записать черновую версию песни, сонно пробормотал «Я не могу получить никакого удовлетворения», снова заснул и понял то, что записал, только когда слушал кассету тем утром.

Сальватор Дали называл фантастические сюрреалистические работы, такие как его «Постоянство памяти», «нарисованными вручную фотографиями сновидений».

А нервному студенту, испугавшемуся тем, что его поступление в Стэнфордский университет было ошибкой, приснился тревожный сон, в котором он загрузил всю сеть на свой компьютер. Проснувшись, он приступил к проекту, который в один прекрасный день привлечет 89 миллиардов зрителей в месяц и ответит на 99 000 запросов в секунду. Его имя: Ларри Пейдж. Его творение: Google.

Запись и потоковая передача наших снов — от кошмаров до вдохновляющих идей, меняющих правила игры, — может быть только мечтой прямо сейчас.

Оригинал статьи: Цзыцзяо Чен и др., Кинематографические пейзажи разума: высококачественная реконструкция видео по мозговой активности, arXiv (2023). DOI: 10.48550/arxiv.2305.11675. DOI: 10.48550/arxiv.2305.11675. 🔗

Получи бесплатную еженедельную рассылку со ссылками на репозитории и лонгриды самых интересных историй о стартапах 🚀, AI технологиях 👩‍💻 и программировании 💻!
Присоединяйся к тысячам читателей для получения одного еженедельного письма

Подписывайся на нас:

Нашли ошибку в тексте? Напишите нам.

Добавляй ЛРНЧ в свою ленту Google Новостей.
Читайте далее 📖

Фреймворк адаптации ИИ для повышения точности обнаружения устройств ЭМГ

5/26/2023 · 4 мин. чтения

Фреймворк адаптации ИИ для повышения точности обнаружения устройств ЭМГ

Интерактивная 3D-манипуляция 2D-изображениями с помощью AI

5/26/2023 · 4 мин. чтения

Интерактивная 3D-манипуляция 2D-изображениями с помощью AI