2 мин. чтения
7/29/2023 7:22:53 AM

Brain2Music использует мысли для воспроизведения музыки

Featured Image 1 Спектрограммы различных музыкальных клипов. Предоставлено: arXiv (2023). DOI: 10.48550/arxiv.2307.11078

Музыкальные сэмплы, охватывающие 10 жанров, включая рок, классику, метал, хип-хоп, поп и джаз, были воспроизведены для пяти испытуемых, в то время как исследователи наблюдали за их мозговой активностью. Показания функциональной МРТ (фМРТ) записывались во время прослушивания. (Показания фМРТ, в отличие от показаний МРТ, регистрируют метаболическую активность с течением времени.)

Затем показания были использованы для обучения глубокой нейронной сети, которая идентифицировала действия, связанные с различными характеристиками музыки, такими как жанр, настроение и инструменты.

Исследователи связали базу данных MusicLM с показаниями фМРТ, что позволило их модели искусственного интеллекта реконструировать музыку, которую слышали испытуемые. Вместо текстовых инструкций мозговая активность обеспечивала контекст для музыкального вывода.

«Наша оценка показывает, что реконструированная музыка семантически напоминает оригинальный музыкальный стимул», — сказал Тимо Денк из Google, один из нескольких авторов недавней статьи.

Они метко назвали свою модель искусственного интеллекта Brain2Music.

Примеры, предоставленные командой, демонстрируют удивительно похожие по звучанию отрывки из музыки, интерпретируемые Brain2Music на основе мозговых волн испытуемых.

Brain2Go фокусируется на инструментах и стиле, а не на текстах, объяснили исследователи.

«Это исследование является первым, которое дает количественную интерпретацию с биологической точки зрения», — сказал Денк. Но он признал, что, несмотря на прогресс в моделях преобразования текста в музыку, «их внутренние процессы все еще плохо изучены».

ИИ еще не готов подключиться к нашему мозгу и записать идеально оркестрованные мелодии, но этот день может быть не за горами.

Будущая работа над моделями генерации музыки приведет к улучшению «временного выравнивания между реконструкцией и стимулом», сказал Денк. Он предположил, что впереди еще более точное воспроизведение музыкальных композиций «из чистого воображения».

Подробнее: Timo I. Denk et al, Brain2Music: Reconstructing Music from Human Brain Activity, arXiv (2023). DOI: 10.48550/arxiv.2307.11078 🔗

Получи бесплатную еженедельную рассылку со ссылками на репозитории и лонгриды самых интересных историй о стартапах 🚀, AI технологиях 👩‍💻 и программировании 💻!
Присоединяйся к тысячам читателей для получения одного еженедельного письма

Подписывайся на нас:

Нашли ошибку в тексте? Напишите нам.

Добавляй ЛРНЧ в свою ленту Google Новостей.
Читайте далее 📖

Самая страшная тайна ИИ

7/31/2023 · 2 мин. чтения

Самая страшная тайна ИИ

Исследователи впервые успешно обучили модель машинного обучения в открытом космосе

7/30/2023 · 2 мин. чтения

Исследователи впервые успешно обучили модель машинного обучения в открытом космосе