4 мин. чтения
11/8/2023 11:48:03 AM

Исследование показывает, что языки на которых чаще всего говорят, как правило, труднее для обучения ИИ

Article Preview Image Иллюстрация измерения сложности обучения в исследовании 1. Круги представляют собой наблюдаемые биты на символ, которые необходимы (в среднем) для кодирования/прогнозирования символов, основанных на увеличении количества обучающих данных для разных (гипотетических) документов на разных (гипотетических) языках, каждыйс энтропией источника 5. Кредит: Scientific Reports (2023).Doi: 10.1038/s41598-023-45373-z

Всего несколько месяцев назад многие люди обнаружили бы невообразимым, насколько хорошо искусственные «языковые модели» могут подражать человеческой речи.То, что пишет Чатгпт, часто неразличимо из текста, вызванного человеком.

Исследовательская группа в Институте немецкого языка Лейбниза (IDS) в Мангейме, Германия, теперь использовала текстовый материал на 1293 различных языках, чтобы выяснить, как быстро различные модели компьютерного языка учатся «писать».Удивительный результат: языки, на которых говорят большое количество людей, как правило, труднее для изучения алгоритмов, чем языки с меньшим лингвистическим сообществом.Исследование опубликовано в журнале Scientific Reports.

Языковые модели - это компьютерные алгоритмы, которые могут обрабатывать и генерировать человеческий язык.Языковая модель может распознавать закономерности и закономерности в больших объемах текстовых данных и, следовательно, постепенно учится прогнозировать будущий текст.Одна конкретная языковая модель-так называемая модель «трансформатора», на которой была создана известная служба чат-ботов, Chatgpt.

Поскольку алгоритм питается текстом, созданным человеком, он разрабатывает понимание вероятностей, с помощью которых компоненты слова, слова и фразы встречаются в определенных контекстах.Затем это изученное знание используется для прогнозирования, то есть для создания новых текстов в новых ситуациях.

Например, когда модель анализирует предложение «в темную ночь, я услышал далекий …», она может предсказать, что такие слова, как «Вой» или «шум», будут подходящими продолжениями.Этот прогноз основан на некотором «понимании» семантических отношений и вероятностей комбинаций слов на языке.

В новом исследовании команда лингвистов в IDS изучила, как быстро компьютерные языки учатся прогнозировать, обучая их текстовым материалам на 1293 языках.Команда использовала старые и менее сложные языковые модели, а также современные варианты, такие как модель трансформатора, упомянутая выше.Они посмотрели, сколько времени потребовалось разные алгоритмы, чтобы развить понимание закономерностей на разных языках.

Исследование показало, что объем текста, который должен обрабатывать алгоритм, чтобы изучить язык, то есть делать прогнозы о том, что будет следовать, - с языком к языку.Оказывается, что языковые алгоритмы, как правило, труднее изучать языки со многими носителями, чем языки, представленные меньшим количеством носителей.

Однако это не так просто, как кажется.Чтобы подтвердить взаимосвязь между сложностью обучения и размером популяции ораторов, важно контролировать несколько факторов.

Задача состоит в том, что языки, которые тесно связаны (например, немецкий и шведский), гораздо более похожи, чем языки, которые отдаленно связаны (например, немецкий и тайский).Тем не менее, это не только степень родства между языками, которые необходимо контролировать, но и другие эффекты, такие как географическая близость между двумя языками или качество текстового материала, используемого для обучения.

«В нашем исследовании мы использовали различные методы из прикладной статистики и машинного обучения для контроля за потенциальными мешающими факторами как можно более тесно», - объясняет Саша Вулфер, один из двух авторов исследования.

Однако, независимо от метода и типа используемого входного текста, была обнаружена стабильная статистическая корреляция между машинной обучением и размером популяции динамиков.

«Результат действительно удивил нас; Исходя из текущего состояния исследований, мы ожидали бы противоположного: языкам с большей популяцией ораторов, как правило, будет легче для машины, - говорит Александр Копениг, ведущий автор исследованияПолем

Причины этого отношения могут быть представлены только о до сих пор.Например, более раннее исследование, проведенное одной и той же исследовательской группой, продемонстрировало, что более крупные языки, как правило, более сложны в целом.Так что, возможно, усиление обучения «окупается» для изучающих человеческие языки: потому что, как только вы выучите сложный язык, у вас есть более разнообразные лингвистические варианты, которые вам доступны, что может позволить вам выразить тот же контент в более короткой форме.

Но необходимы дополнительные исследования, чтобы проверить эти (или другие объяснения).«Мы все еще относительно в начале здесь», - отмечает Копениг.«Следующий шаг - выяснить, можно ли и в какой степени результаты нашего машинного обучения быть переданы на овладение человеческим языком».

Больше информации: Александр Копениг и др., Языки с большим количеством ораторов, как правило, труднее (машины) учиться, научные отчеты (2023).Doi: 10.1038/s41598-023-45373-z

Получи бесплатную еженедельную рассылку со ссылками на репозитории и лонгриды самых интересных историй о стартапах 🚀, AI технологиях 👩‍💻 и программировании 💻!
Присоединяйся к тысячам читателей для получения одного еженедельного письма

Подписывайся на нас:

Нашли ошибку в тексте? Напишите нам.

Добавляй ЛРНЧ в свою ленту Google Новостей.
Читайте далее 📖

Модель для планирования и управления движениями гуманоидов в 3D средах

7/11/2024 · 4 мин. чтения

Модель для планирования и управления движениями гуманоидов в 3D  средах

Исследователи вводят генеративный ИИ для анализа сложных табличных данных

7/9/2024 · 4 мин. чтения

Исследователи вводят генеративный ИИ для анализа сложных табличных данных