Новая технология повышает сжатие данных в реальном времени для ИИ

Универсальное кодирование ASE сжимает непрерывный поток данных в трубопроводах, состоящий из модулей сжатия.Каждый модуль сжатия сжимает частые последовательности с одним или несколькими символами в одно сжатые данные с помощью таблицы поиска.Применяя характеризованный расчет энтропии, модуль уменьшает количество бит в данных сжатия в соответствии с энтропией в реальном времени потока данных.Кредит: IEEE Access (2024).Doi: 10.1109/access.2024.3429389

Информационные и коммуникационные технологии, такие как IoT и облачные вычисления, являются краеугольными камнями современного общества.Эффективность этих услуг в значительной степени зависит от скорости обработки и передачи цифровых данных, включая данные изображений и датчиков.Например, системы, которые идентифицируют людей из изображений камеры наблюдения, должны упростить весь процесс, от распознавания передачи изображений и искусственного интеллекта (ИИ) до предоставления результатов пользователям.

Поскольку передача данных часто потребляет больше времени, чем вычисления искусственного интеллекта, существует критическая необходимость в методе сжатия данных, который сводит к минимуму как объем данных, так и время связи при сохранении целостности исходных данных.Новая технология может ускорить передачу данных для вычислений искусственного интеллекта и уменьшить объем данных, передаваемых в широкоамериканских сетях, таких как беспроводная связь 5G/6G и Интернет, что приводит к значительной глобальной экономии мощности.

Обычные технологии сжатия данных Сжатие и хранит данные в конечных кусках.Для этого они требуют громоздкой памяти и процессоров, которые увеличивают размер компрессора и ограничивают сжатие в реальном времени до конечных потоков данных.

Исследователи из Университета Цукуба решают эти проблемы, разработав технологию, которая автоматически обнаруживает часто встречающиеся паттерны данных и сжимает их до минимум одного бита после одного прохода через компрессор.Эта технология обеспечивает полное восстановление данных в реальном времени.Исследование опубликовано в журнале IEEE Access.

В отличие от предыдущих технологий, которые могут сжать только одну единицу данных на один бит, новый метод одновременно сжимает несколько единиц данных до одного бита, тем самым повышая эффективность сжатия на 10–30% по сравнению с обычными методами.

Кроме того, эта инновационная технология обеспечивает разработку высокоскоростных, компактных модулей сжатия данных в оборудовании без необходимости дополнительных процессоров, памяти или других устройств.В случае интеграции в полупроводниковые чипы и системы искусственного интеллекта, эта технология может революционизировать передачу данных путем повышения скорости, уменьшения объема данных и сохранения мощности в путях связи, что продвигает нас к видению общества 5.0.

More information: Shinichi Yamagiwa et al, Universal Adaptive Stream-Based Entropy Coding, IEEE Access (2024). DOI: 10.1109/ACCESS.2024.3429389