Обработка и компрессия

Обработка и компрессия мультимедийной информации - изображений, видео и аудио.

Сжатие без потерь

Применяя знания о структуре изображений, видео и звука, о форматах их ранения совместно с алгоритмами кодирования, можно добиться сжатия в 3-6 и более раз без потери единого бита информации.

Сжатие с потерями

Мультимедийная информация обладает так называемой перцептуальной избыточностью, которая позволяет удалять часть информации так, что для человека это будет незаметно. При этом необходимо обработать данные так, чтобы выделить существенную и несущественную информацию.

Методы и технологии

Лаборатория применяет широкий спектр технологий, начиная от вейвлет-анализа и заканчивая вариационными автоэнкодерами. При этом критически важным являются вопросы метрик оценки качества сжатия и качества мультимедиа, которые также зависят от конкретных сценариев работы. Применяются как стандартные типа SSIM, так и QoE, основанные на человеческом восприятии.
App features

Проекты

В Лаборатории ведется разработка современного видеокодека на основе многоканального вейвлет-разложения:
  • построение многополосного банка вейвлет-фильтров;
  • развитие техник компрессии визуальных данных;
  • исследования в области сочетания преобразований;
  • разработка методов энтропийного кодирования.
 app-layoutapp-layoutapp-layout
Одним из направлений работ является применение нейронных сетей для избавления возникновения и исправления искажений.
  • разработка новых методов постобработки видео и неподвижных изображений;
  • применение сверточных нейронных сетей для задач повышения и понижения качества;
  • уменьшение влияния артефактов сжатия;
  • снижение битрейта для каналов с ограниченной пропускной способностью.
app-layout
На основе компетенций, полученных в ходе разработки видеокодека, постобработки видео и метрик качества, отвечающих человеческому восприятию, начаты работы по созданию методов и алгоритмов компресии и декомпрессии видео и изображений в ультра высоком качестве.
  • глубокие знания в классической видеообработке;
  • знания кодеков;
  • байесовские нейронные сети;
  • постобработка;
  • правильные метрики;
  • взаимодействие со специалистами из индустрии.
app-layout
Исследование, разработка и модернизация речевого кодека с открытым исходным кодом «Codec 2», включающего адаптацию к русской речи и настройку на низкоскоростное соединение - снижение битрейта при сохранении разборчивости речи.
  • сохранение сложных звуков, таких как шипящие или глухие согласные;
  • модификация эффективного шумового затвора без снижения четкости;
  • улучшение алгоритмов кодирования и сжатия данных;
  • добавление промежуточных значений скорости для обеспечения более точного смещения в канале.
app-layout
© 2017-2021 Лаборатория мультимедийных систем и технологий

Please publish modules in offcanvas position.