Обработка и компрессия

Обработка и компрессия мультимедийной информации - изображений, видео и аудио.

Сжатие без потерь

Применяя знания о структуре изображений, видео и звука, о форматах их ранения совместно с алгоритмами кодирования, можно добиться сжатия в 3-6 и более раз без потери единого бита информации.

Сжатие с потерями

Мультимедийная информация обладает так называемой перцептуальной избыточностью, которая позволяет удалять часть информации так, что для человека это будет незаметно. При этом необходимо обработать данные так, чтобы выделить существенную и несущественную информацию.

Методы и технологии

Лаборатория применяет широкий спектр технологий, начиная от вейвлет-анализа и заканчивая вариационными автоэнкодерами. При этом критически важным являются вопросы метрик оценки качества сжатия и качества мультимедиа, которые также зависят от конкретных сценариев работы. Применяются как стандартные типа SSIM, так и QoE, основанные на человеческом восприятии.

В Лаборатории ведется разработка современного видеокодека на основе многоканального вейвлет-разложения:

построение многополосного банка вейвлет-фильтров;
развитие техник компрессии визуальных данных;
исследования в области сочетания преобразований;
разработка методов энтропийного кодирования.

Одним из направлений работ является применение нейронных сетей для избавления возникновения и исправления искажений.

разработка новых методов постобработки видео и неподвижных изображений;
применение сверточных нейронных сетей для задач повышения и понижения качества;
уменьшение влияния артефактов сжатия;
снижение битрейта для каналов с ограниченной пропускной способностью.

На основе компетенций, полученных в ходе разработки видеокодека, постобработки видео и метрик качества, отвечающих человеческому восприятию, начаты работы по созданию методов и алгоритмов компресии и декомпрессии видео и изображений в ультра высоком качестве.

глубокие знания в классической видеообработке;
знания кодеков;
байесовские нейронные сети;
постобработка;
правильные метрики;
взаимодействие со специалистами из индустрии.

Исследование, разработка и модернизация речевого кодека с открытым исходным кодом «Codec 2», включающего адаптацию к русской речи и настройку на низкоскоростное соединение - снижение битрейта при сохранении разборчивости речи.

сохранение сложных звуков, таких как шипящие или глухие согласные;
модификация эффективного шумового затвора без снижения четкости;
улучшение алгоритмов кодирования и сжатия данных;
добавление промежуточных значений скорости для обеспечения более точного смещения в канале.