Обработка и компрессия
Обработка и компрессия мультимедийной информации - изображений, видео и аудио.
Сжатие без потерь
Применяя знания о структуре изображений, видео и звука, о форматах их ранения совместно с алгоритмами кодирования, можно добиться сжатия в 3-6 и более раз без потери единого бита информации.
Сжатие с потерями
Мультимедийная информация обладает так называемой перцептуальной избыточностью, которая позволяет удалять часть информации так, что для человека это будет незаметно. При этом необходимо обработать данные так, чтобы выделить существенную и несущественную информацию.
Методы и технологии
Лаборатория применяет широкий спектр технологий, начиная от вейвлет-анализа и заканчивая вариационными автоэнкодерами. При этом критически важным являются вопросы метрик оценки качества сжатия и качества мультимедиа, которые также зависят от конкретных сценариев работы. Применяются как стандартные типа SSIM, так и QoE, основанные на человеческом восприятии.

Проекты
В Лаборатории ведется разработка современного видеокодека на основе многоканального вейвлет-разложения:



- построение многополосного банка вейвлет-фильтров;
- развитие техник компрессии визуальных данных;
- исследования в области сочетания преобразований;
- разработка методов энтропийного кодирования.



Одним из направлений работ является применение нейронных сетей для избавления возникновения и исправления искажений.
- разработка новых методов постобработки видео и неподвижных изображений;
- применение сверточных нейронных сетей для задач повышения и понижения качества;
- уменьшение влияния артефактов сжатия;
- снижение битрейта для каналов с ограниченной пропускной способностью.

На основе компетенций, полученных в ходе разработки видеокодека, постобработки видео и метрик качества, отвечающих человеческому восприятию, начаты работы по созданию методов и алгоритмов компресии и декомпрессии видео и изображений в ультра высоком качестве.
- глубокие знания в классической видеообработке;
- знания кодеков;
- байесовские нейронные сети;
- постобработка;
- правильные метрики;
- взаимодействие со специалистами из индустрии.

Исследование, разработка и модернизация речевого кодека с открытым исходным кодом «Codec 2», включающего адаптацию к русской речи и настройку на низкоскоростное соединение - снижение битрейта при сохранении разборчивости речи.
- сохранение сложных звуков, таких как шипящие или глухие согласные;
- модификация эффективного шумового затвора без снижения четкости;
- улучшение алгоритмов кодирования и сжатия данных;
- добавление промежуточных значений скорости для обеспечения более точного смещения в канале.
