Цифрова стабілізація відео: усунення дефектів послідовного затвора

Abstract

Відеозображення стали невід’ємною складовою частиною повсякденного життя людей і активно використовуються для технічних цілей, наприклад розпізнавання образів чи автоматизованого керування. Стабілізація відео — важлива складова процесу отримання якісного відео для поліпшення його подальшої автоматичної або напівавтоматичної обробки. Сучасні методи цифрової стабілізації базуються на моделюванні траєкторії руху камери на основі оцінки змісту відеоряду з подальшою компенсацією цих рухів шляхом викривлення зображень. Для цього оцінюється рух між кадрами відеопотоку, формується віртуальна траєкторія камери і згладжується до бажаної плавності. Потім кадри викривляються з метою імітації компенсації руху камери відповідно до різниці змодельованої та згладженої траєкторій за допомогою гомографічних перетворень. Більшість програмних методів не враховує наявність дефекту, відомого як «ефект желе», який виникає під час сильної тряски камери з послідовним затвором і призводить до нелінійних спотворень зображення. Зазвичай вважається, що для таких випадків ефективне лише використання апаратної стабілізації, яка є складною, дорогою, енергозатратною, а іноді й зовсім неможливою. У роботі представлено алгоритм програмної стабілізації в реальному часі для відео, на якому присутній «ефект желе» внаслідок роботи послідовного затвора. Задача стабілізації для таких випадків — пошук відповідності рядків на парі зображень та їхній зсув на більш оптимальні місця на кадрі на основі даних про їхнє переміщення на попередніх кадрах відео.