Исследователи компании NVidia, занимающиеся искусственным интеллектом, продемонстрировали новую систему на базе нейронной сети, которая может превратить любое видео в сверхвысококачественную замедленную съемку путем глубокой перестройки его кадровой структуры. Отметим, что на свете уже существуют подобные системы, вставляющие между кадрами оригинального видео дополнительные искусственно синтезированные кадры, но такие системы обеспечивают более-менее приемлемое качество лишь при не очень большом “замедлении” видео, к примеру с 30 до 60 кадров в секунду.
Однако, когда требуется преобразовать видео с 30 кадрами в секунду в видео с 240 кадрами в секунду, между оригинальными кадрами необходимо вставить семь промежуточных кадров, и традиционные методы начинают “буксовать”, что приводит к резкому увеличению времени обработки и снижению качества работы.
Для решения этой проблемы специалисты компании NVidia создали специализированную нейронную сеть и обучили ее при помощи 11 тысяч видеороликов, снятых со скоростью 240 кадров в секунду. После такого обучения нейронная сеть смогла самостоятельно анализировать произвольный входной видеопоток, рассчитывать и вставлять в него необходимее количество дополнительных кадров.
“Наш метод позволяет вставить в видео многократные промежуточные кадры, которые соблюдают пространственную и временную последовательность оригинального видео” – пишут исследователи, – “Такой подход существенно выигрывает по скорости и качеству и традиционных методов, которые способны вставить только один дополнительный кадр за один проход”.
На приведенном ниже видеоролике продемонстрированы результаты работы новой системы, на вход которой подавались видеоролики, снятые со скоростью от 30 до 60 кадров в секунду, а на выходе появлялся видеопоток со скоростью 480 кадров в секунду. Более того, если на вход системы подается уже замедленное видео, снятое, к примеру, высокоскоростной видеокамерой, то система позволит замедлить его еще в несколько раз практически без потери исходного качества.
“Сейчас уже появились мобильные телефоны, способные снимать короткие видео со скоростью 240 кадров в секунду” – пишут представители компании NVidia, – “Такой подход еще нельзя назвать практичным, ведь он требует больших объемов памяти и вычислительных ресурсов при съемке и воспроизведении. Наша же система позволит получить превосходный по качеству результат при гораздо меньших затратах ресурсов и дефицитной энергии, черпаемой из аккумуляторных батарей, загрузив снятое видео и обработав его при помощи специализированного облачного сервиса”.