Способность роботов и самоуправляемых автомобилей к восприятию окружающего мира во многом зависит от используемых в их конструкциях датчиков и камер. Не так давно исследователи из Стэнфордского университета и Калифорнийского университета в Сан-Диего закончили разработку новой 4D-камеры Monocentric Light Field Camera, благодаря которой роботы смогут получить гораздо улучшенное “зрение”. При этом, в конструкции новой камеры содержится всего одна сферическая линза, что обуславливает ее простоту и обеспечивает угол обзора в 138 градусов.
Вышеупомянутые сферические линза были разработаны в свое время в рамках программы Управления перспективных исследовательских программ Пентагона DRAPA под названием Soldier CENtric Imaging with Computational Cameras (SCENICC). Объектив камеры с такой линзой охватывает одну третью часть от круговой области, при этом, разрешающая способность 4D-камеры составляет 125 Мегапикселей. Отметим, что в предыдущем варианте 4D-камеры использовались оптоволоконные линии, которые служили для развертки сферического изображения на плоскость фотосенсора. Такой подход работал, но его реализация была слишком дорогостоящей.
Новая камера обходится без оптоволоконных линий, вся работа по цифровой обработке сигналов и реализации технологии световой полевой съемки ложится на плечи алгоритмов, разработанных специалистами из Стэнфордского университета, что снабжает делаемые камерой снимки “четвертым измерением”.
Основой технологии световой полевой съемки является вычисление направления лучей света, попадающих в линзу объектива. И полученные данные о направлении комбинируются в конечном файле с традиционными “двухмерными” данными, считываемыми с фотосенсора. Точно такая же технология реализована в потребительских полевых камерах Lytro, она позволяет сфокусироваться на произвольной точке изображения уже после того, как снимок был сделан. Эта же функция позволит роботам фокусироваться на изображениях различных объектов, убирая помехи, такие, как пыль, дождь или туман. Помимо этого, данные снимка 4D-камеры позволят роботу вычислить расстояние до объекта с достаточно высокой точностью.
В настоящее время исследователи создали один опытный образец 4D-камеры, который является доказательством работоспособности использованных технологий. После некоторых доработок как конструкции камеры, так и ее программного обеспечения, эту камеру можно будет использовать в конструкциях роботов, способных действовать в сложной окружающей среде, в автомобилях-роботах, в системах виртуальной и дополненной реальности.
Опытный образец 4D-камеры был предоставлен вниманию общественности на конференции 2017 Conference on Computer Vision and Pattern Recognition (CVPR). А сейчас исследователи работают над созданием портативного варианта камеры, которая уже будет полностью работоспособна и которую можно будет установить на робота с целью продолжения исследований в данном направлении.