Не так давно представители компании Sony продемонстрировали всему миру то, что можно охарактеризовать, как “первые в мире светочувствительные матрицы для камер, оснащенные функциями обработки данных на основе технологий искусственного интеллекта”. Такое совмещение двух технологий позволит проводить предварительную обработку поступающего потока видеоинформации в режиме реального времени и передавать только необходимые данные в облачный сервис для их последующей и более глубокой обработки.
Искусственный интеллект уже давно является отличной “парой” для технологий цифровой фото- и видеосъемки. Нейронные сети “шутя” справляются с обработкой огромных потоков информации, к примеру, информации с сети камер видеонаблюдения, и выделяют из этой информации лишь то, что может заинтересовать наблюдателей.
К примеру, в последнее время в мире начали получать распространение магазины, в которых нет, или сведено к минимуму количество продавцов, кассиров и прочего обслуживающего персонала. В этом случае используется сеть из сотен высококачественных камер наблюдения, которые следят за тем, какие товары берут покупатели и что они делают с ними дальше. В настоящее время видеоданные с сети камер наблюдения поступают на компьютер, на котором развернута система искусственного интеллекта. Этот компьютер может находиться физически в этом же здании, а может и находиться в одном из многочисленных облачных сервисов.
Но компания Sony решила сделать своего рода “распределенный компьютер” оснастив вычислительной мощностью сам датчик камеры. Эти новые датчики, IMX500 и IMX501, имеют разрешающую способность в 12.3 мегапикселя и обеспечивают скорость съемки в 60 кадров в секунду при разрешении 4К. Но самым главным является то, что прямо на обратной стороне кристалла светочувствительной матрицы и на дополнительном кристалле располагается массив памяти достаточного объема и логическая интегральная схема, в которую заложены алгоритмы и принципы работы искусственного интеллекта. При этом, во встроенную память можно загрузить любую из стандартных моделей ИИ-обработки, выполняющих одну или несколько специализированных функций.
Встроенный в матрицу ИИ-процессор способен провести анализ видеоинформации за 3.1 миллисекунду времени, меньше, чем продолжительность одного видеокадра. В результате анализа из общего потока выделяются только важные элементы, которые передаются наружу для дальнейшей обработки. Если в упомянутом выше “магазине без персонала”, к примеру, клиент “Х” взял товар “Y” и положил его в корзину, то на верхний уровень будет передана обрезанная картинка корзины с лежащим в ней товаром.
Помимо такой “обрезки”, позволяющей существенно сократить объем передаваемой информации, пакеты данных могут сопровождаться дополнительной информацией, упрощающей их дальнейшую обработку. И в результате всего этого, при условии использования специального программного обеспечения на верхнем уровне, всегда на выходе получается полноценный 4K/60-fps видеопоток.
Таким образом, системы слежения и обеспечения безопасности смогут получать необходимую им информацию гораздо быстрее, а для ее обработки потребуются меньшие вычислительные мощности и меньшее количество энергии, ведь она, эта информация, уже прошла предварительную обработку в камере непосредственно.
И в заключение следует отметить, что интеллектуальные датчики компании Sony и другие подобные, которые непременно появятся в ближайшем будущем, вряд ли будут использоваться в камерах мобильных телефонов, бытовых цифровых фото- и видеокамер. Эти датчики ориентированы на несколько иную область применения – там, где, к примеру, необходимо подсчитывать человеко-часы, определяя присутствие или отсутствие определенных людей на рабочем месте, следить за действиями покупателей, контролировать ношение защитных масок в условиях пандемии и многое, многое другое.