Контекстуальный анализ сцен: следующий шаг в эволюции видеоаналитики

Контекстуальный анализ сцен звучит немного сложно, но он представляет собой важную революцию, которая формирует мир видеоаналитики. Но давайте сначала подготовим почву.

Допустим, вы отвечаете за видеонаблюдение в крупном магазине товаров для дома. У вас много забот. Вам необходимо расширить свои возможности по предотвращению потерь. Вам необходимо держать известных злоумышленников подальше от вашего магазина, особенно учитывая недавний всплеск организованной преступности в розничной торговле. И вы хотите минимизировать юридические риски, защищаясь от ложных претензий по страхованию от скольжения и падения (когда кто-то намеренно инсценирует несчастный случай, чтобы подать ложную страховую претензию по страхованию от скольжения и падения).

Проблема большинства систем видеонаблюдения заключается в том, что операторам приходится физически просматривать все видеоматериалы, и обычно это происходит после того, как происходит событие (кто-то что-то крадет, происходит акт насилия или подается страховое требование).

Но что, если технология, а именно видеоаналитика, могла бы осмысливать сцену из видеоматериалов в режиме реального времени и заблаговременно оповещать службу безопасности.

Это делается в некоторых отдельных случаях использования. Например, оповещение в режиме реального времени по списку наблюдения может идентифицировать известных магазинных воров, когда они входят в магазин, используя ваши существующие камеры видеонаблюдения. Существуют также инструменты анализа людей, которые используют видеоаналитику для отслеживания пешеходного трафика в магазине в режиме реального времени и помогают сократить очереди покупателей. Но каждый из этих различных типов видеоаналитики — это то, что я бы назвал однопоточными вариантами использования искусственного интеллекта. Вы создаете искусственный интеллект для распознавания очередей или определенных лиц.

Все чаще розничные магазины, а также другие коммерческие учреждения, такие как стадионы, корпоративные здания, аэропорты и даже казино, захотят перейти от однопоточного ИИ к многопоточному ИИ, где анализ видео в реальном времени способен осмыслить сцену (необработанный видеоматериал) и определить, есть ли какие-либо аномалии. Этот тип многопоточного искусственного интеллекта - это то, что мы называем контекстуальным анализом сцены, и он позволит получать точные оповещения на основе более целостного понимания видеонаблюдения в реальном времени.

Например, когда кто-то падает в магазине, это может означать множество вещей: действительно ли он наклонился, чтобы завязать шнурки на ботинках? Был ли он толкнут другим человеком? Было ли это инсценировкой "промаха и падения" для подачи мошеннического заявления? Действительно ли у человека неотложная медицинская помощь? То, как организация реагирует в режиме реального времени, зависит от своевременности и качества оповещения.

К сожалению, сегодня этой технологии не существует, но она развивается прямо сейчас и поддерживается рядом конвергентных технологий, включая нейронные сети, периферийные вычисления и семантическую сегментацию.

• Нейронные сети: машинное обучение и, в частности, впечатляющее развитие подходов глубокого обучения произвели революцию в видеоаналитике. Использование глубоких нейронных сетей позволило обучать системы видеоанализа, имитирующие поведение человека, что привело к смене парадигмы. Фактически, нейронные сети можно обучить быстрому и точному распознаванию людей в списке наблюдения, даже когда они не смотрят прямо в камеру, когда на них маска или очки или когда камера расположена высоко на стене или потолке (создавая экстремальные ракурсы).
   
• Передовые вычисления. Передовые вычисления позволяют ведущим компаниям видеоаналитики внедрять свои алгоритмы (нейронные сети) на периферийные устройства, такие как модульная система NVIDIA Jetson Xavier NX или непосредственно на чип интеллектуальной камеры. Для расширения функциональности искусственного интеллекта — более многопоточных возможностей искусственного интеллекта — поставщикам видеоаналитики необходимо будет использовать возможности edge и уметь делать это энергоэффективным способом, чтобы реализовать концепцию контекстного анализа сцен.
   
• Семантическая сегментация. Ведущие компании в области искусственного интеллекта начинают использовать возможности семантической сегментации, которая классифицирует каждый пиксель видеоизображения по заранее определенному набору классов в режиме реального времени. В контексте розничной торговли пиксели, относящиеся к полкам, классифицируются в классе "полки", пиксели, соответствующие проходам, помечаются как "aisle" — и все это происходит в режиме реального времени. Если в проходе 7 есть лужа, семантическая сегментация будет обозначать ее как "лужу", в идеале до того, как клиент поскользнется и упадет.

Переходя от однопоточного искусственного интеллекта к многопоточному ИИ, мы можем начать получать мощную контекстуальную аналитику в режиме реального времени и достичь более целостного понимания сцены без необходимости круглосуточного просмотра видеооператором экранов.

Мы также можем начать собирать больше метаданных, чтобы получить более полную информацию о происходящем в режиме реального времени и гарантировать, что нужные типы оповещений отправляются нужному персоналу. Вместо того, чтобы полагаться на профессионалов в области видеонаблюдения для мониторинга видеоматериалов 24 на 7, службы безопасности могут использовать свои навыки для реагирования на очень точные оповещения.

До сих пор видеоаналитикам было трудно отличить угрозу безопасности от обычной деятельности в режиме реального времени. Контекстуальный анализ сцен меняет ситуацию.

Контекстуальный анализ сцены добавляет программному обеспечению видеоаналитики способность глубоко понимать контекст сцены — местоположение, демографические данные человека в кадре, аномальные модели поведения и взаимодействия между объектами в сцене — все это может быть использовано для оценки рисков безопасности. Такое восприятие видеоданных на уровне, близком к человеческому, позволяет автоматически запускать соответствующие действия с детализированными оповещениями и делать это с высокой точностью.

Источник: SDM Magazine