33
1
0
Скопировать ссылку
Telegram
WhatsApp
Vkontakte
Одноклассники
Назад

Как мы научили AI видеть магазин глазами покупателя

Время чтения 4 минуты
Нет времени читать?
Скопировать ссылку
Telegram
WhatsApp
Vkontakte
Одноклассники
33
1
0
Нет времени читать?
Скопировать ссылку
Telegram
WhatsApp
Vkontakte
Одноклассники

Всем привет! Меня зовут Вадим Медяник, я технический директор IT-компании BPA Technologies.

Сегодня я хочу рассказать о том, как работают «умные магазины» — торговые пространства, где используются технологии искусственного интеллекта и компьютерного зрения. Именно они позволяют автоматизировать контроль товаров, анализировать поведение покупателей и предотвращать кражи, превращая обычный магазин в сложную технологическую систему.

В этой статье покажу, как с технической точки зрения строится комплексная система мониторинга для ретейла. Она объединяет три ключевых направления: использование RFID для антифрода, построение тепловых карт и подсчет посетителей, а также компьютерное зрение для анализа выкладки и соответствия ценников.

Как мы научили AI видеть магазин глазами покупателя

Умные магазины: почему это новый стандарт

Ретейл переживает серьезные изменения: покупатели становятся всё более «цифровыми», привычки смещаются в сторону онлайн-каналов, а офлайн-магазины вынуждены перестраиваться под омниканальную модель. Молодые поколения, выросшие в среде постоянного доступа к интернету и смартфону, ждут от брендов мгновенного и персонализированного взаимодействия. В этих условиях «умный магазин» перестает быть концепцией будущего и становится ответом на реальный запрос рынка.

Цифры это подтверждают. По данным исследования компании «Рексофт», более 40% ретейлеров уже используют искусственный интеллект и нейросети не только в маркетинге, но и в операционных процессах. Большие данные помогают выстраивать гиперперсонализированные предложения, а рекламные кампании строятся на базе обезличенной информации из программ лояльности. Проще говоря, торговые сети начинают понимать своих клиентов глубже, чем когда-либо раньше.

К этому добавляются IoT-решения: электронные ценники, которые обновляются в один клик по всей сети; «умные полки» с датчиками, автоматически отслеживающие остатки; и даже весы, которые распознают продукты по внешнему виду и экономят время покупателя. Всё это перестает быть экспериментами и постепенно превращается в стандарт.

С какими запросами ретейлеры приходят сегодня

Мы сами прочувствовали эти изменения. За последний год к нам пришел не один ретейлер и говорил одно и то же: «Нам нужны новые инструменты. Магазины уже не работают так, как раньше. Мы хотим видеть, что происходит в зале, понимать поведение покупателей и лучше контролировать сотрудников».

И вот возникает закономерный вопрос: с какой задачи вообще начинать построение «умного магазина»? Ведь можно уйти в детали технологий, но сначала важно честно ответить: какие проблемы действительно болят?

Первое, что мы увидели, — инфраструктура в магазинах уже есть. Камеры видеонаблюдения стоят повсюду. У них хорошее разрешение, они покрывают зал. Так почему бы не превратить их в основу аналитики?

Сначала был запрос на самые простые сценарии. Например, отличить сотрудника от покупателя, посчитать очередь, посмотреть общую посещаемость. 

Дальше запросы усложнились. Ретейлеры хотели понимать, кто приходит: семья, пара или одиночный покупатель. Хотели видеть половозрастную структуру аудитории, строить тепловые карты движения, понимать маршруты, видеть, где задерживаются люди, куда смотрят.

Параллельно шел второй поток вопросов: «А что с персоналом?» И тут тоже нашелся ответ: систему можно научить различать сотрудников по форме и отслеживать их действия.

И в итоге стало понятно: все запросы ретейла сходятся в двух направлениях. Первое — как покупатели ведут себя в магазине. Второе — как работает персонал. Именно на стыке этих двух задач сегодня и рождаются технологии «умного магазина».

Антифрод: как технологии RFID помогают бороться с потерями

После первых запросов от ретейлеров закономерно встал вопрос «А что делать с кражами?». Потери от выноса товаров — один из самых болезненных пунктов для любого магазина. Камеры, конечно, фиксируют происходящее, но у них есть ограничение: они видят только в пределах своего поля зрения. А значит, нужен другой инструмент.

Здесь на сцену выходят RFID-метки. Их главное преимущество в том, что радиосигнал проходит сквозь многие материалы, а значит, система «видит» больше, чем любая камера.

Принцип работы прост. На дорогой товар крепится метка. На выходе из магазина устанавливается считыватель, который можно спрятать в стене или потолке, чтобы не привлекать внимания покупателей. Как только метка пересекает границу зоны выхода, система мгновенно проверяет ее «историю»: был ли этот товар пробит на кассе за последние несколько минут? Если покупка есть, то всё в порядке. Если оплаты не было, то уходит сигнал менеджеру или охране.

Но в реальности всё сложнее. Несмотря на то что RFID-технология существует уже давно, у нее есть ряд технических ограничений. Главное из них — нестабильность считывания. Одна и та же метка, находясь в одном и том же месте, может то определяться, то «теряться». Это зависит от угла антенны, положения метки в пространстве и даже от того, как держит товар сам покупатель. Более того, волну нужной длины можно частично экранировать телом, и тогда метка остается незамеченной.

Эту проблему решают за счет установки нескольких антенн под разными углами и использования нескольких считывателей на одной зоне выхода. В итоге, даже если один из считывателей обязательно подхватит сигнал, метка всё равно будет считана.

Интеграция с кассовым оборудованием — задача более простая. Здесь всё зависит от вендора и конкретной POS-системы, но в целом это уже протоптанная дорожка. RFID-события синхронизируются с транзакциями на кассе, и проверка оплаты занимает доли секунды.

Видеонаблюдение же становится дополнительным уровнем защиты. Видеоаналитика может фиксировать подозрительные действия покупателя — например, резкое перемещение товара или попытку скрыть его. В совмещенной системе это служит подтверждающим фактором для RFID-сигнала. Такой «двойной контроль» делает антифрод значительно надежнее и уменьшает количество ложных срабатываний.

Тепловые карты и подсчет посетителей: как AI «учат видеть» поток людей

Видеопоток с камер в магазине — это источник данных о том, как двигаются люди, где они задерживаются и какие маршруты выбирают. Если правильно обработать этот поток, можно построить тепловые карты, которые отражают поведение покупателей в реальном времени.

AI составил тепловую карту магазина, на которой видно, где чаще всего останавливаются покупатели

Базой для подобных решений становятся большие датасеты. Чтобы обучить модели компьютерного зрения, нужны сотни часов записей с камер наблюдения: потолочных, настенных, с разными углами и высотой установки. Чем разнообразнее данные, тем устойчивее работает алгоритм на новых объектах (собрать такой разнообразный датасет — это отдельная задача со звездочкой для любого разработчика).

Для обучения обычно применяются модифицированные архитектуры распознавания позы и трекинга человека.

AI отслеживает позу человека по заданным точкам

На их основе система способна определять базовые характеристики (пол, возрастные группы, состав групп: семья, пара, одиночный покупатель) и строить маршруты движения. Главное — добиться работы в реальном времени без чрезмерных требований к вычислительным ресурсам.

Возрастные группы и конфиденциальность: как AI работает с обезличенными данными

Когда речь заходит о компьютерном зрении в ретейле, один из первых вопросов: не нарушает ли система закон о биометрии и персональных данных? На самом деле задача решается иначе: модели работают с изображением, но не хранят и не сопоставляют его с личностью конкретного человека.

Определение пола и возраста основано на статистике. Алгоритм, обученный на большом датасете, делает предположение о том, к какой группе относится посетитель. Это именно предположение модели, а не «биометрическая идентификация». Никакой привязки к конкретному покупателю нет: система не знает его имени, телефона или какой-либо другой информации. В итоге речь идет о чисто аналитических данных — половозрастной структуре потока людей в зале.

Система может подсчитать, кто чаще заходит в магазин: мужчины или женщины, взрослые или дети

Чтобы соблюсти требования к безопасности данных, используются стандартные практики защиты: двустороннее шифрование, передача данных только по локальной сети, разграничение прав доступа для сотрудников. Эти меры минимизируют риски утечек и делают систему безопасной с точки зрения обработки информации.

Разработка модуля анализа полок

Анализ полок в ретейле сводится к задаче многоклассового детектирования с высокой плотностью объектов. Система должна уметь идентифицировать каждый товар по SKU (stock keeping unit или единица складского учета), сопоставлять полученный результат с эталонной планограммой и одновременно проверять корректность ценников.

Работа строится по циклу:

  1. Камера фиксирует изображение полки.
  2. Детектор выделяет bounding box (ограничивающую рамку) для каждого объекта.
  3. Классификатор относит его к определенному SKU.
  4. Алгоритм сравнивает фактическое расположение товаров с планограммой.

Любое расхождение фиксируется: отсутствующий или перемещенный товар, неправильный ценник либо его отсутствие.

AI проверяет, что на полке находится нужный товар в заданном количестве

Задачу осложняет высокая похожесть упаковок, регулярные изменения дизайна, использование промостикеров и разные условия освещения. Часто встречаются и окклюзии — покупатели или тележки закрывают часть полки. Для повышения точности применяются ансамбли моделей и регулярное дообучение на новых данных.

Отдельное направление — работа с ценниками. Здесь важно определить, что ценник действительно соответствует товару, под которым он размещен. Для этого используется связка алгоритмов классификации и OCR (оптическое распознавание символов): сначала определяется расположение текстовой зоны ценника относительно bounding box товара, затем распознанный текст сверяется с базой магазина. Ошибки типа «ценник под другим товаром» или отсутствие ценника система фиксирует автоматически.

Еще один важный элемент — анализ направления взгляда покупателей. Модели ИИ определяют позу головы и плеч относительно полки, что позволяет строить карту «точек внимания». Таким образом можно понять, какие сегменты полки реально привлекают клиентов, а какие остаются незамеченными. Эти данные дополняют продажи и помогают оптимизировать планограмму не только по результату, но и по уровню интереса в торговом зале.

Все вычисления выполняются на основе стандартных IP-камер с разрешением от 1080p. Алгоритмы не требуют ручной калибровки по углу и высоте установки, система адаптируется к разным геометриям сцены. Обработка ведется в режиме реального времени и поддерживает десятки параллельных потоков. В расширенной конфигурации модуль анализа полок объединяется с мультикамерным трекингом и распознаванием действий сотрудников: можно отследить, кто и когда выполнял операцию по наполнению полки.

К чему идет «умный магазин»

В ближайшие годы эволюция «умного магазина» будет связана с созданием цифрового двойника торгового зала. Речь идет о комплексной системе, которая в реальном времени отображает всё происходящее: от 3D-модели магазина с потоками посетителей и маршрутами персонала до состояния каждой полки и корректности ценников.

Такой цифровой слой позволит ретейлу перейти к принципиально новому уровню управления. Аналитика в реальном времени даст возможность не только фиксировать события, но и сразу же реагировать: перестраивать выкладку, корректировать графики сотрудников, менять цены динамически, в зависимости от спроса.

Комментарии0
Тоже интересно
Комментировать
Поделиться
Скопировать ссылку
Telegram
WhatsApp
Vkontakte
Одноклассники