Как устроена видеоаналитика умного города: стек, железо и нейросети от Falcon Tech

Инженеры Falcon Tech опубликовали технический разбор своей платформы видеоаналитики — системы, которая уже работает на более чем 4 000 программно-аппаратных комплексах в Москве. Компания занимается этим направлением 8 лет, и за это время рынок изменился настолько, что подходы, актуальные при старте, сегодня считаются устаревшими.

Классическая видеоаналитика строится на простых триггерах: объект пересёк виртуальную линию — система сработала. В городских условиях это не работает. Тени от деревьев, блики фар, снегопад, сотни людей в кадре — всё это порождает ложные срабатывания и делает такую систему практически бесполезной для автоматического принятия решений. Именно поэтому Falcon Tech сделала ставку на нейросетевые модели, обученные интерпретировать контекст: система не просто фиксирует объект, а определяет, что это за объект, где он находится, что делает и нарушает ли правила.

Первый крупный проект компании был связан с парковочными зонами: нужно было отслеживать загруженность и формировать доказательную базу для административных нарушений. Это потребовало полного конвейера: сегментация транспортных средств, геофильтрация по зонам, распознавание номерных знаков с учётом шумов и погодных условий. Каждый этап — отдельная нейросеть. Современные камеры с инфракрасной подсветкой дают чёткое изображение ночью, а алгоритмы выбора лучшего кадра из потока справляются с шквальным снегопадом и грязными номерами.

Сегодня продуктовый портфель компании включает более десяти CV-решений: сегментация транспортных средств и госномеров, OCR-модели для распознавания номерных знаков, детекция и распознавание лиц, классификация дорожных знаков, подсчёт людей, обнаружение открытого огня и дыма, детекция ограниченной видимости, распознавание дорожной разметки. Часть задач решается не нейросетями, а детерминированными математическими методами — например, сглаживающие фильтры и определение смещения камер.

Технологический стек отражает требования к надёжности и производительности. Бэкенд написан на Rust — языке, который даёт контроль над памятью и высокую скорость без сборщика мусора, что критично при обработке тысяч видеопотоков. Фронтенд построен на ReactJS и TypeScript. Брокеры сообщений — RabbitMQ и Kafka — обеспечивают асинхронную передачу событий между компонентами. В качестве баз данных используются PostgreSQL, MongoDB, Redis и ElasticSearch. Мониторинг построен на связке Grafana, Prometheus/VictoriaMetrics и Loki/VictoriaLogs с трассировкой через Jaeger и OpenTelemetry. Инференс нейросетей — YOLO и другие модели — запускается через Triton на кластере из нескольких десятков GPU NVIDIA. Облачная инфраструктура работает на OpenStack через VKCloud, сетевой уровень — WireGuard и OpenVPN.

Архитектура модульная: каждый блок изолирован и взаимодействует с остальными через API. Это позволяет подключать новые модули и стороннее оборудование без переработки ядра. Система рассчитана на работу в нестабильных условиях — в том числе на удалённых объектах без постоянного соединения — и включает механизмы автоматического перезапуска, резервные узлы и адаптивную маршрутизацию.

Рынок, на котором работает Falcon Tech, растёт. По данным Statista, объём рынка видеоаналитики в России к 2028 году достигнет около 24 млрд рублей. Глобальный сегмент ИИ CCTV оценивается более чем в 2 млрд долларов к 2030 году. Восемь лет назад видеоаналитика была уделом крупных инфраструктурных проектов с дорогим «коробочным» оборудованием. Сегодня благодаря облачным и edge-решениям её могут позволить себе небольшие муниципалитеты и средний бизнес.