Федеративное обучение на точках доступа с 256 МБ RAM: опыт Eltex

Александр Лошкарев, инженер-программист Eltex, описал эксперимент по внедрению федеративного обучения в точки доступа Wi-Fi с жёсткими ограничениями по памяти — менее 256 МБ RAM. Eltex проектирует сетевое оборудование с нуля, и задача возникла из реальной проблемы: беспроводные устройства традиционно работают в статическом режиме, а при появлении помех качество связи деградирует до ручного вмешательства администратора.

Федеративное обучение (FL) — это подход, при котором модель обучается децентрализованно: каждое устройство тренирует локальную копию на своих данных, а сервер (в данном случае контроллер сети) собирает только весовые коэффициенты и рассылает обновлённую модель обратно. Сырой трафик при этом никуда не уходит. Для Wi-Fi-сетей это особенно удобно: не нужно менять архитектуру, система разворачивается поверх существующей инфраструктуры, а вычислительные мощности точек доступа используются в периоды простоя.

Главная сложность — разнородность среды. Трафик в офисе отличается от производственного, оборудование в одной сети работает на разных процессорных архитектурах (ARM и MIPS), а объём памяти варьируется от 64 до 512 МБ. Данные распределены неравномерно (non-IID): у каждой точки доступа своя радиосреда, свой фоновый шум, своя интерференция. Классические алгоритмы федеративного обучения при глобальной агрегации усредняют этот локальный шум — и модель деградирует.

Для решения этой проблемы в Eltex выбрали связку двух алгоритмов. FedBN (Federated Learning with Batch Normalization) оставляет параметры слоёв нормализации на самом устройстве и не передаёт их на контроллер. Это предотвращает смешивание локальных статистик при глобальной агрегации — явление, которое в литературе называют Feature Shift. HeteroFL дополняет схему: алгоритм динамически сужает скрытые каналы нейросети и формирует локальные модели разной сложности. Слабые устройства обучают только небольшую подсеть, не блокируя работу узлов с полными моделями. На тестах связка показала точность 94% на однородных данных и 80% на неоднородных при небольшом числе раундов.

Архитектурно система делится на контроллер и точки доступа. Контроллер агрегирует веса и рассчитывает средние значения. Каждая точка доступа одновременно выступает региональным агентом федеративного обучения и узлом инференса. Поток данных разбит на четыре этапа: сбор данных через подсистему eBPF (виртуальная машина внутри ядра Linux с минимальными накладными расходами), локальное обучение со сжатием градиентов до 75%, обновление моделей с динамической подгрузкой слоёв и агрегирование с адаптивным квантованием в форматах INT8 или INT4.

Динамическая подгрузка слоёв — ключевой механизм экономии памяти. Система предсказывает, какие слои модели понадобятся в ближайшее время, и загружает их заранее, вытесняя неиспользуемые. Это снижает пиковое потребление памяти примерно на 60% на каждом шаге. Недостаток — дополнительные задержки из-за предзагрузки, которые компенсируются асинхронной загрузкой. Cache Hit Rate на целевой модели составил 85–95%.

С точки зрения радиоуправления система оперирует тремя параметрами: шириной полосы, каналом и мощностью передатчика. Точка постоянно собирает статистику клиентов — уровень сигнала, зашумлённость, процент потерянных пакетов, число попыток переподключения. Оптимизация формулируется как задача обучения с подкреплением: алгоритм максимизирует пропускную способность и точность прогнозов, одновременно минимизируя помехи, задержки и потребление ресурсов. Чтобы избежать нестабильности, настройки меняются с гистерезисом 10–15%. По расчётам команды, в корпоративной сети от 50 точек доступа такой подход должен снизить влияние интерференции на 40% и увеличить пропускную способность примерно на треть. AI-оптимизация радиоресурсов снижает коканальную интерференцию примерно на 40% и улучшает SNR в среднем на 7 дБ.