Google Research представила AgentHands — исследовательский прототип, который наделяет ИИ-ассистентов в средах Extended Reality (XR) выразительными жестами рук, синхронизированными с речью. Материал опубликован в блоге Google Research и будет представлен на конференции CHI 2026. Разработка продолжает предыдущие исследования Google в области Human I/O и Sensible Agent, направленные на создание более естественного взаимодействия человека и ИИ.
AgentHands решает проблему перехода от плоских интерфейсов, таких как визуальные рамки на 2D-экранах, к объемным пространствам XR. В таких средах, как Android XR, пользователи ожидают, что ассистент будет не просто указывать на объекты, но и использовать жесты для описания форм, имитации действий и акцентирования внимания. Прототип использует пространственное понимание XR, чтобы воспроизвести естественную синергию речи и жестов, характерную для человеческого общения.
Работа AgentHands основана на нескольких ключевых компонентах. Сначала система регистрирует объекты в пространстве пользователя: с помощью взгляда и реконструкции сцены пользователь может «пометить» объекты, такие как орхидея или ноутбук, создавая пространственный реестр с 3D-ограничивающими рамками. Затем используется библиотека жестов, разделенная на три категории: дейктические (для указания), иконические (для изображения действий или форм) и экспрессивные (для передачи социальных сигналов и эмоций). При запросе пользователя LLM генерирует ответ со встроенными событиями жестов, привязанными к ключевым словам. Локальный парсер на XR-гарнитуре синхронизирует воспроизведение речи и анимацию жестов, используя временные метки на уровне слов.
Система использует библиотеку жестов и LLM для генерации ответов со встроенными событиями жестов.
Прототип демонстрирует несколько сценариев применения. В интерактивном обучении, например, при уходе за орхидеей, агент не просто говорит «проверьте корни», а показывает руками на основание растения и обводит воздушные корни, объясняя их функцию. В технических инструкциях, таких как работа с 3D-принтером, агент демонстрирует последовательность действий «поверните и нажмите» для навигации по элементам управления. В сценарии сопровождения образа жизни агент может выступать в роли тренера по здоровью, используя предупреждающий жест и визуальные эффекты, чтобы отговорить пользователя от вредных привычек.
Для оценки эффективности жестов Google провела внутрисубъектное исследование, в котором сравнивалось понимание инструкций с жестами и без них. Хотя полные результаты в источнике не раскрыты, сам факт исследования подчеркивает стремление Google количественно оценить влияние жестов на взаимодействие. В отличие от таких проектов, как Project Astra и Gemini 3.1 Flash Live, которые используют визуальные рамки на 2D-экранах, AgentHands ориентирован на иммерсивные платформы, где пространственное взаимодействие становится ключевым.
Развитие жестовой коммуникации в XR открывает новые возможности для ИИ-ассистентов, делая их более «воплощенными» и понятными. Однако остаются вопросы о масштабируемости и адаптации к различным сценариям, а также о том, как такие системы будут работать в реальных условиях за пределами лабораторных прототипов.
