Google Research представила AMIE (Video) — систему искусственного интеллекта для реальных видеоконсультаций, которая, по данным компании, впервые достигла экспертного уровня в этой области. В исследовании, опубликованном в научной статье, участвовали 30 сертифицированных врачей первичного звена, 100 клинических сценариев и 300 живых консультаций. Система построена на базе Gemini и Project Astra и способна проводить синхронные видеоконсультации, воспринимая невербальные сигналы, такие как видимые признаки дискомфорта, особенности дыхания или звуковые проявления.
AMIE (Video) является развитием более ранней системы AMIE (Articulate Medical Intelligence Explorer), которая ранее демонстрировала экспертный уровень в текстовых диагностических диалогах. Однако текстовые интерфейсы имеют фундаментальное ограничение: они отбрасывают визуальные и слуховые аспекты клинической практики. Пациенты вынуждены переводить сложные физические симптомы в письменные описания, что теряет диагностическую информацию и может негативно сказываться на людях с ограниченной цифровой или медицинской грамотностью. Текстовые системы не могут самостоятельно наблюдать визуальные и слуховые сигналы, которые важны для клинического мышления, и не могут направлять пациентов через физические осмотры.
Чтобы решить эту проблему, AMIE (Video) использует асинхронную мультиагентную архитектуру, которая разделяет задачи между тремя специализированными агентами, работающими параллельно. Агент Talker отвечает за взаимодействие с пациентом, поддерживая естественный разговор с низкой задержкой. Агент Planner в фоновом режиме непрерывно уточняет клинические рассуждения, обновляя дифференциальные диагнозы и планы лечения, а также выявляя пробелы в информации. Агент Perception анализирует аудио- и видеопотоки, выявляя клинически значимые невербальные сигналы, такие как видимые признаки стресса или физические находки, и контекстуализирует их беседы. Такая развязка позволяет системе поддерживать естественную скорость разговора, одновременно выполняя сложные диагностические рассуждения и аудиовизуальное восприятие, которые в противном случае привели бы к неприемлемым задержкам.
В исследовании участвовали 100 сценариев, 300 живых консультаций и 30 сертифицированных врачей первичного звена.
Автоматические оценки подтвердили, что каждый из трех агентов вносит важный вклад в улучшение клинических показателей, таких как компетентность в сборе анамнеза, клинические рассуждения и рекомендации по лечению, а также в показатели качества диалога, включая пациентоориентированные коммуникативные навыки и задержку ответа. Это первая демонстрация ИИ, достигающего экспертного уровня в реальных клинических видеоконсультациях, что открывает перспективы для расширения доступа к медицинской экспертизе и помощи, позволяя врачам сосредоточиться на наиболее значимых аспектах взаимодействия с пациентами.
В параллель с этим исследованием Google Research уже начала перевод этих разработок в клиническую практику. В частности, проводится исследование клинической осуществимости с Beth Israel Deaconess Medical Center и национальное рандомизированное исследование в партнерстве с Included Health. Однако, несмотря на многообещающие результаты, система пока тестировалась в симулированных условиях с актерами, играющими пациентов, и ее реальная эффективность в клинической практике еще предстоит подтвердить.
