Университет «Иннополис» получил три патента на ИИ-решения, связанные с моделированием зрительного внимания человека. Разработки исследовательского центра в сфере ИИ позволяют прогнозировать движения глаз при чтении текстов на 13 языках, оценивать качество генеративных моделей траекторий взгляда и ускорять обучение языковых моделей. Патенты оформлены при поддержке экспертов Межотраслевого центра трансферта технологий университета.
Первое изобретение — система прогнозирования взгляда человека при чтении текста. Она предсказывает движения глаз на английском, корейском, немецком и еще десяти языках, используя единую нейросетевую архитектуру. В основе — комбинация многоязычной языковой модели и трансформерной модели прогнозирования фиксаций взгляда, обученной на записях движений глаз носителей разных языков. Система генерирует синтетические последовательности фиксаций, моделируя, как человек мог бы читать текст, и оценивает их по вероятности пропуска слов, количеству фиксаций при первом чтении и другим критериям. Это позволяет формировать реалистичные синтетические данные для дообучения языковых моделей в задачах обработки естественного языка, компенсируя дефицит дорогостоящих реальных данных айтрекинга — устройств, фиксирующих движения взгляда.
Второй патент касается оценки генерации движения глаз при чтении текстов. Изобретение решает проблему отсутствия унифицированных протоколов для сравнения последовательных фиксаций взгляда, полученных генеративными моделями. Предложенный подход включает сравнение траекторий по пространственным и временным характеристикам, оценку признаков движений глаз на уровне текста, слов и предложений. Решение также анализирует, как свойства текста — длина слов, частота — влияют на взгляд, сравнивает с реальными данными и проверяет модели на разных текстах, чтобы убедиться, что они работают не только на обучающих данных. Это повышает точность и надежность оценки качества моделей генерации траекторий и помогает выбрать модель, чьи траектории наилучшим образом соответствуют реальным данным под конкретное исследование.
Третий патент — способ обучения языковых моделей с синтетическими траекториями взгляда. Он интегрирует данные о зрительном внимании в обучение с подкреплением на основе обратной связи от человека (RLHF). Как пояснил Иван Стебаков, специалист Лаборатории ИИ в медицине Университета «Иннополис», для обучения ИИ необходимы огромные объемы данных: на основе реальных предпочтений людей исследователи обучают вспомогательную ИИ-модель, которая затем автоматически оценивает ответы большой языковой модели. Изобретение включает генерацию синтетических последовательностей фиксаций взгляда и признаков зрительного внимания, а также реализацию алгоритма RLHF, учитывающего паттерны человеческого внимания, например, пропуски слов при быстром чтении. Технология ускоряет обучение ИИ в 1,5–2 раза, снижает затраты на вычисления, воспроизводит паттерны внимания с точностью до 93% и работает даже для языков с малым объемом данных.
По словам Ильи Першина, руководителя Лаборатории ИИ в медицине, синтетические данные часто являются единственным выходом при нехватке реальных записей взгляда, особенно в медицине. В одном из исследований они помогли на 20–30% точнее предсказывать взгляд врача на рентгеновских снимках — это важно для диагностических ИИ-сервисов. Разработки «Иннополиса» могут найти применение в обучении моделей для медицинской диагностики, системах анализа поведения пользователей и других областях, где требуется понимание зрительного внимания.
