Российский разработчик банковского ПО FIS представил результаты применения ИИ-агентов в тестировании кредитного конвейера. На одном из модулей полный цикл подготовки тест-кейсов, включая проверку специалистом, занял 24 часа. Сопоставимая работа вручную потребовала 210 часов. Эксперимент проводился на действующем проекте, о чем CNews сообщили представители FIS.
Для сравнения команда выбрала две близкие по объему части одного функционального требования. Первая описывала заполнение персональных данных и адресов заемщика: тестировщики подготовили вручную 770 тест-кейсов за 210 часов. Вторая охватывала сведения о занятости, анкету, документы и сканы: с помощью ИИ-агентов команда получила 658 тест-кейсов за 24 часа. Из них около 16 часов заняли подготовка материалов, настройка и работа с агентами, еще восемь — проверка результата тестировщиком. Таким образом, сравнивался не скорость генерации текста, а полный цикл подготовки принятого командой набора тест-кейсов.
| Показатель | Ручная работа | ИИ-агенты |
|---|---|---|
| Время подготовки тест-кейсов | 210 часов | 24 часа |
| Количество тест-кейсов | 770 | 658 |
| Время на проверку специалистом | — | 8 часов |
Для выполнения задачи использовалась последовательность из четырех ролей. Первый агент анализировал функциональные требования, разбивал их на смысловые блоки, искал пробелы и формировал вопросы. Ответы на вопросы давал бизнес-аналитик, при этом агенту запретили самостоятельно дополнять отсутствующую бизнес-логику. Затем test-designer создавал атомарные тест-кейсы с предусловиями, шагами и ожидаемыми результатами и связывал их с конкретными пунктами требования. Отдельный агент-reviewer проверял полноту и оформление. Цикл повторялся до устранения замечаний, после чего результат принимал тестировщик.
В эксперименте участвовали четыре роли: аналитик, test-designer, reviewer и финальная проверка тестировщиком.
«Главное ограничение для ИИ в банковском тестировании — не способность модели быстро написать сотни сценариев, а качество требований и возможность проверить происхождение каждого теста. Мы разделили анализ, тест-дизайн и ревью между агентами, запретили им достраивать отсутствующую логику и сохранили финальное решение за тестировщиком. Поэтому в 24 часа входит не только генерация, но и восемь часов человеческой проверки», — сказал руководитель направления тестирования FIS Виталий Жидков.
Результаты различаются в зависимости от задачи. В эксперименте с пользовательским интерфейсом агент подготовил 315 автотестов на основе 487 исходных кейсов. Настройка и обработка результатов заняли 33 часа против примерно 70 часов ручной разработки по оценке команды. На backend-сценарии разница оказалась значительно меньше: применение агента позволило сэкономить 11 часов. Еще на одном пилоте мгновенной экономии не получили — подготовка требований и настройка заняли примерно столько же времени, сколько прежняя ручная работа.
По оценке FIS, эффективность подхода зависит от трех условий: полноты функциональных требований, возможности использовать ИИ в инфраструктурном контуре проекта и наличия специалиста, который отвечает за итоговую проверку. Особенно чувствительным оказалось качество описания API. При актуальной документации агенты могли формировать автотесты без существенных затруднений. Ошибки, неполные описания и ссылки на недоступные материалы приводили к дополнительным итерациям и ручным уточнениям.
Компания рассматривает основной эффект не как пропорциональное сокращение команды тестирования, а как возможность выполнять работу, от которой на проектах часто отказываются из-за сроков. Перед поставкой подробные тест-кейсы нередко заменяются сокращенными чек-листами, регресс ограничивается наиболее рискованными участками, а автоматизация переносится на следующие этапы. Подготовленный агентами набор сохраняет связь с функциональными требованиями и может использоваться при регрессионном тестировании и последующем создании автотестов. Замечания специалиста добавляются в постоянные инструкции, чтобы не исправлять одинаковые ошибки при каждой новой задаче.
В FIS подчеркивают, что результат 210 против 24 часов нельзя автоматически переносить на любое банковское решение. Первый цикл внедрения агента может не дать экономии, если требования не структурированы, документация устарела или значительная часть проектных знаний существует только в устных договоренностях команды. Следующим этапом станет применение подхода на новых проектах, повторное использование накопленных инструкций и оценка эффекта на последующих регрессионных циклах. Компания также проверяет возможности агентов в нагрузочном тестировании.
