Конвейер аналитики банков на LLM-агентах: 24 исследования, 7 остановок и открытая методика

На сайте ortant.net опубликовано 24 исследования банков: каждый кейс отвечает на один вопрос про один банк в одном временном окне. Конвейер, который их собрал, построен на шести ролях LLM-агентов и пяти открытых моделях; для кода использовались Codex и Claude Code. Проект показывает не только результаты, но и внутреннюю кухню: в открытом доступе лежат методика, манифест прогонов, события жизненного цикла и отчёты приёмки.

Прогон — это одно исследование одного банка за один период. За 80 календарных дней система сделала 774 коммита и 24 опубликованных исследования. Медианная стоимость прогона — $0,132, медианное время — 12,8 минуты. Исследование можно заказать через конструктор: он собирает вопрос из готовых блоков — банк, окно, фокус — и бесплатно показывает паспорт данных с ценой. Собрать неисполнимый запрос нельзя по построению, поэтому ветки отказа у конструктора нет.

Статья автора посвящена тому, как конвейер удерживают от выдачи ложных результатов. Семь прогонов из 31 не дошли до публикации: у четырёх не собрался синтез, у двух в текст попала запрещённая на витрине лексика, у одного ложно сработал распознаватель личных данных. Каждой остановке присвоен код причины, а барьеры выстроены от паспорта данных до гейта публикации. На витрине видны и ограничения: 23 из 24 принятых исследований выдержали проверку утверждений, но у 17 качество оснований помечено ограниченным. Прогнозный слой удалён — он оказался хуже наивной базы, а 51 статистическая находка рассыпалась при перепроверке. Автор добавляет, что совет моделей покупает охват, а не точность.

Отдельный боковой эксперимент дал статистическую проверку одной гипотезы на панели регулятора: β = +0,626 при ожидавшемся минусе. Автор помечает эту ветку пригодной только для разработки, а не для витрины. В каталоге 50 карточек: 24 публичных, 19 скрытых и 7 задержанных гейтом. Деньги и стек открыты без входа — это осознанный шаг для проверяемости системы снаружи.