Компания Popsa, выпускающая приложение для создания печатных фотокниг, с 2021 года предлагала пользователям функцию Title Suggestion — автоматический подбор заголовка и подзаголовка для обложки. До 2024 года за это отвечал алгоритм Title Suggestion Graph: он читал метаданные снимков (геокоординаты, временны́е метки, результаты работы свёрточных нейросетей на устройстве) и по набору правил и шаблонов выдавал варианты. Результат был предсказуемым — большинство предложений сводилось к «France 2024» или «Photos from Spain».
В июне 2024 года команда решила заменить шаблонный подход генеративным ИИ. Задача оказалась нетривиальной: заголовок и подзаголовок не должны превышать 36 символов каждый из-за ограничений вёрстки обложки, каждая пара должна сопровождаться корректной категорией (от неё зависит иконка в интерфейсе), а весь ответ модели — быть валидным JSON с ключами title, subtitle и category. Нарушение любого из этих условий ломало рендеринг в приложении. Дополнительно система должна работать на 12 языках и соответствовать фирменному тону Popsa.
| Модель | Положительные отзывы | Отрицательные отзывы | Примечание |
|---|---|---|---|
| Graph Algorithm (шаблонный) | 58% | — | Базовый метод до 2024 года |
| Claude 3 Haiku | 71% | — | Production с 2024 года |
| Amazon Nova Micro | выше Graph | — | Исключена из-за отставания по качеству |
| Amazon Nova Lite | ~71% | — | Сопоставимо с Haiku, дешевле и быстрее |
| Amazon Nova Pro | 73% | 12% | Наивысшее качество среди протестированных |
Для оценки качества инженеры собрали датасет из более чем 100 примеров фотокниг и построили автоматический evaluation pipeline, который проверял соблюдение символьных лимитов, корректность категорий и валидность JSON. Для более субъективных критериев — тематической связности, стилистики, соответствия бренду — применялся подход LLM-as-a-judge: отдельная языковая модель оценивала выходы тестируемых моделей. Это позволило быстро перебирать варианты промптов и моделей без привлечения большой группы тестировщиков.
Переход на Claude 3 Haiku поднял долю положительных отзывов с 58% до 71%; Nova Pro улучшил показатель до 73%.
Лучшие результаты показал retrieval-based few-shot prompting. Команда создала базу примеров фотокниг с одобренными заголовками. При поступлении нового запроса система находила несколько похожих фотокниг и передавала их заголовки модели в виде диалога user–assistant до основного запроса. Модель «видела» образцы и естественным образом воспроизводила нужный стиль и формат. Первой production-моделью стал Claude 3 Haiku от Anthropic — доля положительных пользовательских оценок выросла с 58% до 71%, что подтвердили A/B-тесты на сотнях тысяч пользователей. Улучшились и бизнес-метрики: Design Created и Purchase rate.
В начале 2025 года Popsa протестировала семейство Amazon Nova (Micro, Lite, Pro) через единый API Amazon Bedrock. Смена модели в этом случае сводится к замене идентификатора модели в коде — эксперименты запускаются за часы, а не недели. Nova Pro показала наивысшую долю положительных отзывов — 73% при 12% негативных, что лучше, чем у Claude 3 Haiku (71%). Nova Micro обошла устаревший алгоритм на шаблонах, но уступила остальным LLM по качеству и была исключена из рассмотрения. Nova Lite заняла оптимальную позицию: качество вплотную к Claude 3 Haiku, но при меньшей стоимости и более низкой задержке ответа. Именно сочетание этих параметров — качество, цена, скорость — стало решающим при выборе модели для масштабирования.
Архитектура сервиса выглядит так: при получении запроса система расшифровывает дизайн фотокниги, извлекает временны́е метки, выполняет обратное геокодирование координат и классифицирует объекты на снимках. На выходе формируется текстовое описание вроде «Фотокнига о горных лыжах, 21 фото, сделанные в Альпах с 21 по 23 января 2025 года». Это описание передаётся в retrieval-компонент, который подбирает похожие примеры и формирует финальный промпт для модели. За 2025 год система сгенерировала свыше 5,5 млн персонализированных заголовков.
