Логистическая платформа Parcel Perform, обрабатывающая миллионы электронных писем ежедневно, столкнулась с задачей извлечения структурированных данных из разнородных форматов — от простых уведомлений до сложных HTML-документов с JavaScript. Традиционные языковые модели допускали галлюцинации, путали похожие поля, например номера заказов и отслеживания, а стоимость обработки HTML-писем была высокой. Для решения этих проблем компания обратилась к AWS Generative ИИ Innovation Center.

сотрудничества была проведена тонкая настройка моделей Amazon Nova Micro и Lite с использованием Amazon SageMaker ИИ. Применён подход Parameter-Efficient Fine-Tuning (PEFT) через Low-Rank Adaptation (LoRA), что позволяет адаптировать модели под конкретную задачу с минимальным объёмом обучающих данных и вычислительных ресурсов. Результаты оказались высокими: тонко настроенная версия Nova Micro достигла точности извлечения до 94,77%, что на 16,6 процентных пункта выше базового показателя. При этом задержка инференса снизилась более чем на 30%, а стоимость — вдвое по сравнению с предыдущим решением компании.

ParametersDescription
model_type“amazon.nova-lite-v1:0:300k” or “amazon.nova-micro-v1:0:128k”
model_name_or_path“nova-lite/prod” or “nova-micro/prod”
replicas1 for g5/g6 4 for p5
max_length8192 for g5/g6 32768 for p5
global_batch_size64
max_epochs2
peft_schemelora
loraplus_lr_ratio8.0
alpha32

Решение было развёрнуто в промышленную эксплуатацию. Процесс включает подготовку данных в формате Amazon Bedrock conversation, загрузку в S3, создание задачи тонкой настройки в SageMaker ИИ с использованием LoRA, деплой на Bedrock с оплатой за токен и инференс для извлечения сущностей из новых писем. AWS предоставляет готовые рецепты в виде YAML-конфигураций для упрощения процесса.

Тонкая настройка через SageMaker ИИ с PEFT/LoRA снизила задержку на 30% и стоимость вдвое.

Такие результаты стали возможны благодаря комбинации тонкой настройки и эффективной инфраструктуры AWS. Parcel Perform, являясь ведущей ИИ-платформой для электронной коммерции, теперь может автоматизировать извлечение данных из миллионов писем с минимальными ошибками. Это снижает операционные затраты и ускоряет обработку заказов, что критично для логистических цепочек.