Роман Шубин, CTO и автор Telegram-канала Bash Days, столкнулся с задачей мониторинга двух физических серверов, используемых для хранения статики. Оборудование требует регулярной диагностики: диски, память выходят из строя не мгновенно, сначала появляются ошибки в логах. Чтобы избежать простоев, инженер решил автоматизировать процесс анализа с помощью локальной ИИ-модели.
В отличие от распространенных решений, таких как Ollama или LM Studio, Шубин выбрал llama.cpp и развернул все на облачном сервере Selectel с GPU NVIDIA GeForce RTX 4090 (24 ГБ видеопамяти), 8 vCPU, 32 ГБ RAM и 100 ГБ SSD. Сборка производится из исходников через git, cmake — никаких готовых образов, только терминал и компилятор. Итоговый агент анализирует логи и при обнаружении аномалий отправляет уведомления, заменяя ежемесячную ручную проверку.
Ключевое преимущество подхода — полный контроль над данными. Все запросы и результаты остаются внутри инфраструктуры, что критично для компаний, работающих с чувствительными данными. Стоимость аренды такого сервера начинается от 131,77 рубля в час, а при выборе прерываемых инстансов цена может быть значительно ниже.
Пока система используется только для логов конкретного клиента, но, по словам автора, архитектура позволяет масштабировать решение на другие серверы и типы данных. Остается открытым вопрос: насколько легко будет адаптировать агента к нестандартным форматам логов и какую точность демонстрирует модель на редко встречающихся ошибках. Впрочем, для типовых сценариев решение уже работает.
