Автор цикла «Ситуационная осведомлённость 24/7» перешёл к практической части: развёртыванию локальной большой лингвистической модели (БЛМ) на Windows 11. В качестве тестовой конфигурации используется компьютер с 4 ГБ видеопамяти и 16 ГБ оперативной памяти — ограниченные ресурсы, типичные для многих пользователей.
Локальная БЛМ — это модель, работающая на собственном устройстве, а не в облаке. Она не требует постоянного интернет-соединения или платной подписки и может стать фундаментом для автономных ИИ-проектов: локального помощника, анализатора документов, мониторинга новостей, подготовки сводок и RAG-поиска по личной базе знаний. В данном проекте цель — создать мультиагентную систему круглосуточной осведомлённости.
| Среда | Тип | Сильные стороны | Недостатки |
|---|---|---|---|
| LM Studio | С ГПИ | Удобный интерфейс, визуализация нагрузки, простой выбор модели | Меньше подходит для автоматической работы по расписанию |
| Ollama | Без ГПИ (CLI/API) | Стабильный endpoint, воспроизводимость, поддержка Modelfile | Требует работы в командной строке |
| GPT4All | С ГПИ | Минимум настроек, работает сразу | Меньше гибкости для кастомной автоматизации |
Выбор среды запуска — ключевое решение. Автор рассматривает четыре класса инструментов: программы с графическим интерфейсом (LM Studio, GPT4All, Jan), программы для командной строки (Ollama, llama.cpp, LocalAI), веб-панели (Open WebUI) и интегрированные среды вроде AnythingLLM. Для проекта выбрана гибридная схема: LM Studio — для первичной диагностики и тестирования, а Ollama — как backend для последующей автоматизации.
Моделями-кандидатами стали Gemma и Qwen — обе доступны в квантованных форматах GGUF, которые хорошо работают на конфигурациях с ограниченной памятью. После тестов финальной рабочей сборкой стала связка Ollama + Qwen3.5-4B (основная модель) и Gemma 4 (резервная). Автор подчёркивает: LM Studio удобна для визуализации нагрузки и подбора квантования, но для постоянной автоматической работы по расписанию лучше подходит Ollama с её REST API и CLI.
Сравнивая среды, автор отмечает, что LM Studio — оптимальный выбор для первого запуска: в ней легко найти модели, выбрать квантование, запустить чат и посмотреть нагрузку. Ollama — лучший вариант для backend-слоя, поскольку запускается как локальный сервис, предоставляет единый endpoint (http://localhost:11434/api/chat) и позволяет создавать собственные профили моделей через Modelfile. GPT4All, напротив, ориентирован на пользователей, которым нужен минимум технической настройки, и в данном сценарии не используется.
Для новичков автор советует начать с LM Studio — скачать приложение, выбрать модель из каталога, проверить потребление памяти и убедиться, что скорость ответов удовлетворительна. Затем, когда базовые тесты выполнены, переходить на Ollama для интеграции с кодом и планировщиками задач. Именно этот путь, по мнению автора, позволяет быстро получить работающее решение и избежать типичных ошибок при первом знакомстве с локальными БЛМ.
