На NLP-собеседованиях проверяют не только архитектуру Transformer, но и понимание полного жизненного цикла современной LLM. Статья на Habr представляет чеклист, который охватывает ключевые концепции: от первой GPT-модели, обученной на задачу next token prediction, до современных reasoning-моделей, встраивающих Chain-of-Thought прямо в инференс.

История развития GPT началась с декодерного Transformer, который предобучался на большом корпусе неразмеченных текстов. GPT-2 показала, что масштабирование улучшает zero-shot способности, а GPT-3 с 175 миллиардами параметров значительно усилила in-context learning — модель стала адаптироваться к задаче через текстовый промпт без изменения весов. Этот прогресс привел к появлению ChatGPT и современных LLM.

Prompt engineering — набор приёмов для формулирования запросов к LLM. Статья описывает пять основных техник: zero-shot prompting (инструкция без примеров), few-shot prompting (несколько примеров входа и выхода), Chain-of-Thought prompting (модель просят рассуждать по шагам), role prompting (задание роли) и structured output prompting (требование определённого формата, например JSON). Особое внимание уделяется CoT: изначально это была техника промпт-инжиниринга, но в reasoning-моделях, таких как DeepSeek-R1 или ChatGPT, CoT перешёл во внутренние токены рассуждения, что позволяет модели тратить дополнительные токены на обдумывание сложных задач.

Описаны пять техник prompt engineering: zero-shot, few-shot, CoT, role prompting, structured output.

Обучение LLM включает три этапа: предобучение (next token prediction на больших данных), instruction tuning (дообучение на парах инструкция-ответ для улучшения следования указаниям) и alignment (выравнивание поведения модели с ожиданиями пользователя, часто через RLHF). Alignment решает проблему «глупого ассистента» — когда модель технически умна, но выдает неудобные или небезопасные ответы. Подводные камни alignment включают переобучение под награду и потерю разнообразия ответов.

Чеклист полезен как тренажёр перед техническим интервью: он позволяет быстро пройтись по определениям, увидеть типовые вопросы и закрыть пробелы в формулировках. Понимание этих концепций необходимо для работы с современными LLM в индустрии.