Codex — облачный ИИ-ассистент OpenAI для написания и отладки кода — получил функцию Appshots, которая меняет способ передачи контекста в модель. До этого пользователю приходилось вручную копировать нужный текст, делать скриншоты или описывать содержимое окна словами. Теперь достаточно нажать обе клавиши Command: активное окно Mac отправляется в текущий тред Codex автоматически.
Ключевое отличие Appshots от простого скриншота — модель получает текстовое содержимое окна, в том числе то, что находится за пределами видимой области прокрутки. Это означает, что длинная документация к API, многостраничный черновик в текстовом редакторе или полный лог ошибок передаются целиком, а не обрезаются по границе экрана. Для Codex это существенно: качество ответа напрямую зависит от полноты контекста, и раньше пользователи теряли часть информации именно на этапе передачи.
Ограничения у функции есть. Для веб-сервисов — Google Docs, Gmail и аналогичных — Appshots иногда захватывает только видимый скриншот без полного текста. Причина в архитектуре браузерных приложений: их содержимое сложнее извлечь через системные API доступности, чем у нативных приложений. Для работы функции пользователь должен предоставить macOS разрешения на запись экрана и доступ к Accessibility API.
Codex получает содержимое за пределами видимой области прокрутки: документацию API, письма, сообщения об ошибках.
Appshots дополняет функцию Computer Use, анонсированную в апреле 2025 года. Computer Use позволяет Codex самостоятельно управлять интерфейсом компьютера — кликать, вводить текст, перемещаться по приложениям. Appshots устроена проще: она только передаёт контекст, не давая модели управлять системой. Это различие оказалось важным с регуляторной точки зрения: Computer Use заблокирована в ЕЭЗ, Великобритании и Швейцарии из-за требований местного законодательства, тогда как Appshots под эти ограничения не подпадает и доступна пользователям во всех регионах на всех тарифных планах.
Для разработчиков и всех, кто работает с кодом в связке с внешними источниками — документацией, письмами с требованиями, дизайн-макетами — снижение трения при передаче контекста напрямую влияет на скорость работы. Отрасль в целом движется в сторону уменьшения ручных операций при взаимодействии с ИИ-инструментами: аналогичные механизмы захвата контекста развивают GitHub Copilot и Cursor. Appshots вписывается в эту тенденцию, оставаясь при этом разрешительной модели — без автономных действий модели в системе.
