Джейкоб Цимерман, математик из Университета Торонто, получивший Филдсовскую премию — одну из самых престижных наград в математике, — переходит в OpenAI для работы над безопасностью ИИ. Об этом сообщает The Decoder. Цимерман известен не только своими работами в теории чисел, но и публикацией о «событиях омницида» — сценариях, при которых ИИ может способствовать вымиранию человечества. Эта тема вызывает споры среди экспертов, но сам Цимерман считает, что паника — неверная реакция, однако риски нужно оценивать честно.
Цимерман утверждает, что ИИ — чрезвычайно преобразующая технология, и обществу нужно приложить гораздо больше усилий для обеспечения безопасности. По его словам, математики могут внести значительный вклад, поскольку ИИ всё ещё работает в значительной степени эмпирически, без гарантий того, как эти системы на самом деле функционируют. Это заявление перекликается с давней проблемой интерпретируемости нейросетей: даже разработчики не всегда могут объяснить, почему модель приняла то или иное решение. Математический подход мог бы дать более строгие методы анализа и верификации таких систем.
Цимерман также выразил уверенность, что ИИ вскоре превзойдёт людей в математических исследованиях. Это мнение разделяют не все. Демис Хассабис, бывший генеральный директор DeepMind, в интервью прокомментировал последние достижения ИИ в математике. Он считает их прогрессом, но не фундаментальным ом, сравнимым с легендарным «Move 37» от AlphaGo — ходом, который поразил мир во время матча с Ли Седолем. Для такого а, по мнению Хассабиса, ИИ должен решить задачи уровня проблем премии тысячелетия — семи математических задач, за решение каждой из которых Математический институт Клэя предлагает приз в один миллион долларов.
Цимерман считает, что математики могут внести вклад в безопасность ИИ, поскольку системы работают эмпирически и не имеют гарантий.
OpenAI, в свою очередь, уже тестирует новые модели на таких задачах. Модель Astra, о которой упоминает Хассабис, не справилась с ними, но он не исключает, что это лишь вопрос времени. «Я не вижу причин, почему бы и нет», — сказал он. Это замечание подчёркивает амбиции OpenAI в области математики и ИИ, а также растущую роль математиков в разработке безопасных и надёжных систем.
Переход Цимермана в OpenAI — знаковое событие для индустрии. Он показывает, что компании, занимающиеся ИИ, всё чаще привлекают специалистов из фундаментальной науки для решения проблем безопасности. Это также отражает более широкий тренд: математики и теоретики становятся ключевыми фигурами в дискуссиях о будущем ИИ, особенно в части гарантий и ограничений этих систем. Пока остаётся открытым вопрос, смогут ли математические методы повысить безопасность ИИ, но привлечение таких умов, как Цимерман, — шаг в этом направлении.
