OpenAI объявила о назначении Пола Кристиано в совет Фонда OpenAI. Он будет неголосующим наблюдателем в совете директоров OpenAI Group PBC и присоединится к Комитету по безопасности и защите (SSC) Фонда, который курирует практики безопасности во всей организации, включая коммерческое подразделение. Кристиано будет работать под руководством председателя комитета Зико Колтера.
Кристиано — заметная фигура в области безопасности ИИ. Он основал Alignment Research Center (ARC), некоммерческую организацию, занимающуюся согласованием продвинутых ИИ-систем с интересами человека. С 2017 по 2021 год он руководил исследованиями alignment в OpenAI и внес вклад в разработку reinforcement learning from human feedback (RLHF) — метода, который стал ключевым для обучения современных языковых моделей с учетом предпочтений людей. Кроме того, он имеет государственный опыт: работал старшим техническим советником в Центре стандартов и инноваций в области ИИ (CAISI) при NIST, где занимался оценкой возможностей frontier-моделей, включая аспекты национальной безопасности, и разрабатывал подходы к снижению рисков.
Назначение Кристиано в совет Фонда — шаг, который может усилить независимый взгляд на управление безопасностью в OpenAI. Фонд OpenAI — это отдельная некоммерческая организация, которая контролирует OpenAI Group PBC и владеет значительной долей в ней. SSC, в который вошел Кристиано, обеспечивает надзор за практиками безопасности и защиты во всех подразделениях OpenAI. Кристиано известен своей позицией о том, что продвинутый ИИ может нести катастрофические риски, и что разработчики должны готовиться к этому до того, как системы достигнут опасного уровня возможностей. Он неоднократно высказывался о недостаточности существующих мер безопасности в индустрии.
Кристиано имеет опыт работы в NIST и CAISI, где занимался оценкой рисков frontier-моделей ИИ.
Для читателя, следящего за развитием ИИ, это назначение — сигнал о том, что OpenAI продолжает усиливать свои механизмы управления безопасностью, привлекая людей с техническим бэкграундом и независимой позицией. Это происходит на фоне растущего внимания к регулированию ИИ и дебатов о том, насколько адекватны меры предосторожности у ведущих лабораторий. Кристиано, с его опытом в государственных структурах и исследованиях alignment, может стать важным голосом в этих дискуссиях, особенно в контексте оценки рисков национальной безопасности, связанных с новыми моделями.
Хотя Кристиано не будет иметь права голоса в совете директоров OpenAI Group PBC, его участие в SSC дает ему возможность влиять на решения по безопасности. Это назначение также отражает тенденцию к привлечению внешних экспертов в управление ИИ-компаниями, что может стать примером для других организаций, работающих в этой сфере.
