На презентации iPhone Duo в среду Apple представила набор функций Siri ИИ Audio Intelligence: Siri Recap, Live Rewind, Sound Recognition и Music Recognition. Одновременно компания опубликовала документ, в котором подробно описала, как новые возможности «фонового прослушивания» сочетаются с защитой приватности. Главное заявление: необработанное аудио с микрофона обрабатывается внутри выделенного аппаратного модуля, не сохраняется в виде файла и не доступно операционной системе, приложениям или самой Apple.
Техническая основа — Secure Exclave в чипе S11, который стоит в Apple Watch Series 12 и Apple Watch Ultra 4. Это аппаратно изолированный блок, встроенный в кристалл, который обрабатывает сенсорные данные отдельно от остальной системы. Аудио с микрофона попадает в Secure Exclave, где проходит первичную обработку для распознавания речи, звуков или музыки. При этом буфер представляет собой непрерывно перезаписываемый поток, существующий только внутри защищённого оборудования, и аудиозапись не создаётся. По словам Apple, данные, обработанные в Secure Exclave, не могут быть доступны watchOS, приложениям, пользователю или Apple.
| Функция | Описание | Управление |
|---|---|---|
| Siri Recap | Текстовая сводка на основе обработанного аудио | Пользователь выбирает, какой текст сохранять |
| Live Rewind | Возврат к недавно прозвучавшему фрагменту | Активируется двойным нажатием Digital Crown |
| Sound Recognition | Распознавание звуков | Не указано |
| Music Recognition | Распознавание музыки | Не указано |
Пользователь контролирует, когда функции Audio Intelligence активны. Live Rewind, например, требует двойного нажатия на Digital Crown для каждого включения. Если обработку нужно передать на iPhone, данные шифруются и передаются через Secure Exclave обоих устройств. Пользователь также выбирает, какой текст сохранять из Siri Recap и Live Rewind. Синхронизация этого текста с iCloud идёт с оконечным шифрованием при наличии пароля на устройстве и двухфакторной аутентификации iCloud.
Обработка звука происходит в Secure Exclave — аппаратно изолированном модуле чипа S11 в Apple Watch Series 12 и Apple Watch Ultra 4.
Новые функции появляются на фоне растущего внимания к тому, как голосовые ассистенты обрабатывают звук. Apple делает ставку на аппаратную изоляцию вместо программных ограничений: Secure Exclave существует на уровне кремния, что усложняет доступ к данным даже для самой компании. Это отличается от подхода, при котором аудио сначала отправляется на серверы для обработки. В документе подчёркивается, что буфер не создаёт аудиозапись и постоянно перезаписывается.
Для пользователя это означает, что новые функции Siri Recap, Live Rewind, Sound Recognition и Music Recognition могут работать без передачи сырого звука за пределы устройства. Однако остаётся открытым вопрос, как именно обрабатываются данные после первичного анализа в Secure Exclave и какие метаданные могут покидать устройство. Apple не раскрывает деталей о том, как формируется текст для Siri Recap и какие именно данные синхронизируются. Тем не менее, документ задаёт рамку: приватность обеспечивается на уровне железа, а контроль остаётся за пользователем.
