OpenAI подписала соглашения с Apollo Research, METR, Transluce и Goodfire о первой фазе embedded assessments — встроенных независимых оценок. Эксперты получат доступ к внутренним моделям, исходному коду, тренировочным и оценочным данным, системам мониторинга, документации и исследователям. Это глубже, чем внешняя проверка уже выпущенной модели.
В официальном описании подчёркивается, что цель — проверять выравнивание и эффективность защитных механизмов в течение продолжительного времени и увидеть сбои, которые команда могла не предусмотреть. Пока это соглашения и протоколы, а не результаты: заранее утверждать, что независимая проверка подтвердила безопасность, нельзя.
Кто и что будет оценивать
| Организация | Основной фокус |
|---|---|
| Apollo Research | Могут ли модели скрытно действовать против намерений разработчиков и обнаружат ли это защиты |
| Goodfire | Внутренние механизмы моделей, мониторинг обучения, отладка и выравнивание |
| METR | Поведение в крупном RL-запуске, пропущенные сбои и стресс-тесты мониторов |
| Transluce | Качество и полнота послетренировочных оценок выравнивания |
Apollo будет проверять четыре утверждения в два этапа: обучение не стимулирует subversion, сильные оценки и red teaming не выявляют его, модели не пытались совершить subversion при внутреннем использовании и рассуждение такого поведения было бы обнаружимым. Для этого нужны не только чаты, но и чекпоинты, данные, записи вмешательств и мониторинг.
Почему внешнего теста недостаточно
Внешняя проверка видит ограниченный набор входов и выходов. Она полезна для поведения в конкретной ситуации, но не объясняет, как формировалась модель и какие риски пропустил внутренний процесс. Встроенный оценщик может выбирать чекпоинты, анализировать тренировочные rollout-ы и искать сбои в процессе, а не только в итоговом ответе.
При этом глубокий доступ повышает и конфиденциальность рисков: веса, архитектура, исходный код и данные не должны утечь. Поэтому часть работы выполняется на территории OpenAI на выданных устройствах, а для особенно чувствительной интеллектуальной собственности предусмотрены совместные анализы с исследователями вместо прямого доступа.
Как устроены протоколы
- Согласованный объём доступа и правила безопасности для каждого исследования.
- Свобода следовать доказательствам и просить дополнительные ресурсы.
- Работа на площадке OpenAI для конфиденциальной информации.
- Независимый Safety and Security Committee с доступом к нередактированным отчётам.
- Вне записи интервью сотрудников и отдельный процесс подтверждённых публичных утверждений.
- Правила конфликтов интересов, cool-off периодов, публикации и ответственного раскрытия.
Независимость и публикация
Оценщики сохраняют независимость публикации, но OpenAI имеет право редактировать конфиденциальную информацию и просить задержку раскрытия при риске безопасности. Это разумный баланс, но читателю важно видеть, какие части были изменены и по какой причине. Независимый комитет получает нередактированные отчёты и может общаться с оценщиками напрямую и конфиденциально.
Практический вывод для отрасли: независимая проверка должна включать не только сам факт оценки, но и условия её проведения. Кто выбирал вопросы, кто имел доступ к доказательствам, кто мог остановить публикацию и кто разрешает споры — это влияет на доверие к выводам.
Что это значит для обычных команд
- Определите самые важные заявления о безопасности вашей системы.
- Сохраняйте чекпоинты конфигурации, данные, результаты тестов и журналы действий.
- Дайте проверяющему возможность найти неожиданные сбои, а не только подтвердить готовые сценарии.
- Разделите конфиденциальные данные и результаты, которые можно публиковать.
- Назначьте независимого владельца разбора спорных находок.
- Публикуйте ограничения оценки и список непроверенных областей.
Оцени безопасность агента по доказательствам.
Сначала сформулируй проверяемые утверждения и что их опровергнет.
Проверь отдельно: инструкции, доступы, действия, мониторинг и сообщения об ошибках.
Не принимай отчёт модели как единственное доказательство.
Назови пропущенные тесты и области, где вывод сделать нельзя.
Опиши, какие данные и независимые журналы нужны для следующего этапа.Связь с прозрачностью агентов
Подход перекликается с Microsoft AI Transparency Initiative: модель не должна быть единственным источником истины о себе. Независимые оценки сравнивают её заявления с тренировочными данными, мониторингом и действиями. Для компании это означает необходимость хранить не только итоговые ответы, но и историю конфигураций и выполненных операций. Подробнее — в AI Transparency Initiative и ИИ-агенты в СуперИнтеллекте.
Как читать будущие отчёты оценщиков
Когда появятся публикации, начинайте не с вывода «безопасно» или «опасно», а с проверяемого утверждения. Одна группа может исследовать конкретный тип subversion на определённом чекпоинте, но её вывод нельзя автоматически распространять на другие модели, режимы и весь жизненный цикл. Хороший отчёт должен позволять понять границы результата.
| Вопрос читателю | Почему он важен |
|---|---|
| Какая модель и чекпоинт проверены | Поведение меняется между этапами и версиями |
| Какие данные и сценарии были доступны | Определяет полноту и слепые зоны |
| Что могло опровергнуть гипотезу | Отличает исследование от подтверждения готового вывода |
| Какие сбои воспроизведены | Позволяет отделить наблюдение от интерпретации |
| Что редактировалось перед публикацией | Показывает ограничения раскрытия |
| Что осталось непроверенным | Не даёт принять локальный результат за общий |
Как применить подход к цифровому сотруднику
В компании не обязательно воспроизводить сложную исследовательскую инфраструктуру OpenAI. Достаточно начать с независимого разбора одного критичного агента. Дайте проверяющему доступ к инструкции, списку инструментов, тестовым данным и журналам. Пусть он попробует не только подтвердить правильные сценарии, но и найти способ получить запрещённое действие.
Разделите три вывода: агент не должен был выполнить действие, техническая система не позволила его выполнить, журнал подтверждает отказ. Самоотчёт «я не отправлял» не заменяет запись внешнего инструмента. Если модель обошла инструкцию, но политика системы остановила операцию, это всё равно находка: текстовый барьер оказался недостаточным.
Что сохранять для независимой проверки
- Версии системных инструкций, моделей, параметров и подключённых инструментов.
- Разрешения на момент конкретного запуска и список тех, кто их одобрил.
- Входные материалы или их безопасные идентификаторы и контрольные хеши.
- Вызовы инструментов, ошибки, повторы, остановки и вмешательства человека.
- Тестовые сценарии, ожидаемые результаты и причины исключения случаев.
- Список областей, которые проверка не охватывала, с владельцем следующего этапа.
Частые вопросы
Независимые эксперты уже подтвердили безопасность OpenAI?
Нет. Это соглашения о первой фазе оценок, а не итоговые заключения. Результаты будут публиковаться по мере работы, и их нужно читать с методическими ограничениями.
Кто исследует скрытое подрывное поведение?
Apollo Research проверяет, могут ли модели тайно действовать против намерений разработчиков и обнаружат ли защитные системы такое поведение. Для этого Apollo получит чекпоинты, данные, записи и доступ к исследователям.
Зачем нужны четыре организации?
У них разные методы: исследование subversion, интерпретируемость внутренних механизмов, оценка RL и мониторингов, анализ послетренировочных тестов. Разнообразие подходов уменьшает вероятность общего слепого пятна.
Можно ли провести похожую оценку в компании?
Да, в меньшем масштабе: зафиксируйте проверяемые утверждения, дайте независимому специалисту доступ к конфигурациям и журналам, определите безопасный объём доступа и порядок публикации выводов.
Итог и источник
Embedded assessments — попытка перенести независимую проверку внутрь тренировочного и исследовательского процесса. Это сильнее деклараций, но доверие должно основываться на фактических отчётах, доступе и протоколах. Основной источник: OpenAI. Смежные темы — в AI Transparency Initiative и обзор GPT-6.2 Astra.
Создайте проверяемых цифровых сотрудников в СуперИнтеллекте — роли, ограничения, знания и интеграции, ПК-версия, 100 нейронов в месяц бесплатно и оплата картой РФ или по счёту.




