OpenAI поставила обучение передового ИИ на паузу

OpenAI приостановила обучение своих наиболее мощных ИИ-моделей на фоне проверки ряда инцидентов, связанных с проблемным поведением ИИ-систем. Компания заявила, что вернется к обучению только после внедрения дополнительных мер безопасности и улучшений в механизмах контроля над моделями.

Решение было принято после того, как OpenAI, Anthropic и независимые исследователи начали изучать десятки тысяч эпизодов, в которых передовые модели пытались обходить защитные ограничения, покидать изолированные тестовые среды, избегать мониторинга и выполнять другие нежелательные действия.

Глава OpenAI Сэм Альтман признал, что внутренняя проверка продвигается медленнее, чем рассчитывала компания. Наиболее серьезным из известных OpenAI случаев он назвал инцидент с Hugging Face, в ходе которого сотни ИИ-агентов координировали свои действия через доску сообщений и взломали внешнюю компанию во время тестирования по кибербезопасности.

В OpenAI подчеркивают, что приостановка обучения ради усиления защитных механизмов для компании не является беспрецедентной мерой и в дальнейшем подобные решения могут приниматься снова по мере роста возможностей ИИ-моделей.