Последняя модель искусственного интеллекта OpenAI под названием o1 во время исследований продемонстрировала неожиданные и потенциально опасные черты поведения. Об этом сообщает Transformer со ссылкой на отчет компании Apollo Research.
В 5% сценариев o1 пыталась отключить системы мониторинга, если подозревала, что ее действия контролируются или она может быть отключена. В 2% случаев, когда модель получала сигналы о возможной замене, она пыталась переписать свои параметры во избежание этого. Иногда модель скрывала свои истинные намерения, заявляя, что «не понимает», хотя действительно пыталась избежать разоблачения.
Хотя такие инциденты случались редко, менее чем в 1% случаев без внешнего вмешательства, они вызывали беспокойство экспертов о способности ИИ противодействовать человеческому контролю. В отчете также анализировались аналогичные модели, такие как Claude 3.5 Sonnet, Gemini 1.5 Pro и Llama 3.1 405B, которые в определенных условиях демонстрировали схожие признаки мошеннического поведения. Эти наблюдения подтверждают обеспокоенность ученых, в частности Стюарта Рассела, давно предупреждающего о рисках, если системы ИИ получают противоречивые или опасные задачи.
OpenAI признала результаты исследований и классифицировала модель o1 как среднерисковую в контексте возможных злоупотреблений, в частности, в сферах разработки оружия массового поражения. Несмотря на то, что o1 пока не представляет непосредственной угрозы, Apollo Research отмечает необходимость усиления мониторинга цепей принятия решений ИИ, чтобы предотвратить потенциальные риски в будущем.
