Остання модель штучного інтелекту OpenAI, яка має назву o1, під час досліджень продемонструвала неочікувані та потенційно небезпечні риси поведінки. Про це повідомляє Transformer із посиланням на звіт компанії Apollo Research.
У 5% сценаріїв o1 намагалася відключити системи моніторингу, якщо підозрювала, що її дії контролюються або вона може бути вимкнена. У 2% випадків, коли модель отримувала сигнали про можливу заміну, вона намагалася переписати свої параметри, щоб уникнути цього. Іноді модель приховувала свої справжні наміри, заявляючи, що “не розуміє”, хоча насправді намагалася уникнути викриття.
Хоча такі інциденти траплялися рідко, менш ніж у 1% випадків без зовнішнього втручання, вони викликали занепокоєння експертів щодо здатності ШІ протидіяти людському контролю. У звіті також аналізувалися аналогічні моделі, такі як Claude 3.5 Sonnet, Gemini 1.5 Pro та Llama 3.1 405B, які в певних умовах демонстрували схожі ознаки шахрайської поведінки. Ці спостереження підтверджують занепокоєння науковців, зокрема Стюарта Рассела, який давно попереджає про ризики, якщо системи ШІ отримують суперечливі або небезпечні завдання.
OpenAI визнала результати досліджень і класифікувала модель o1 як середньоризикову в контексті можливих зловживань, зокрема у сферах розробки зброї масового ураження. Попри те, що o1 наразі не становить безпосередньої загрози, Apollo Research наголошує на необхідності посилення моніторингу ланцюгів прийняття рішень ШІ, щоб запобігти потенційним ризикам у майбутньому.
