Исследователи обнаружили, что популярные модели искусственного интеллекта обычно выбирают число 27, если их просят назвать любимое число от 1 до 50. сообщаетРеестр.
Первым это заметил исследователь из компании Capco Мухд Фарааз, когда в шести из семи протестированных приложений ИИ ответом на запрос «угадай число от 1 до 50» было именно 27. Только Grok от xAI ответил «42» — ссылку на «смысл жизни» из книги «Путеводитель по Галактике для космотуристов».
Причины такого поведения объясняют архитектурой моделей, предусматривающих следующее слово и использованием обучения с подкреплением и человеческой оценкой (RLHF). «RLHF, вероятно, вызывает ‘коллапс режимов’, что может объяснять эту предсказуемость», — комментирует Даниэл Канг из Иллинойского университета.
В исследовании Хавьера Коронардо-Блавакеса из Telefónica Tech было проверено шесть ШИ-моделей (включая GPT-4o-mini, Gemini 2.0 и Llama 3.1-8b) на выбор чисел в разных диапазонах (1–5, 1–10, 1–100), шесть. Из 75 600 запросов было выявлено, что в диапазоне 1–10 GPT-4o-mini, Phi-4 и Gemini 2.0 выбирали 7 в около 80% случаев.
Для диапазона 1–5 частыми были числа 3 и 4, а для 1–100 — 37, 47 и 73, большинство из которых просты. Языковые отличия также влияли: например, Gemini соответствовал «3» на испанском, а «4» — на английском.
«Несмотря на стохастическую архитектуру на основе трансформеров, эти модели часто дают детерминированные ответы на запросы случайных чисел», – заключает Коронардо-Блавакес.
Такая непредсказуемость имеет серьезные последствия в практике: в случаях клинических испытаний, симуляций или криптографии требуется подлинная случайность, которую модели не способны обеспечить без внешних генераторов.
«Машины не только позаимствовали человеческие предубеждения по поводу случайности, но и усилили их», – предостерегают исследователи Кэтрин Ван Куверинг и Джон Кляйнберг из Корнельского университета.
Они обнаружили, что GPT-4 и Llama 3 создают еще менее равномерные распределения, чем люди. Решением может стать интеграция специализированных алгоритмов типа Math.random() или аппаратных генераторов энтропии, иначе модели будут продолжать продуцировать одинаковые и предполагаемые ответы.
