Дослідники виявили, що популярні моделі штучного інтелекту зазвичай обирають число 27, якщо їх просять назвати улюблене число від 1 до 50. Це свідчить про відсутність справжньої випадковості — моделі насправді відтворюють знайомі патерни з навчальних даних, повідомляє The Register.
Першим це помітив дослідник із компанії Capco Мухд Фарааз, коли у шести з семи протестованих застосунків ШІ відповіддю на запит “вгадай число від 1 до 50” було саме 27. Лише Grok від xAI відповів “42” — посилання на “сенс життя” з книги “Путівник по Галактиці для космотуристів” Дугласа Адамса.
Причини такої поведінки пояснюють архітектурою моделей, які передбачають наступне слово, та використанням навчання з підкріпленням і людською оцінкою (RLHF). “RLHF, ймовірно, спричинює ‘колапс режимів’, що безпосередньо може пояснювати цю передбачуваність”, – коментує Даніел Канґ з Іллінойського університету.
У дослідженні Хав’єра Коронардо-Блавакеса з Telefónica Tech було перевірено шість ШІ-моделей (включно з GPT-4o-mini, Gemini 2.0 і Llama 3.1-8b) на вибір чисел у різних діапазонах (1–5, 1–10, 1–100), шістьма мовами та з різними рівнями temperature. Із 75 600 запитів виявили, що у діапазоні 1–10 GPT-4o-mini, Phi-4 і Gemini 2.0 обирали 7 у близько 80% випадків.
Для діапазону 1–5 частими були числа 3 і 4, а для 1–100 — 37, 47 і 73, більшість із яких є простими. Мовні відмінності також впливали: наприклад, Gemini відповідав “3” іспанською, а “4” — англійською.
“Попри стохастичну архітектуру на основі трансформерів, ці моделі часто дають детерміновані відповіді на запити випадкових чисел”, – підсумовує Коронардо-Блавакес.
Така непередбачуваність має серйозні наслідки в практиці: у випадках клінічних випробувань, симуляцій чи криптографії потрібна справжня випадковість, яку моделі не здатні забезпечити без зовнішніх генераторів.
“Машини не лише запозичили людські упередження щодо випадковості, але й посилили їх”, – застерігають дослідники Кетрін Ван Куверінґ і Джон Кляйнберг з Корнельського університету.
Вони виявили, що GPT-4 і Llama 3 створюють ще менш рівномірні розподіли ніж люди. Вирішенням може стати інтеграція спеціалізованих алгоритмів на кшталт Math.random() або апаратних генераторів ентропії, інакше моделі продовжуватимуть продукувати однакові й передбачувані відповіді.
