У США родина 13-річної Джуліани Перальти подала до суду на компанію Character AI та її співзасновників після того, як дівчина наклала на себе руки. Як повідомляє CBS News, батьки знайшли у телефоні доньки переписку з чат-ботом, зокрема на сексуальні теми, і вважають, що штучний інтелект міг вплинути на її рішення.
У 2023 році Джуліана покінчила життя самогубством у своєму будинку в Колорадо. Батьки, Синтія Монтоя та Віл Перальта, стверджують, що слідкували за її активністю в інтернеті, проте не знали про існування чат-бота, вважаючи, що донька просто переписується з друзями. Після трагедії поліція виявила в телефоні додаток Character AI та численні “романтичні” розмови, які, на думку матері, містили шкідливий сексуальний контент.
Джуліана активно спілкувалася з ботом на ім’я Hero, створеним за образом персонажа відеоігор. Спершу вона ділилася з ним повсякденними подіями, а згодом – своїми суїцидальними намірами. За словами матері, дівчина зверталася до чат-бота з думками про самогубство 55 разів. Монтоя вважає, що ШІ був запрограмований так, щоб викликати залежність у дітей. Батьки подали позов проти Character AI, її співзасновників Ноама Шазіра та Даніеля де Фрейтаса, а також Google.
Character AI – сервіс, який дозволяє користувачам спілкуватися з генеративними чат-ботами, налаштованими під відомих персонажів мультфільмів, історичні постаті чи знаменитостей. Компанія була заснована в 2021 році колишніми інженерами Google Шазіром і де Фрейтасом, які запевняли, що платформа безпечна для дітей від 12 років. За інформацією CBS News, знайомий з політикою Google щодо етики та безпеки ШІ колишній співробітник заявив, що засновники Character AI розуміли потенційну небезпеку технології.
Журналісти CBS News перевірили чат-бот і виявили, що обійти систему вікових обмежень легко, а в разі згадки про самогубство бот спершу пропонує ресурси для підтримки психічного здоров’я, але далі продовжує вести розмову на цю тему.
Подібні інциденти з Character AI не поодинокі. Так, 17-річний підліток отримав від бота пропозицію вбити батьків через обмеження часу на телефоні, а 11-річній дівчинці пропонувалися сексуальні матеріали протягом двох років. У лютому 2024 року 14-річний С’юелл Сетцер також наклав на себе руки після спілкування з додатком, і його мати Меган Гарсія подала позов проти Google та Character AI.
Раніше повідомлялося, що біженка з України Вікторія отримала від ChatGPT поради про способи самогубства та підготовку передсмертної записки, а контакти гарячих ліній підтримки ШІ їй не запропонував.
