ChatGPT создает угрозу для пользователей, поскольку часто предоставляет неправильные URL-адреса для доступа к сайтам крупных компаний. Об этом сообщаетРеестр.
Модели GPT-4.1 правильно указывают адреса официальных сайтов в сфере финансов, торговли, технологий и коммунальных услуг только в 66% случаев. Из 131 проверенного адреса 34% были неточные: 29% вели на несуществующие или отмененные ресурсы, а еще 5% — на легитимные, но неправильные сайты. В частности, вместо официального сайта банка Wells Fargo ChatGPT выдал ссылку на имитирующий его фишинговый ресурс.
Этим активно пользуются киберпреступники. Как пояснил руководитель направления киберугроз Netcraft Роб Данкан, злоумышленники могут отследить, какие ошибки допускает модель, зарегистрировать соответствующие свободные домены и создать фальшивые вебсайты.
Основная проблема состоит в том, что языковые модели формируют ответы на основе текстовых ассоциаций, а не проверяют подлинность ссылок. В исследовании также описан случай с блокчейном Solana: мошенники создали фальшивые GitHub-репозитории, аккаунты и документацию, которые могли ввести модель в заблуждение, из-за чего ложные ресурсы попадали в ответы ИИ вместо проверенных данных из поисковых систем.
По мнению Данкана, растущая популярность чат-ботов на базе ИИ, которые все чаще используются вместо традиционного поиска, усугубляет угрозу, поскольку пользователи не всегда осознают возможные неточности. В этой связи Netcraft призывает разработчиков улучшать механизмы проверки URL-адресов в языковых моделях.
