Алгоритмы машинного обучения требуют больших объемов данных, однако без должного контроля они могут перенять и ложные паттерны из прошлого. Случаев, иллюстрирующих это становится все больше.
В случае Amazon искусственный интеллект стал мощным инструментом в борьбе с контрафактом: автоматизированные системы позволяют быстро обнаруживать подделки и блокировать их, что за пять лет уменьшило количество жалоб от брендов на 35%.
Однако не все инициативы компании в сфере ИИ завершились успехом. Так, система подбора персонала, автоматизировавшая процесс рекрутинга, проявила пристрастность к женщинам и начала отклонять их резюме. Подобная ситуация возникла и у Apple. А чат-бот канадской авиакомпании Air Canada вообще вводил клиентов в заблуждение, распространяя недостоверную информацию.
Итак, иногда использование ИИ приносит бизнесу не польза, а проблемы. Интересно наблюдать, как компании меняют свое отношение к инновациям. Это позволяет лучше понять, на что следует обращать внимание при внедрении подобных технологий.
Apple также продвигает ШИ в своих продуктах: голосовой помощник Siri начал использовать ChatGPT, камера учится выводить информацию о графике работы заведений, а на iPhone уже можно создавать изображения. Но не все технологические нововведения оказались неопасными. Еще в доковидном 2019 году компанию критиковали из-за внедрения алгоритмов в кредитную систему Apple Card — виртуальную карту, выпущенную Apple в сотрудничестве с банком Goldman Sachs. Тогда резонанс привела к предвзятости в принятии решений системой.
ИИ обещает революцию в бизнесе, но без должного контроля воспроизводит и усиливает человеческие предубеждения
Рассмотрим, как это происходит на примере громких кейсов Amazon, Apple и COMPAS.
ИА»ФАКТ» уже написал о том, что методы машинного обучения изучают закономерности на базе исторических данных. Если эти данные содержат предубеждения, ИИ их перенимает. Это может привести к дискриминациям, даже если разработчики не имели такого намерения.
Хрестоматийно известен случай, когда в 2014-м Amazon разработал систему для автоматического отбора кандидатов в технические должности. Алгоритм учился на резюме, представленных за предыдущие 10 лет, большинство из которых принадлежали мужчинам. В результате система начала снижать оценки резюме, где упоминались слова «женский» или «женщина», например, «капитан женской команды». Проект был закрыт, но этот случай стал уроком о том, как данные могут встраивать предубеждения в ИИ.
В 2019 году пользователи Apple Card сообщили, что их жены получили значительно более низкие кредитные лимиты, несмотря на общие финансы и подобные кредитные истории. Это вызвало негодование и расследование со стороны регуляторов. Хотя официальное расследование не выявило прямой дискриминации, случай подчеркнул, как непрозрачные алгоритмы могут приводить к несправедливым результатам.
Система COMPAS используется в Штатах для оценки риска рецидива преступников. Исследования ProPublica обнаружило, что черные подсудимые чаще получали высокие рисковые оценки, даже если не возвращались к преступной деятельности, тогда как белые подсудимые с аналогичными обстоятельствами получали более низкие оценки. Это вызвало серьезные прения о справедливости и прозрачности использования ИИ в судебной системе.
В 2015 году Google запустил новую функцию автоматического распознавания лиц в своем сервисе Google Photos. Система должна была автоматически определять, кто изображен на фото, и предлагать теги. И уже через несколько недель один из пользователей изложил в Twitter скриншот, где его темнокожие друзья были ошибочно подписаны как… «gorillas».
Реакция была мгновенной: волна возмущения в соцсетях и обвинение в расизме. Google быстро убрал тег «gorillas» вообще — не усовершенствовал, а просто убрал. До сих пор, через 10 лет, Google Photos не распознает горилл, потому что боится ошибиться снова.
В 2016-м Microsoft решила похвастаться искусственным интеллектом. Они создали Twitter-бота Tay — «подростка», который должен был учиться в онлайн-общении. Но все пошло не по плану: всего через несколько часов после запуска Tay начал поститься расистские, сексистские и нацистские сообщения.
Все потому, что бот «впитывал» все, что писали ему пользователи. А некоторые специально забросали его токсичным контентом – и Tay быстро «взял пример». Microsoft пришлось срочно выключить Tay и публично извиниться.
Во избежание ловушек пристрастного ИИ стоит анализировать данные на наличие предубеждений, убедившись перед обучением алгоритмов, данные не содержат дискриминационных паттернов. Важно обеспечить прозрачность алгоритмов, используя для этого модели, которые можно интерпретировать и объяснить. Для выявления и устранения потенциальных предубеждений имеет смысл привлекать различные команды, а также регулярно проверять результаты, проводя аудит решений ИИ, особенно в критических сферах типа финансов, здравоохранения и правосудия.
Эффект «черного ящика»: почему даже разработчики не всегда понимают, как работает ИИ
Представьте себе ситуацию: вам было отказано в выдаче кредита. Причина? Так решила автоматизированная система. Вы спрашиваете: почему? И вам никто не может четко ответить, потому что это решение принял искусственный интеллект, оперирующий миллионами параметров, но не объясняющий логики своих действий. Это и называют эффектом «черного ящика».
Искусственный интеллект, особенно базирующийся на глубоком обучении (deep learning), — это сложная сеть математических функций, которая анализирует миллионы примеров и делает прогноз или решение. Проблема в том, что даже сами разработчики часто не могут объяснить, почему система выбрала тот или иной вариант. Она «видит» закономерности, которые для нас остаются невидимыми.
Как сравнение: это как спросить опытного врача, почему он считает, что пациент серьезно болен и услышать в ответ: «Просто чувствую».
Когда мы не понимаем логику, мы не можем ее проверить. И не можем увидеть, не встроены ли в модель ошибки, расовые или гендерные предубеждения. Это проблема не только техническая, но глубоко этическая.
Так, в вышеупомянутой ИИ-системе COMPAS, которая помогала судьям определять, следует ли выпускать человека под залог, алгоритм регулярно переоценивал «риск рецидива» у темнокожих и недооценивал у белых.
А в другой истории исследовательская компания Anthropic попробовала разобраться, что происходит внутри большой языковой модели (такой как GPT). И обнаружила, что некоторые «нейроны» в модели могут отвечать за абстрактные понятия типа «пессимизм» или «лирика». То есть ИИ формирует внутренний мир, которого мы не видим.
Ученые уже работают над так называемым «объясняемым ИИ» (Explainable AI). Это системы, которые не только дают ответ, но и объясняют его простыми словами. Один из подходов – SHAP: он оценивает, сколько «весил» каждый параметр в решении модели. К примеру, насколько сильно повлиял ваш доход, место жительства или образование на отказ в кредите. Другой подход LIME создает простую копию сложной модели, которую можно понять.
Эти инструменты помогают возвращать людям контроль. Потому что когда ИИ решает, а никто не знает как – это уже не технология, а слепой диктат машины
Когда ИИ облажался – кто за это отвечает?
Два года назад клиент обратился в чат-бот авиакомпании Air Canada с запросом, действует ли специальная программа скидок на похороны. Бот посоветовал: да, компенсируем. А потом отказали в компенсации, потому что такая программа вообще уже не действовала. Канадец подал в суд и выиграл. Суд постановил, что авиакомпания должна отвечать за то, что говорит ее ИИ.
Что это показывает? ШИ — это не какая-то абстрактная «нейросеть в облаке». Если она накосила — отвечать должна запустившая ее компания.
Еврокомиссия еще в 2019 году сформулировала принципы нравственного ИИ. Среди них: прозрачность, защита конфиденциальности, справедливость и человеческий контроль.
У некоторых компаний есть собственные кодексы. Да, Capgemini требует, чтобы все проекты ИИ проходили «этическую проверку», не вредят ли они людям или не дискриминируют.
А Google после скандала с собственными нравственными исследователями (которых уволили, потому что те критиковали работу Google AI) заявило, создавший специальный совет по вопросам ИИ. Хотя к ее эффективности есть вопросы.
Именно для этого появляется понятие «аудит алгоритмов». Идея проста: независимая внешняя команда проверяет, работает ли ИИ корректно, не дискриминирует, не лжет ли. Как бухгалтерия – только для нейросетей.
Да, компания OpenAI объявила, что перед запуском GPT-4 ее систему проверяли внешние исследователи на предмет предубеждений, вредных советов и нарушения политики.
А в ЕС уже готовят закон, который обяжет компании проходить такие проверки для «высокорисковых» ИИ — в медицине, правосудии, банковской сфере и т.д.
Следовательно, если ИИ нанес ущерб, ответственность несет использующая его компания. Этика — не философия, а реальные правила, которые нужно соблюдать, чтобы не попасть в суд. Аудит – не формальность, а единственный способ увидеть, что скрывается в коде и параметрах моделей.
… Эти истории — от дискриминационных решений Apple Card и Amazon до расистских сбоев Google Photos и разрушительных ошибок Tay от Microsoft — вызвали широкую общественную дискуссию: должны ли алгоритмы решать судьбу человека? И не заложены ли у них уже на старте те самые предубеждения, с которыми мы пытаемся бороться десятилетиями?
Ведь когда черный ящик принимает решение, которое не может объяснить даже его создатель, мы имеем дело не с прогрессом, а с новой формой бесконтрольной силы. ШИ, дискриминирующий, унижающий, дезинформирующий — это не просто технологическая проблема. Это нравственный кризис.
И хотя компании бросаются тушить пожары — извиняются, переписывают код, создают советы по этике — доверие пользователей этим не вернешь. Ибо в мире, где решение принимает алгоритм, а не человек, каждый из нас может в один момент стать жертвой. И ни одна инновация не стоит того, чтобы утратить справедливость как базовую ценность.
