Алгоритми машинного навчання потребують великих обсягів даних, однак без належного контролю вони можуть перейняти й хибні патерни з минулого. Випадків, що ілюструють це, стає все більше.
У випадку Amazon штучний інтелект став потужним інструментом у боротьбі з контрафактом: автоматизовані системи дозволяють швидко виявляти підробки та блокувати їх, що за п’ять років зменшило кількість скарг від брендів на 35%.
Проте не всі ініціативи компанії у сфері ШІ завершилися успіхом. Так, система підбору персоналу, що автоматизувала процес рекрутингу, виявила упередженість до жінок і почала відхиляти їхні резюме. Подібна ситуація виникла і в Apple. А чат-бот канадської авіакомпанії Air Canada взагалі вводив клієнтів в оману, поширюючи недостовірну інформацію.
Отже, іноді використання ШІ приносить бізнесу не користь, а проблеми. Цікаво спостерігати, як компанії змінюють своє ставлення до інновацій. Це дозволяє краще зрозуміти, на що варто звертати увагу при впровадженні подібних технологій.
Apple також просуває ШІ у своїх продуктах: голосовий помічник Siri почав використовувати ChatGPT, камера навчається виводити інформацію про графік роботи закладів, а на iPhone вже можна створювати зображення. Та не всі технологічні нововведення виявилися безпечними. Ще у доковідному 2019 році компанію критикували через впровадження алгоритмів у кредитну систему Apple Card — віртуальну картку, випущену Apple у співпраці з банком Goldman Sachs. Тоді резонанс спричинила упередженість у прийнятті рішень системою.
ШІ обіцяє революцію в бізнесі, але без належного контролю відтворює та посилює людські упередження
Розгляньмо, як це відбувається на прикладі гучних кейсів Amazon, Apple та COMPAS.
ІА”ФАКТ” вже писало про те, що алгоритми машинного навчання вивчають закономірності на основі історичних даних. Якщо ці дані містять упередження, ШІ їх переймає. Це може призвести до дискримінаційних рішень, навіть якщо розробники не мали такого наміру.
Хрестоматійно відомий випадок, коли у 2014-у Amazon розробив систему для автоматичного відбору кандидатів на технічні посади. Алгоритм навчався на резюме, поданих за попередні 10 років, більшість з яких належали чоловікам. В результаті система почала знижувати оцінки резюме, де згадувалися слова “жіночий” або “жінка”, наприклад, “капітан жіночої команди”. Проєкт було закрито, але цей випадок став уроком про те, як дані можуть вбудовувати упередження в ШІ.
У 2019 році користувачі Apple Card повідомили, що їхні дружини отримали значно нижчі кредитні ліміти, незважаючи на спільні фінанси та подібні кредитні історії. Це викликало обурення та розслідування з боку регуляторів. Хоча офіційне розслідування не виявило прямої дискримінації, випадок підкреслив, як непрозорі алгоритми можуть призводити до несправедливих результатів.
Система COMPAS використовується в Штатах для оцінки ризику рецидиву злочинців. Дослідження ProPublica виявило, що чорні підсудні частіше отримували високі ризикові оцінки, навіть якщо не поверталися до злочинної діяльності, тоді як білі підсудні з аналогічними обставинами отримували нижчі оцінки. Це викликало серйозні дебати про справедливість та прозорість використання ШІ в судовій системі.
У 2015 році Google запустив нову функцію автоматичного розпізнавання облич у своєму сервісі Google Photos. Система мала автоматично визначати, хто зображений на фото, і пропонувати теги. Та вже за кілька тижнів один із користувачів виклав у Twitter скриншот, де його темношкірі друзі були помилково підписані як… “gorillas”.
Реакція була миттєвою: хвиля обурення в соцмережах та звинувачення в расизмі. Google швидко прибрав тег “gorillas” узагалі — не вдосконалив, а просто прибрав. І досі, через 10 років, Google Photos не розпізнає горил, бо боїться помилитися знову.
У 2016-му Microsoft вирішила похизуватися штучним інтелектом. Вони створили Twitter-бота Tay — “підлітка”, який мав навчатися в онлайн-спілкуванні. Але все пішло не за планом: усього за кілька годин після запуску Tay почав постити расистські, сексистські й нацистські дописи.
Усе через те, що бот “вбирав” усе, що писали йому користувачі. А деякі спеціально закидали його токсичним контентом — і Tay швидко “взяв приклад”. Microsoft довелося терміново вимкнути Tay і публічно вибачитися.
Для уникнення пасток упередженого ШІ варто аналізувати дані на наявність упереджень, переконавшись перед навчанням алгоритмів, що дані не містять дискримінаційних патернів. Важливо забезпечити прозорість алгоритмів, використовуючи для цього моделі, які можна інтерпретувати та пояснити. Для виявлення та усунення потенційних упереджень є сенс залучати різноманітні команди, а також регулярно перевіряти результати, проводячи аудит рішень ШІ, особливо в критичних сферах на кшталт фінансів, охорони здоров’я та правосуддя.
Ефект “чорної скриньки”: чому навіть розробники не завжди розуміють, як працює ШІ
Уявіть собі ситуацію: вам відмовили у видачі кредиту. Причина? Так вирішила автоматизована система. Ви питаєте: чому? І вам ніхто не може чітко відповісти — бо це рішення ухвалив штучний інтелект, який оперує мільйонами параметрів, але не пояснює логіки своїх дій. Це й називають ефектом “чорної скриньки”.
Штучний інтелект, особливо той, що базується на глибокому навчанні (deep learning), — це складна мережа математичних функцій, яка аналізує мільйони прикладів і робить прогноз або рішення. Проблема в тому, що навіть самі розробники часто не можуть пояснити, чому саме система обрала той чи інший варіант. Вона “бачить” закономірності, які для нас залишаються невидимими.
Як порівняння: це як спитати досвідченого лікаря, чому він вважає, що пацієнт серйозно хворий — і почути у відповідь: “Просто відчуваю”.
Коли ми не розуміємо логіки, ми не можемо її перевірити. І не можемо побачити, чи не вбудовані в модель помилки, расові чи гендерні упередження. Це — проблема не лише технічна, а глибоко етична.
Так, у вищезгаданій ШІ-системі COMPAS, яка допомагала суддям визначати, чи варто випускати людину під заставу, алгоритм регулярно переоцінював “ризик рецидиву” у темношкірих і недооцінював у білих.
А в іншій історії дослідницька компанія Anthropic спробувала розібратися, що відбувається всередині великої мовної моделі (такої як GPT). І виявила, що деякі “нейрони” у моделі можуть відповідати за абстрактні поняття на кшталт “песимізм” чи “лірика”. Тобто ШІ формує внутрішній світ, якого ми не бачимо.
Науковці вже працюють над так званим “пояснюваним ШІ” (Explainable AI). Це системи, які не лише дають відповідь, а й пояснюють її простими словами. Один із підходів — SHAP: він оцінює, скільки “важив” кожен параметр у рішенні моделі. Наприклад, наскільки сильно вплинув ваш дохід, місце проживання або освіта на відмову у кредиті. Інший підхід LIME створює просту копію складної моделі, яку вже можна зрозуміти.
Ці інструменти допомагають повертати людям контроль. Бо коли ШІ вирішує, а ніхто не знає як — це вже не технологія, а сліпий диктат машини
Коли ШІ облажався — хто за це відповідає?
Два роки тому клієнт звернувся до чат-бота авіакомпанії Air Canada із запитом, чи діє спеціальна програма знижок на похорон. Бот порадив: так, компенсуємо. А потім — відмовили в компенсації, бо така програма взагалі вже не діяла. Канадець подав до суду — і виграв. Суд постановив: авіакомпанія має відповідати за те, що каже її ШІ.
Що це показує? ШІ — це не якась абстрактна “нейромережа у хмарі”. Якщо вона накосячила — відповідати має компанія, яка її запустила.
Єврокомісія ще у 2019 році сформулювала принципи етичного ШІ. Серед них: прозорість, захист приватності, справедливість і людський контроль.
Деякі компанії мають власні кодекси. Так, Capgemini вимагає, щоби всі проєкти ШІ проходили “етичну перевірку”, чи вони не шкодять людям, чи не дискримінують.
А Google після скандалу з власними етичними дослідниками (яких звільнили, бо ті критикували роботу Google AI) заявило, що створила спеціальну раду з питань ШІ. Хоча до її ефективності є запитання.
Саме для цього з’являється поняття “аудит алгоритмів”. Ідея проста: незалежна зовнішня команда перевіряє, чи працює ШІ коректно, чи не дискримінує, чи не бреше. Як бухгалтерія — тільки для нейромереж.
Так, компанія OpenAI оголосила, що перед запуском GPT-4 її систему перевіряли зовнішні дослідники на предмет упереджень, шкідливих порад та порушення політики.
А в ЄС уже готують закон, який зобов’яже компанії проходити такі перевірки для “високоризикових” ШІ — у медицині, правосудді, банківській сфері тощо.
Отже, якщо ШІ завдав шкоди, відповідальність несе компанія, яка його використовує. Етика — не філософія, а реальні правила, яких треба дотримуватись, щоб не потрапити в суд. Аудит — не формальність, а єдиний спосіб побачити, що ховається в коді й параметрах моделей.
…Ці історії — від дискримінаційних рішень Apple Card і Amazon до расистських збоїв Google Photos і руйнівних помилок Tay від Microsoft — викликали широку суспільну дискусію: чи мають алгоритми вирішувати долю людини? І чи не закладені в них уже на старті ті самі упередження, з якими ми намагаємося боротися десятиліттями?
Бо коли чорна скринька приймає рішення, яке не може пояснити навіть її творець, — ми маємо справу не з прогресом, а з новою формою безконтрольної сили. ШІ, який дискримінує, принижує, дезінформує — це не просто технологічна проблема. Це етична криза.
І хоч компанії кидаються гасити пожежі — вибачаються, переписують код, створюють ради з етики — довіру користувачів цим не повернеш. Бо у світі, де рішення ухвалює алгоритм, а не людина, кожен із нас може в один момент стати жертвою. І жодна інновація не варта того, аби втратити справедливість як базову цінність.
