Искусственный интеллект можно воспитать расистом и сексистом

Машинное обучение часто используется при создании программ, предназначенных для работы с языком. Эта технология активно применяется в поисковых системах, машинном переводе, автоматическом синтезе текста и в других областях. Чтобы алгоритм «звучал» естественно, а также мог воспринимать «живую» человеческую речь, разработчики берут в качестве обучающего материала корпусы текстов, которые включают в себя статьи из средств массовой информации, сообщения пользователей в социальных сетях и на форумах, а также посты в блогах. 

Авторы новой работы предположили, что вместе с формальной структурой языка компьютер может усваивать и исторически закрепившиеся в текстах семантические связи. Для проверки своей гипотезы, ученые разработали специальный алгоритм Word-Embedding Association Test (WEAT), который представляет собой компьютерный аналог психологического теста подсознательных ассоциаций (IAT). В классическом варианте, испытуемому предлагается рассортировать по категориям слова и картинки, которые высвечиваются на экране (например отнести рисунок худого человека или понятие «красивый» к категории «худой или приятное слово»). Оценивая скорость выполнения задания, программа определяет, как человек относится к представленным понятиям. Так, люди быстрее ассоциируют изображения музыкальных инструментов с категорией «музыкальный инструмент или приятное слово» и изображение оружия с категорией «оружие или неприятное слово», чем наоборот.

В случае с компьютером исследователи использовали другой подход. Сначала алгоритм на базе машинного обучения GloVe проанализировал корпус интернет-текстов из 840 миллиарда лексем и представил все слова в виде векторных моделей в едином пространстве. Затем, используя WEAT, ученые измерили близость выбранных векторных моделей (которые соответствовали словам из теста подсознательных ассоциаций) друг к другу. По сути дела, чем чаще два слова встречались рядом в тексте, тем чаще они ассоциировались между собой и тем ближе они были в векторном поле.

В результате, WEAT выявил те же закономерности, что и психологический тест. Названия цветов в системе GloVe оказались связаны с приятными словами, в то время как названия насекомых — с неприятными. Также выяснилось, что мужские имена чаще ассоциируются с карьерой и точными науками, а женские — с семьей и гуманитарными дисциплинами. Более характерные для темнокожих американцев имена оказались близки с такими понятиями как «оружие» и «бедность», а имена, чаще встречающиеся среди белого населения, были связаны со словами «семья», «счастливый». 

Таким образом ученым удалось показать, что искусственный интеллект может невольно усваивать стереотипы, которые встречаются в материалах для обучения. Наглядным примером может служить работа онлайн-сервиса Google Translate. Так, исследователи заметили, что род гендерно-нейтрального турецкого местоимения «о» меняется в зависимости от профессии: «o bir doktor» на английский язык переводится как «он врач», а «o bir hemsire» — «она медсестра».

Авторы статьи подчеркивают, что в будущем подобные особенности систем ИИ могут негативно сказаться на их работе. Например, если наполненные предрассудками программы будут использоваться для предварительного отбора резюме, это приведет к несправедливым решениям. Более того, обучаясь на современных текстах, алгоритмы могут «заморозить» во времени встречающиеся в них стереотипы.

В будущем исследователи планируют продолжить свою работу, изучив ассоциации между словосочетаниями. Также разработанный ими метод анализа можно применить для исторических текстов, чтобы понять, в какой момент начали развиваться те или иные предубеждения, а также как они менялись со временем.

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Безкоштовний онлайн-саміт Beyond Eastern Europe: Як українцям працювати на іноземних ринках

25 лютого о 10:00 відбудеться безкоштовний онлайн-саміт Beyond Eastern Europe, організований компанією Payoneer. Понад десять експертів в області бізнесу та ...

Вперше за 130 років BORJOMI презентує інноваційний продукт FLAVORED — без цукру і калорій

Вперше за 130 років BORJOMI презентує інноваційний продукт FLAVORED WATER — без цукру

Ми звикли грати із часом наввипередки, заглиблюватися в міські нетрі та скролити історії з життя. Ми давно орієнтуємось на місцевості ...

Coca-Cola переходить до пляшок з переробленого пластику

Coca-Cola Co. запроваджує використання в США виключно пляшок з переробленого пластику, що є значним зрушенням у стратегії сталого розвитку. Компанія ...

Сергій Кузьменко — новий керівний директор TWIGA Ukraine

З 2021 року керівним директором комунікаційної групи TWIGA Ukraine призначено Сергія Кузьменка, який до цього займав позицію стратегічного директора. Світлана ...

Cittart

В Україні з’явиться мистецька соціальна мережа та маркетплейс Cittart

Розробники проєкту називають його «мистецький Instagram». Дійсно, до формату саме цієї соцмережі найбільше тяжіють поціновувачі візуальних видів мистецтва. Засновники стартапу ...

Concept Store_1

ПриватБанк і Mastercard відкрили перше в Україні цифрове банківське відділення у Києві

ПриватБанк та Mastercard відкрили в центрі Києва перше в Україні повністю цифрове банківське відділення — Concept Store. Воно працює без ...