Amazon пришлось отключить ИИ, дискриминировавший женщин

Инженеры попытались исправить сексистские задатки своего детища, но не смогли гарантировать того, что нейросеть не найдет другие маркеры для дискриминации тех или иных резюме.

Компания Amazon разработала секретный инструмент на базе искусственного интеллекта, который должен был отбирать соискателей на работу в компании. К сожалению, от проекта в конечном итоге пришлось отказаться — нейросеть онлайн-ритейлера отдавала предпочтение только мужчинам, а женщин подвергла дискриминации, сообщает портал Газета.Ru.

Amazon является одной из крупнейших компаний мира, имея тысячи офисов и сотни тысяч сотрудников. Неудивительно, что онлайн-ритейлер давно решил сделать ставку на автоматизацию.

Как сообщает Reuters, в 2014 году команда инженеров в шотландском Эдинбурге начала разработку нейросети, которая помогла бы HR-департаментам подыскивать новых работников. Была создана пара сотен алгоритмов, которая просмотрела резюме предыдущих соискателей, и вывела 50 тыс. ключевых пунктов. Получив необходимую информацию, нейросеть начинала поиск подходящих кандидатов в интернете.

"Руководство хотело создать инструмент, которому бы дали 100 резюме, а оно выбрало бы топ-5, которых мы бы и наняли", — заявил один из источников, знакомый с проектом.

Год спустя в созданном искусственном интеллекте обнаружилась странная деталь.

Инженеры выяснили, что ИИ не нравятся кандидаты-женщины, если речь идет о позиции разработчика софта или инженера.

Как оказалось, нейросеть обучалась на преимущественно "мужских" резюме, так как за последние десять лет на эти должности в Amazon шли в основном мужчины. Таким образом, ИИ решил, что предпочтительнее нанимать именно мужчин, поэтому ставил низкие оценки резюме, содержащим внутри слово "женский", а также данные об образовании в колледжах, где учатся исключительно девушки.

Инженеры попытались исправить сексистские задатки своего детища, но не смогли гарантировать того, что нейросеть не найдет другие маркеры для дискриминации тех или иных резюме.

В результате в начале 2017 года команда была распущена, а работа над ИИ полностью прекратилась. Пресс-служба Amazon отказалась комментировать этот проект, заявив, что нейросеть «никогда не использовалась рекрутерами для оценки соискателей». Тем не менее, компания не опровергла информацию о том, что сотрудники отдела кадров просматривали рекомендации, подготовленные компьютером.

Согласно исследованию CareerBuilder, около 55% HR-департаментов считают, что искусственный интеллект станет неотъемлемой частью их работы в ближайшие пять лет. Тем не менее, ученые в этой сфере настроены не так оптимистично, ведь пока невозможно сделать так, чтобы нейросеть была максимально непредвзята и объективна — все-таки, ее обучают настоящие люди, имеющие свои взгляды и принципы.

"Я совершенно точно не стал бы доверять ИИ принимать решение о найме. Технология еще не готова", — заявил вице-президент по HR компании LinkedIn Джон Джерсин.

Что же касается Amazon, один из источников сообщил о том, что компания продолжает использовать нейросети при найме, но она выполняет лишь рутинные функции — например, удаляет дубликаты резюме, попавшие в базу данных дважды. Другой источник уверяет, что в Эдинбурге уже созвана новая команда, которая работает над другим проектом, который поможет сохранить разнообразие в коллективе.