Рекрутерский ИИ Amazon закрыли — он стал сексистом

Рекрутерский ИИ Amazon закрыли — он стал сексистом

Агентство Reuters сообщило, что внутренняя команда Amazon несколько лет работала над рекрутерским софтом, который мог бы эффективно отсеивать лучших кандидатов для найма. Однако в процессе работы стало ясно, что при анализе резюме система дискриминирует женщин — несмотря на все попытки инженеров исправить движок.

Пять источников связанных с автоматизированной системой просмотра резюме рассказали, что работа началась еще в 2014 году. По их словам, команда состояла из дюжины инженеров, которым была поставлена миссия — создать программу, которая использовала бы машинное обучение для просмотра десятилетней коллекции резюме, высланных Amazon потенциальными кандидатами. Команда должна была научить ИИ выделять лучших из лучших, упрощая процесс работы отдела кадров. 

По сути, система Amazon научила себя, что кандидаты-мужчины предпочтительнее. Система "штрафовала" резюме, в которых были слова, связанные с женщинами, например "капитан женского клуба по шахматам". Кроме того, как сообщат источники, ИИ снижал рейтинг выпускниц женских колледжей. Конкретные учебные заведения не названы.

Amazon редактировала программы, чтобы сделать их нейтральными в отношении к ряду терминов. Однако это не гарантировало, что машины не стали бы дискриминировать кандидатов по другим параметрам.

По данным Reuters, рекрутеры Amazon изучали рекомендации, предоставленные ИИ, однако они не полагались на эту систему. Проблемы системы стали очевидны примерно через год после его запуска, а закрылся он еще в прошлом году.

Главным виновником стало то, что ИИ использовал данные Amazon, накопленные за прошлое десятилетие, когда большая часть резюме была выслана мужчинами и техносектор в целом находится в основном под контролем мужчин.

62 Комментария

  • ИИ что-то понял и сразу прикрыли :(

    75
  • В чем собственно виноват ИИ? Не будет же он насильно резюме за женщин писать

    8
  • От реальности не убежишь, кек

    37
  • Комп не обмануть,сразу выявил что бабы херовые работники:)

    31
  • @Legolazz, Самое забавное что он сам к этому пришел xD ему даже мешать пытались.

    45
  • @Varidas, как раз таки не сам, написано жеж, что он использовал 10летний опыт

    3
  • Закрыть проект ИИ из-за того , что он сделал свои выводы, которые не понравились людям. Это все говорит о сегодняшних реалиях западной культуры сегодня.

    35
  • @IronElMan, @Varidas, @Pgl, @mrtwister33v, @Legolazz, @Banannzza, для тех кто не понял — если ИИ скармливать сексистские критерии, то естественно он будет сексистом.

    6
  • Проблема не в том, что управялась она мужчинами, а в том, что женщины, хоть и работаботают на некоторых должностях гараздо лучше, являются элементом нестабильности и лишних трат. Он понимает, что если есть женщина в коллективе то возможен риск обвинений в сексизме и отвлечений от работы. Эффективность превыше всего!

    17
  • Казалось бы, можно было просто показывать секцию "опыт работы", без части с именем, полом и остальным

    4
  • Еще бы обновление выпустили, в котором если машина отсеивает резюме, то потом перезванивало, и говорило "твоё место возле плиты!"))

    2
  • @ILYA, вот это, кстати, и забавно. Они же почти наверняка додумались до такого варианта. Но почему то не помогло.

    0
  • @Cohen, Норм ИИ типо тех что на роботах сборочных линий 3+ поколения себя бы подкорректировал.У него нет строгих констант на переменные.

    0
  • @ILYA, @Gorynych, в Австралии и такой опыт уже был. Обезличенные резюме отбирались только по параметрам эффективности потенциального работника.
    С тем же результатом.

    15
  • @Cohen, разве ИИ не обычные резюме ждал на вход? После чего он находил критерии с большей ценностью ?

    0
  • Ору в голос! Весь мир против новых левых :))))

    3
  • @Banannzza, его сначала учили на уже принятых резюме. Принятых в годы "вопиющего неравенства полов", так что он впитал эти принципы и живёт ими. И наоборот, если его обучить на не-слепых резюме сейчас, он выучится принимать по разнообразию, а не скилу, так как общество это насаждает

    0
  • @Banannzza, ну смотри, допустим ты ИИ — если тебе дают 85% резюме мужчин, как быстро ты сообразишь, что проще всего выбирать из этой категории, сразу отсекая женщин?

    0
  • @Cohen, никак, увеличится точность подбора мужчин т.к. выборка резюме больше, но

    сообразишь, что проще всего выбирать из этой категории, сразу отсекая женщин

    не так.
    Если только так не было сделано специально, но я очень сильно в этом сомневаюсь.
    Скорей всего ИИ сопоставил скиллы/определенные слова, там где были "женщина" - скиллы были слабее.

    3
  • Начнём с самого главного , это очень сложная программа ,а не тот ИИ который мы любим представлять себе насмотревшись фильмов , начитавших книг или наигравшихся игр.
    Естественно если данную программу писал чувак женоненавистник или чувак познавший какие-то траблы на любовном фронте ,то само собой он мог написать код, исключающий женщин .

    -9
  • @Cohen, Да понятно, просто шутеечка напросилась)

    -1
  • Для начала, мы не знаем, каким образом проводился "опрос" кандидатов, и на какие должности они выбирались путем привлечения ИИ. Все понятно, что алгоритм отбора, каким-то образом должен был выделять талантливых людей в конкретных профессиях. Говорить, о том, что программист был женаненавситником и создал такой алгоритм специально, это признать собственную некомпетентность в сфере программирования, и думаю что ИИ такого кандидата тоже отмёл, не зависимо от пола.
    Ну а если совсем конкретно, это не ИИ, это ускоспецуиализированная алгоритмическая система, с накоплением статистических данных, которые она собирала на протяжении какого-то времени. Если должности были в большей степени технические, то не исключено, что за время сбора инфы, "допросу" подвергались чаще мужчины, так как женщин с техническим образованием меньше по объективным причинам - женщинам эта отрасль не интересна. Соответственно тупой ИИ ни чего другого и выдать не может, если в процессе опроса в кандидатах женщина, особенно, если она не соображает. ИИ все делал правильно, да только разрабы исправляли не алгоритм отбора по конкретным критериям, а скорее пытались навзязать толерантность ИИ, чекго сделать очень сложно, т.к. это не ИИ, а просто комп с базой данных.

    0
  • @Scotina, ну начнем с того что команда разработчиков как раз таки пыталась всеми силами это предотвратить -)

    0
  • А по-моему, даже человек в HR не может полностью отсечь сексизм. Как бы не старались. Все равно будет перегиб в одну или другую сторону. Все таки "нравится/не нравится" очень влияет на HR практику, и даже самые высококвалифицированные специалисты будут хоть не много обосновываться на этом критерии.

    0
  • @Cohen, такое себе, притянутое за уши объяснение. Ему явно "скармливали" бесполые резюме. И даже написано что отбраковывал он по косвенным признакам.
    Просто он научился выбирать лучших по таким резюме, до которых некоторые новые не дотягивали. Потом он выделил в "плохих" ключевые особенности и они оказались такими...

    3
  • @Kellen, я не думаю, что женщины инженеры и разработчики работают хуже мужчин, так что сто процентов ничего не буду утверждать - мы не видели алгоритмов.

    Факт в том, что ИИ начал блокировать резюме при наличии полового признака.

    -1
  • Я понять не могу, почему для всех вдруг стало откровением что в технических специальностях мужчин тупо больше, следовательно и выбор достойных кандидатов среди них выше, следовательно и процентное соотношение работников мужского пола на технических должностях выше. Зачем эта исскуственная выровняловка? Давайте теперь Викторию Сикрет обяжем в равной степени набирать моделей мужчин и женщин...

    5
  • @I0GER,
    Ну дак, а чего они тебе скажут то другое?)
    Типо вот у нас шайка не любителей баб ?)

    -2
  • @Cohen, так может это совпадение? И отбиралось по разным признакам, а половой признак там оказывался за компанию?..
    Интересно ИИ указывал почему именно "забраковал" резюме или браковку с полом завязали люди уже после?

    Например по колледжам.
    Даже среди людей есть понятие что в одних учебных заведениях обучают хуже, а в других лучше. Так вот, может то, что "плохие" колледжи оказались женскими это совпадение, а не причина.

    0
  • @Scotina, самое простое что они могут сказать - это просто предоставить статистику по количеству поступаемых резюме разделенную по полам. Я прямо уверен что заявок от мужчин поступает на порядок больше. Уже только исходя из этого можно понять почему одних набирают больше чем других.

    0
  • Много ли женщин, лауреатов Нобелевки? За последние 20 лет, самый рассвет феминизма, много ли появилось инженеров, учёных и тд среди женщин? раньше они все кричали, что их ущемляют в правах, не давали учиться и прочее, а теперь то что мешает? Правильно, мешает сама природа, потому что у женщин совсем другие приоритеты и задачи.
    Безусловно есть талантливые женщины в той или иной сфере, но это уникумы, одна на миллион, в остальном же гендерное процентное соотношение не в их пользу. Именно такие моменты наверное и начал учитывать ИИ. Главное что? Эффективность и стабильность.

    Ну а если фемки за равноправие, то что же они не едут на север работать? Не работают на кране, экскаваторе? На грузовиках? Не роют траншеи лопатами. На буровых вышках много женщин? Даже в море и то уже перестали брать женщин поваров и посудниц, берут только мужиков, потому что там физически сложная работа, плюс мужики лучше адаптируются психологически. В тех же шахтах я что-то не наблюдаю этих борцунов. Я конечно один раз видел женщину на кране в Китае, но там это норма, но в остальном они как правило хотят заниматься не пыльной работай, чтобы с них спрос был меньше(они же девушки) и при этом получать больше мужиков. Губа то не треснет?

    7
  • мы ни в коем случае не должны забывать, что это творение рук человеческих, те разбираться надо, прежде всего, с разработчиками.

    -1
  • @I0GER,
    Дак разговор не о количестве резюме, а об их игноре.

    0
  • @Scotina, об игноре тут речи небыло, речь была о снижении рейтинга кандидата

    0
  • @ILYA, был уже такой эксперимент в Австралии, смотрели только на навыки без какой либо инфы о расе или поле. Закончилось все точно так же. К чему бы это?

    @Cohen, почитай на википедии хотя бы как нейронки работают.

    0
  • Хе-хе, человеческую природу не обманешь, даже ИИ антропоморфен. Лем это еще полвека назад предсказал в "Фиаско" :-)

    0
  • @EarlCherry, ты думаешь я не знаю?

    -1
  • @Cohen, ну писать поверхностно статьи о "ИИ меняет лицо на азиатское" и понимать суть - разные вещи.
    Сорь, но эти статьи - не довод.

    сообразишь, что проще всего выбирать из этой категории, сразу отсекая женщин.

    Я вот это намекает на пробел в знаниях.
    Я не пытаюсь захейтить и , возможно, ошибаюсь, но это твое дело.

    0
  • @RideTheSun,

    Я вот это намекает на пробел в знаниях.

    Погодите, а откуда вы то знаете, как утроена программа Amazon? Там же не одна нейросеть задействована. Вы почему-то думаете, что там работает именно и только нейросеть, что не так

    -2
  • @Cohen, да, я не могу знать как устроено именно у них, но делать машину так, чтобы выбирать конкретно по полу или давать намеки на пол в выборочных данных - верх тупости.
    При этом вы же понимаете, что работал там не один человек, т.е. в "сексистском сговоре" должны были быть как минимум 20-100 человек, что тоже похоже на бред.
    При этом зачем так делать чтоб потом править обратно, тратя время и деньги и репутацию?

    0
  • @RideTheSun, опять же, я не знаю как работает алгоритм. Факт в том, что он был обучен на резюме в основном мужчин и стал отмечать флажками резюме, где существует указание на женский пол.

    Значит ли это, что женщины — плохие разработчики и инженеры? Нет.

    -2
  • @Cohen, нет, но это значит, что из всей выборки резюме мужчин в среднем лучше.
    Добавление большего числа женских резюме могло сделать их выборку еще хуже, если что.

    0
  • @RideTheSun, то что среди мужчин может быть в среднем лучше — может быть, но их система флажки раздавала резюме с указанием на женский пол. Что тут непонятного? Система отсекала по сути резюме со словами woman/women. Но ведь это не значит, что потенциальная девушка — плохой разработчик, чтобы ее отсекать только по половому признаку.

    P.S. спасибо за минусы ) у меня как раз лишних 14 тысяч минералов ))

    -1
  • boom

    1
  • @Cohen, ты как-то круто умеешь делать неверные выводы из фактов.
    Хз про какие ты "флажки", но попытаюсь кратко донести мою позицию:
    Задача: из 100% резюме компании Амазон нужно выбрать 5% лучших по каким-либо критериям, CV бесполые.
    ИИ в процессе анализа понял, что резюме, где в описании есть слово женщина, не попадают (или оч редко) в 5% лучших для каждый их частей выборки по объективным причинам (навыки, стаж и тд),
    ИИ решает сократить цепоку логических рассуждений/нейронов ставя в соответствие "слово женщина" -> резюме с большой долей вероятности не попадет в 5% лучших.
    Т.е. теоретически, если прислать огромное количество резюме со словами "женщина", но оч хороших - цепочка должна разрушится. Вот и весь трюк.
    Точно также работает твой и мой мозг, это называется "ярлыки" или "предубеждения".

    Это лишь значит, что не

    женщина - плохой разработчик, чтобы ее отсекать только по половому признаку.

    а среди резюме, присланных на амазон, женщины в среднем присылают резюме хуже (даже мб если они и лучше), но и доп выборка резюме могла бы как испорить ее, так и улучшить.

    PS: минусы это не из-за хотения уменьшить тебе количество минералов, а лишь показатель, что с тобой еще кто-то не согласен.
    Ставил не я.

    1
  • @EarlCherry, при чем тут нейросети вообще? У Amazon не одна нейросеть. Закончили.

    @RideTheSun,

    Еще раз:

    Система "штрафовала" резюме, в которых были слова, связанные с женщинами, например "капитан женского клуба по шахматам". Кроме того, как сообщат источники, ИИ снижал рейтинг выпускниц женских колледжей. Конкретные учебные заведения не названы.

    Это значит, что система не просто не отбирала 5% лучших, она априори отмечала упоминание женщин в резюме как негативное.

    Вы пишите:

    резюме с большой долей вероятности не попадет в 5% лучших

    А в статье написано, что они не просто не попадали в 5% лучших, а все резюме получали красный флаг, в которых есть указание на женский пол.

    Другими словами, система априори считала резюме с упоминанием женского пола — как не квалифицированные на том же уровне, что без мужского.

    Даже если среди всех этих женщин были талантливые разработчики

    0
  • @Cohen, это почти ничего не меняет.
    По сути то, что всегда (или почти никогда) не попадает в 5% мб быть "отбраковано" ИИ как практически невозможный вариант.
    И опять же мозг работает так же, если ты 100 раз делаешь что-то, но в итоге получается один и тот же результат, то будешь ли ты на 101 ждать какого-то другого результата?
    Все выше описанное справедливо.

    Другими словами, система априори считала резюме с упоминанием женского пола — как не квалифицированные на том же уровне, что без мужского.
    Даже если среди всех этих женщин были талантливые разработчики

    Они и были, только, скорей всего, не в числе этой выборки.

    2
  • @EarlCherry, вы бы хоть выше мои комментарии посмотрели — @Cohen

    Но леваки как обычно

    Вы ступаете на опасную территорию

    @RideTheSun,

    И опять же мозг рабоает так же, если ты 100 раз делаешь что-то, но в итоге получается один и тот же результат, то будешь ли ты на 101 ждать какого-то другого результата?
    Все выше описанное справедливо.

    Я разве спорю с этом? Как и товарищу выше — @Cohen

    0
  • @Cohen, что такое сексистские критерии? ИИ скармливали резюме и мб профайлы сотрудников. Не думаю что кто на полях сексистские замечания оставлял.

    0
  • @EarlCherry, как уже писал опять же выше — я не в курсе как устроены их резюме и что там за профили. Мы имеем факты — система начала выкидывать упоминания женщин из потенциальных кандидатов на рассмотрение.

    Как это произошло — я не знаю. Логично, что на основе каки-то критериев система решила, что все женщины недостаточно квалифицированы. Даже если это не так.

    Может быть система решила тупо всех женщин исключать, потому что их меньшинство было и так она упрощала себе работу

    0
  • @Cohen, а откуда мы знаем так это или не так? Может там действительно все женщины были менее квалифицированные? Возможно машина исходя из сухих фактов определила что в большем количестве случаев принятие на место женщины с эквивалентным резюме уменьшит эффективность. Вполне логично исключить такую возможность, тем более что система судя по всему предективная и оценить конкретного человека на 100% не может и лишь предугадывает его продуктивность на основе статистики. В этом прелесть машин, они исключительно прямолинейны, для них 1 это 1, а 0 это 0. Я не имею ничего против женщин, я целиком за эффективность. Исключительно по эффективности нужно оценивать людей, будь это белые, негры, мужчины, женщины, матери одиночки и т.п Меня только дико раздражает когда начинают опровергать или искажать неудобные факты. В данном случае нейронку надо проверить не спроектированна ли она с логической ошибкой, которая не позволяет действительно эффективным людям попасть в список. Но никак не называть ее сексисткой и отключать потому что она сделала неудобные выводы.

    0
  • @EarlCherry, опять же — мы не знаем как устроена система. Там не одна нейронка работает же.

    Но никак не называть ее сексисткой и отключать потому что она сделала неудобные выводы.

    Если она априори "банит" всех женщин, независимо от их квалификации — это и есть сексизм )

    0
  • @Cohen, ай, слишком много я трачу на это сил.
    Никто не скармливал "сексистские критерии" в бесполых резюме, вся команда должна была так делать, за такое бы уволили (в команде также и могли быть и женщины, а они бы первые, кто это пресек).
    В Амазон работают умные люди, никто такой херней заниматься не будет.
    Я задам куда более простой вопрос, почему нет ни одной новости где ИИ или слепые собеседования решили что-то в пользу женшин? Неужели это потому что "патриархат весь в сговоре против прекрасной половины человечества". Я очень сильно в этом сомневаюсь.
    Пора бы смотреть на вещи более реально..

    4
  • @Cohen, понятно дело что это не одна нейронка, говоря "нейронка" я имел ввиду комплекс всех систем. Машина не может быть сексисткой, для нее вообще не существует мужчин и женщин. Для нее это тоже, как если бы человек выбирал между двумя одинаковыми резюме, но в одном из которых написано было "я запойный алкоголик". Сразу предупреждаю, я не говорю что женщина и запойный алкоголик одно и то же, это просто попытка на аналогиях объяснить очевидные вещи.

    0
  • @RideTheSun,

    Я задам куда более простой вопрос, почему нет ни одной новости где ИИ или слепые собеседования решили что-то в пользу женшин?

    Я не слежу за этим, не в курсе.

    Пора бы смотреть на вещи более реально..

    Реальность в том, что мужчин-разработчиков больше — но это не значит, что они лучше женщин (по крайней мере некоторых, я сам работал с женщинами-разработчиками и признаю, что мне с мужчинами было проще, не всегда и не со всеми, но как-то быстрее находился общий язык)

    @EarlCherry, каким-то образом система начала исключать всех женщин )

    0
  • @Cohen, а что если значит? Что делать тогда? Меня больше всего раздражает безапелляционная постановка вопроса.

    0
  • @EarlCherry, уже ничего, система закрыта )

    Хотя из интереса было бы любопытно взглянуть, как она дошла до такой жизни )))

    0
  • @Cohen, система закрыта, но проблема то осталась. Недавно же была тут новость о том, что научные исследования закидали тапками потому что они неудобные. Вокруг нас есть мир, который подчиняется определенным законам, которые не зависят от мнения отдельно взятого индивида. У меня неистово подгорает когда факты отвергаются потому что их сопоставляют с идеями придуманными людьми. И большинство оказывается заперто между восточной частью мира, которая воплощает в жизнь Оруэлла и западной частью мира. которая воплощает "атлант расправил плечи" Айн Рэнд.

    1
  • @EarlCherry, я поддерживаю вас в этом — только на днях был холивар про климат.

    Я согласен, что есть факты. Просто в случае с системой Aamzon, я не знаю, можно ли утверждать как факт, что женщины не подходят для работы )

    И большинство оказывается заперто между...

    К сожалению это действительно так, хотя в случае с Западом более чем достаточно своего Оруэлла, вперемешку с эгоцентризмом Рэнд

    0
  • @EarlCherry, если факты противоречат теории, тем хуже для фактов :)

    0
Войдите на сайт чтобы оставлять комментарии.