В ходе исследования, когда исследователи из Вашингтонского университета (UW) в США обратились за разъяснениями по поводу рейтингов, система показала предвзятое восприятие людей с ограниченными возможностями.
Например, в нем утверждалось, что в резюме с наградой за лидерство в области аутизма «меньше внимания уделяется лидерским ролям».
Однако, когда исследователи адаптировали инструмент, включив в него письменные инструкции, запрещающие ему быть эйлистом, инструмент уменьшил эту предвзятость для всех протестированных инвалидов, кроме одного.
«Пять из шести подразумеваемых инвалидностей, слепота, церебральный паралич, аутизм и общий термин «инвалидность», но только три имели более высокий рейтинг, чем резюме, в которых не упоминалась инвалидность», — отметили исследователи.
Исследователи использовали общедоступное резюме одного из авторов исследования, которое занимало около 10 страниц. Затем они создали шесть модифицированных резюме, в каждом из которых указывалась различная инвалидность, добавив четыре сертификата, связанных с инвалидностью: стипендию, награду, место в комиссии по разнообразию, равенству и инклюзивности (DEI) и членство в студенческой организации.
Впоследствии исследователи использовали модель ChatG GPT-4 для сравнения этих модифицированных резюме с исходной версией для реальной должности «студента-исследователя» в крупной американской компании-разработчике программного обеспечения.
Каждое сравнение они проводили 10 раз; из 60 испытаний система ранжировала расширенные CV, которые были идентичны, за исключением подразумеваемой инвалидности, только в четверти случаев.
«Некоторые из описаний GPT окрашивают все резюме человека в зависимости от его инвалидности и утверждают, что участие в DEI или инвалидность потенциально отвлекают от других частей резюме», — сказала Кейт Глазко, аспирант школы Пола Г. Аллена при Университете Вашингтона. компьютерных наук и инженерии.
«Люди должны знать о предвзятости системы при использовании ИИ для решения реальных задач. В противном случае рекрутер, использующий ChatG, не сможет внести эти исправления или осознавать, что даже при наличии инструкций предвзятость может сохраняться», — добавила она.
Например, в нем утверждалось, что в резюме с наградой за лидерство в области аутизма «меньше внимания уделяется лидерским ролям».
Однако, когда исследователи адаптировали инструмент, включив в него письменные инструкции, запрещающие ему быть эйлистом, инструмент уменьшил эту предвзятость для всех протестированных инвалидов, кроме одного.
«Пять из шести подразумеваемых инвалидностей, слепота, церебральный паралич, аутизм и общий термин «инвалидность», но только три имели более высокий рейтинг, чем резюме, в которых не упоминалась инвалидность», — отметили исследователи.
Исследователи использовали общедоступное резюме одного из авторов исследования, которое занимало около 10 страниц. Затем они создали шесть модифицированных резюме, в каждом из которых указывалась различная инвалидность, добавив четыре сертификата, связанных с инвалидностью: стипендию, награду, место в комиссии по разнообразию, равенству и инклюзивности (DEI) и членство в студенческой организации.
Впоследствии исследователи использовали модель ChatG GPT-4 для сравнения этих модифицированных резюме с исходной версией для реальной должности «студента-исследователя» в крупной американской компании-разработчике программного обеспечения.
Каждое сравнение они проводили 10 раз; из 60 испытаний система ранжировала расширенные CV, которые были идентичны, за исключением подразумеваемой инвалидности, только в четверти случаев.
«Некоторые из описаний GPT окрашивают все резюме человека в зависимости от его инвалидности и утверждают, что участие в DEI или инвалидность потенциально отвлекают от других частей резюме», — сказала Кейт Глазко, аспирант школы Пола Г. Аллена при Университете Вашингтона. компьютерных наук и инженерии.
«Люди должны знать о предвзятости системы при использовании ИИ для решения реальных задач. В противном случае рекрутер, использующий ChatG, не сможет внести эти исправления или осознавать, что даже при наличии инструкций предвзятость может сохраняться», — добавила она.
