अध्ययन में, जब अमेरिका स्थित वाशिंगटन विश्वविद्यालय (यूडब्ल्यू) के शोधकर्ताओं ने रैंकिंग के बारे में स्पष्टीकरण मांगा, तो सिस्टम ने विकलांग लोगों के बारे में पक्षपातपूर्ण धारणाएं दिखाईं।
उदाहरण के लिए, यह दावा किया गया कि ऑटिज्म नेतृत्व पुरस्कार वाले बायोडाटा में 'नेतृत्व भूमिकाओं पर कम जोर' दिया गया था।
हालाँकि, जब शोधकर्ताओं ने टूल को लिखित निर्देशों के साथ अनुकूलित किया, जिसमें निर्देश दिया गया कि वह सक्षम न हो, तो टूल ने परीक्षण की गई सभी विकलांगताओं में से एक को छोड़कर सभी के लिए इस पूर्वाग्रह को कम कर दिया।
शोधकर्ताओं ने कहा, "छह में से पांच अंतर्निहित विकलांगताएं, अंधापन, सेरेब्रल पाल्सी, ऑटिज्म और सामान्य शब्द 'विकलांगता' हैं, लेकिन केवल तीन को उन बायोडाटा से ऊपर स्थान दिया गया है जिनमें विकलांगता का उल्लेख नहीं है।"
शोधकर्ताओं ने अध्ययन के लेखकों में से एक के सार्वजनिक रूप से उपलब्ध सीवी का उपयोग किया, जो लगभग 10 पृष्ठों का था। इसके बाद उन्होंने छह संशोधित सीवी बनाए, जिनमें से प्रत्येक ने चार विकलांगता-संबंधित क्रेडेंशियल्स जोड़कर एक अलग विकलांगता का सुझाव दिया: एक छात्रवृत्ति, एक पुरस्कार, विविधता, इक्विटी और समावेशन (डीईआई) पैनल पर एक सीट, और एक छात्र संगठन में सदस्यता।
इसके बाद, शोधकर्ताओं ने अमेरिका स्थित एक प्रमुख सॉफ्टवेयर कंपनी में वास्तविक "छात्र शोधकर्ता" पद के लिए इन संशोधित सीवी की तुलना मूल संस्करण से करने के लिए चैटजी के जीपीटी-4 मॉडल का उपयोग किया।
उन्होंने प्रत्येक तुलना 10 बार की; 60 परीक्षणों में से, सिस्टम ने उन्नत सीवी को रैंक किया, जो निहित विकलांगता को छोड़कर समान थे, पहले केवल एक-चौथाई समय में।
यूडब्ल्यू के पॉल जी. एलन स्कूल में डॉक्टरेट की छात्रा केट ग्लेज़को ने कहा, "जीपीटी के कुछ विवरण किसी व्यक्ति के पूरे बायोडाटा को उनकी विकलांगता के आधार पर रंग देंगे और दावा किया जाएगा कि डीईआई या विकलांगता के साथ जुड़ाव संभावित रूप से बायोडाटा के अन्य हिस्सों को छीन रहा है।" कंप्यूटर विज्ञान एवं इंजीनियरिंग के.
उन्होंने कहा, "लोगों को इन वास्तविक दुनिया के कार्यों के लिए एआई का उपयोग करते समय सिस्टम के पूर्वाग्रहों के बारे में जागरूक होने की आवश्यकता है। अन्यथा, चैटजी का उपयोग करने वाला एक भर्तीकर्ता इन सुधारों को नहीं कर सकता है, या इस बात से अवगत हो सकता है कि निर्देशों के साथ भी पूर्वाग्रह जारी रह सकता है।"
उदाहरण के लिए, यह दावा किया गया कि ऑटिज्म नेतृत्व पुरस्कार वाले बायोडाटा में 'नेतृत्व भूमिकाओं पर कम जोर' दिया गया था।
हालाँकि, जब शोधकर्ताओं ने टूल को लिखित निर्देशों के साथ अनुकूलित किया, जिसमें निर्देश दिया गया कि वह सक्षम न हो, तो टूल ने परीक्षण की गई सभी विकलांगताओं में से एक को छोड़कर सभी के लिए इस पूर्वाग्रह को कम कर दिया।
शोधकर्ताओं ने कहा, "छह में से पांच अंतर्निहित विकलांगताएं, अंधापन, सेरेब्रल पाल्सी, ऑटिज्म और सामान्य शब्द 'विकलांगता' हैं, लेकिन केवल तीन को उन बायोडाटा से ऊपर स्थान दिया गया है जिनमें विकलांगता का उल्लेख नहीं है।"
शोधकर्ताओं ने अध्ययन के लेखकों में से एक के सार्वजनिक रूप से उपलब्ध सीवी का उपयोग किया, जो लगभग 10 पृष्ठों का था। इसके बाद उन्होंने छह संशोधित सीवी बनाए, जिनमें से प्रत्येक ने चार विकलांगता-संबंधित क्रेडेंशियल्स जोड़कर एक अलग विकलांगता का सुझाव दिया: एक छात्रवृत्ति, एक पुरस्कार, विविधता, इक्विटी और समावेशन (डीईआई) पैनल पर एक सीट, और एक छात्र संगठन में सदस्यता।
इसके बाद, शोधकर्ताओं ने अमेरिका स्थित एक प्रमुख सॉफ्टवेयर कंपनी में वास्तविक "छात्र शोधकर्ता" पद के लिए इन संशोधित सीवी की तुलना मूल संस्करण से करने के लिए चैटजी के जीपीटी-4 मॉडल का उपयोग किया।
उन्होंने प्रत्येक तुलना 10 बार की; 60 परीक्षणों में से, सिस्टम ने उन्नत सीवी को रैंक किया, जो निहित विकलांगता को छोड़कर समान थे, पहले केवल एक-चौथाई समय में।
यूडब्ल्यू के पॉल जी. एलन स्कूल में डॉक्टरेट की छात्रा केट ग्लेज़को ने कहा, "जीपीटी के कुछ विवरण किसी व्यक्ति के पूरे बायोडाटा को उनकी विकलांगता के आधार पर रंग देंगे और दावा किया जाएगा कि डीईआई या विकलांगता के साथ जुड़ाव संभावित रूप से बायोडाटा के अन्य हिस्सों को छीन रहा है।" कंप्यूटर विज्ञान एवं इंजीनियरिंग के.
उन्होंने कहा, "लोगों को इन वास्तविक दुनिया के कार्यों के लिए एआई का उपयोग करते समय सिस्टम के पूर्वाग्रहों के बारे में जागरूक होने की आवश्यकता है। अन्यथा, चैटजी का उपयोग करने वाला एक भर्तीकर्ता इन सुधारों को नहीं कर सकता है, या इस बात से अवगत हो सकता है कि निर्देशों के साथ भी पूर्वाग्रह जारी रह सकता है।"
