किसे काम पर रखा जाए, इसका चयन करते समय एआई इंसानों से भी अधिक पक्षपाती हो सकता है; अध्ययन में पाया गया |

नियोक्ताओं को सीवी की स्क्रीनिंग, उम्मीदवारों को रैंक देने और यहां तक ​​कि शुरुआती चरण के साक्षात्कार आयोजित करने में मदद करने के लिए कृत्रिम बुद्धिमत्ता पर भरोसा किया जा रहा है। वादा सरल है: एआई हजारों अनुप्रयोगों को शीघ्रता से संसाधित कर सकता है, प्रशासनिक कार्यभार को कम कर सकता है और, सिद्धांत रूप में, नियुक्ति संबंधी निर्णयों को मनुष्यों की तुलना में अधिक उद्देश्यपूर्ण बना सकता है। एमआईटी टेक्नोलॉजी की हालिया समीक्षा के अनुसार, जर्नल ऑफ एक्सपेरिमेंटल साइकोलॉजी में प्रकाशित 2024 के अध्ययन पर आधारित है जिसका शीर्षक है “महँगा अन्वेषण गर्मजोशी और क्षमता के आयामों के साथ रूढ़िवादिता पैदा करता है“, बड़े भाषा मॉडल (एलएलएम) न केवल उस डेटा से मानवीय पूर्वाग्रहों को प्राप्त कर सकते हैं जिस पर उन्हें प्रशिक्षित किया जाता है, बल्कि वे अपने स्वयं के अनुभवों के आधार पर पूरी तरह से नई रूढ़िवादिता भी विकसित कर सकते हैं। केवल मौजूदा पूर्वाग्रह को प्रतिबिंबित करने के बजाय, ये सिस्टम भेदभाव के नए पैटर्न बना सकते हैं क्योंकि वे समय के साथ निर्णय लेने को अनुकूलित करने का प्रयास करते हैं।निष्कर्ष विशेष रूप से महत्वपूर्ण हैं क्योंकि व्यवसाय तेजी से भर्ती में एआई को एकीकृत कर रहे हैं। यदि ये प्रणालियाँ केवल मुट्ठी भर भर्ती निर्णयों के बाद आवेदकों के समूहों के बारे में धारणाएँ बनाना शुरू कर देती हैं, तो वे बिना किसी स्पष्ट मानवीय निर्देश के धीरे-धीरे अनुचित रोजगार प्रथाओं को सुदृढ़ कर सकते हैं।प्रिंसटन यूनिवर्सिटी और शिकागो यूनिवर्सिटी के वैज्ञानिकों द्वारा किया गया शोध, पहले के मनोवैज्ञानिक कार्यों पर आधारित है, जिसमें दिखाया गया है कि बार-बार निर्णय लेने से रूढ़िवादिता कैसे उभर सकती है। यह सुझाव देता है कि वही सीखने की रणनीतियाँ जो एआई को जटिल समस्याओं को हल करने में प्रभावी बनाती हैं, वही इसे नौकरी के उम्मीदवारों को स्टीरियोटाइप करने के लिए असामान्य रूप से प्रवण बना सकती हैं।

भर्ती प्रयोग के दौरान एआई भर्ती मॉडल ने कैसे रूढ़िवादिता विकसित की

शोधकर्ताओं ने एक स्थापित मनोविज्ञान प्रयोग के आधार पर एक भर्ती सिमुलेशन तैयार किया है जिसमें यह जांच की गई है कि रूढ़िवादिता कैसे बनती है। अकेले मानव स्वयंसेवकों के बजाय, उन्होंने चैटजीपीटी, क्लाउड और जेमिनी सहित कई प्रमुख भाषा मॉडलों का परीक्षण किया, यह देखने के लिए कि बार-बार नियुक्ति संबंधी निर्णय लेते समय वे कैसा व्यवहार करते हैं। प्रत्येक मॉडल को एक काल्पनिक शहर के मेयर द्वारा नियुक्त सलाहकार की भूमिका में रखा गया था। इसका कार्य डॉक्टर, वकील, बच्चों की देखभाल करने वाले सहायक और चौकीदारों सहित 20 विभिन्न व्यवसायों के लिए लोगों की भर्ती करना था।एमआईटी समीक्षा के अनुसार, आवेदक तुफ़ा, आइमा, रेकु और वेकी नामक चार काल्पनिक जातीय समूहों से संबंधित थे। महत्वपूर्ण बात यह है कि प्रत्येक उम्मीदवार के पास प्रत्येक नौकरी में सफल होने की समान अंतर्निहित संभावना थी। समूह केवल नाम में भिन्न थे, जिससे यह सुनिश्चित हो गया कि प्रयोग के दौरान विकसित किसी भी रूढ़िवादिता को क्षमता में वास्तविक अंतर से नहीं समझाया जा सकता है। प्रत्येक नियुक्ति दौर के दौरान, मॉडल ने एक आवेदक का चयन किया और फिर उसे बताया गया कि वह व्यक्ति सफल हुआ या असफल। सफल नियुक्तियों को अधिकतम करने का प्रयास करते हुए इसने इस प्रक्रिया को 40 राउंड में दोहराया।

एआई हायरिंग सिस्टम ने यादृच्छिक भर्ती परिणामों से स्टीरियोटाइप क्यों बनाए

महत्वपूर्ण बात यह थी कि शुरुआती सफलताएँ और असफलताएँ पूरी तरह से संयोग से हुईं। फिर भी, भाषा मॉडल ने तेजी से विशेष समूहों को विशेष व्यवसायों को सौंपना शुरू कर दिया।उदाहरण के लिए, यदि काल्पनिक आइमा समूह का कोई आवेदक प्रयोग के आरंभ में डॉक्टर के रूप में असफल हो जाता है, तो मॉडल चिकित्सा पदों के लिए अन्य आइमा उम्मीदवारों को नियुक्त करने के लिए कम इच्छुक हो जाते हैं। इसके बजाय, उन्होंने चौकीदारी जैसे निम्न-दर्जे वाले व्यवसायों के लिए उनकी सिफारिश की, बावजूद इसके कि इस बात का कोई सबूत नहीं था कि एआईएमए आवेदक कम सक्षम थे।यह पैटर्न बेहद सीमित जानकारी से सामान्यीकरण करने की प्रवृत्ति को दर्शाता है। यह पता लगाने के बजाय कि क्या एक ही समूह के अन्य सदस्य अलग-अलग प्रदर्शन कर सकते हैं, मॉडल जल्दी से इस धारणा पर आधारित हो गए कि प्रत्येक समूह “कहाँ से संबंधित है।”व्यवहार मनोविज्ञान में एक अवधारणा को प्रतिबिंबित करता है जिसे अन्वेषण-शोषण दुविधा के रूप में जाना जाता है। निर्णय लेने वालों को लगातार अधिक जानकारी इकट्ठा करने के लिए अपरिचित विकल्पों को आज़माने या सफल दिखने वाले पिछले अनुभवों पर भरोसा करने के बीच एक विकल्प का सामना करना पड़ता है। भर्ती में, खोज का अर्थ है विभिन्न उम्मीदवारों को अवसर देना, जबकि शोषण का अर्थ है बार-बार उन आवेदकों को चुनना जो पहले सफल हुए लोगों से मिलते जुलते हों।पिछले मानव अनुसंधान में अंतर्निहित मनोवैज्ञानिक सिद्धांत का पता लगाया गया है। अध्ययन के अनुसार, सामान्य तौर पर, रूढ़िवादिता तब भी उभर सकती है जब निर्णय लेने वालों के पास कोई पूर्वाग्रह नहीं होता है और जब सभी समूहों में समान क्षमताएं होती हैं, सिर्फ इसलिए कि बार-बार अनुभव पर भरोसा करने से अपरिचित विकल्पों की खोज की कथित लागत कम हो जाती है। नवीनतम एआई अध्ययन से पता चलता है कि भाषा मॉडल इस प्रवृत्ति को और भी बढ़ा सकते हैं।

एआई भर्ती मॉडल ने मनुष्यों की तुलना में अधिक मजबूत रूढ़िवादिता क्यों विकसित की?

शायद सबसे चौंकाने वाली खोज केवल यह नहीं थी कि एआई ने रूढ़िवादिता का गठन किया, बल्कि यह कि इसने मानव प्रतिभागियों की तुलना में अधिक तत्परता से ऐसा किया। मूल मनोविज्ञान प्रयोग ने यह मापा कि किस हद तक लोगों ने अलग-अलग समूहों को अलग-अलग व्यवसायों में विभाजित किया। मानव प्रतिभागियों ने औसत पृथक्करण स्कोर 0.84 दर्ज किया।भाषा मॉडलों ने काफ़ी ख़राब प्रदर्शन किया। एमआईटी टेक्नोलॉजी रिव्यू द्वारा उजागर किए गए निष्कर्षों के अनुसार, मॉडलों ने मनुष्यों में देखे गए अलगाव स्कोर की तुलना में लगभग 65% अधिक उत्पादन किया। ओपनएआई के रीजनिंग मॉडल ओ3 ने 1.83 का स्कोर दर्ज किया, जो शोधकर्ताओं के पैमाने पर अधिकतम संभव मूल्य के करीब है।प्रिंसटन विश्वविद्यालय के पीएचडी छात्र और अध्ययन के सह-लेखकों में से एक रयान लियू ने बताया कि व्यवहार दर्शाता है कि भाषा मॉडल मूल रूप से क्या करने के लिए डिज़ाइन किए गए हैं। “वे वास्तव में सीमित डेटा से सामान्यीकरण बनाने के लिए उत्सुक हैं। वस्तुतः यही वह चीज़ है जिसके लिए उन्हें अनुकूलित किया गया है।”गणितीय समस्याओं को हल करने, कंप्यूटर कोड लिखने या बड़े डेटासेट में पैटर्न की पहचान करने में यह प्रवृत्ति अत्यधिक मूल्यवान है। अपेक्षाकृत कम उदाहरणों से उपयोगी संबंधों को पहचानने के लिए प्रशिक्षण के दौरान एआई सिस्टम को पुरस्कृत किया जाता है। हालाँकि, सामाजिक निर्णय गणितीय तर्क से बहुत भिन्न होते हैं।लोगों का मूल्यांकन करते समय, बहुत जल्दी निष्कर्ष निकालने से अनुचित धारणाएँ पैदा हो सकती हैं जिन्हें उलटना कठिन हो जाता है। एक भी नकारात्मक परिणाम भविष्य की सिफारिशों को असमान रूप से आकार दे सकता है, जिससे पूरे समूह बिना किसी वस्तुनिष्ठ आधार के विशेष व्यवसायों से जुड़ सकते हैं।शोधकर्ताओं ने पाया कि नए तर्क मॉडल ने पहले की प्रणालियों की तुलना में और भी मजबूत स्टीरियोटाइपिंग दिखाई। इसलिए बेहतर तर्क क्षमता स्वचालित रूप से निष्पक्ष निर्णय लेने में तब्दील नहीं होती।अध्ययन के अनुसार, एआई को केवल “निष्पक्ष रहने” का निर्देश देने से बहुत कम प्रभाव पड़ा। हालाँकि मॉडलों ने सैद्धांतिक रूप से निष्पक्षता को समझा, फिर भी उन्होंने उन रणनीतियों को प्राथमिकता देना जारी रखा जो सफल नियुक्ति को अधिकतम करती दिखाई दीं। यह खोज एआई सुरक्षा में व्यापक चिंताओं को प्रतिध्वनित करती है: भाषा मॉडल नैतिक सिद्धांतों को समझ सकते हैं फिर भी अनुकूलन रणनीतियों का अनुसरण करते हैं जो जटिल कार्यों को करते समय अनजाने में उन मूल्यों के साथ संघर्ष करते हैं।पहले का मनोविज्ञान अनुसंधान यह समझाने में मदद करता है कि ऐसा क्यों होता है। इसका तर्क है कि रूढ़िवादिता उत्पन्न होने की आवश्यकता नहीं है क्योंकि निर्णय लेने वाले तर्कहीन या जानबूझकर पक्षपाती होते हैं। इसके बजाय, जब भी व्यक्ति अनिश्चितता के तहत पुरस्कारों को अधिकतम करने की कोशिश करते हुए बार-बार पिछले अनुभवों पर भरोसा करते हैं तो वे स्वाभाविक रूप से उभर सकते हैं।एआई हायरिंग सिस्टम के संदर्भ में, इसका मतलब है कि पूर्वाग्रह केवल ऐतिहासिक डेटासेट से विरासत में नहीं मिल सकता है; यह मॉडल की अपनी निर्णय लेने की प्रक्रिया के माध्यम से उभर सकता है क्योंकि यह अनुभव जमा करता है।

क्यों एआई हायरिंग सिस्टम उन्हें विरासत में देने के बजाय नए पूर्वाग्रह पैदा कर सकता है

अध्ययन के सबसे महत्वपूर्ण निष्कर्षों में से एक यह था कि पूर्वाग्रह केवल भाषा मॉडल के प्रशिक्षण डेटा से उत्पन्न नहीं हुआ था। इसके बजाय, मॉडलों ने नियुक्ति कार्य के दौरान अपने स्वयं के अनुभवों के माध्यम से नई रूढ़ियाँ विकसित कीं। शोधकर्ताओं के अनुसार, ऐसा इसलिए होता है क्योंकि बड़े भाषा मॉडल पैटर्न को जल्दी से पहचानने और अक्सर सीमित जानकारी से सामान्यीकरण करने के लिए डिज़ाइन किए जाते हैं, तब भी जब शुरुआती परिणाम पूरी तरह से संयोग पर आधारित होते हैं।अध्ययन इस व्यवहार को अन्वेषण-शोषण दुविधा के माध्यम से वर्णित करता है, जिसमें निर्णय लेने वाले अपरिचित विकल्पों की खोज करने के बजाय उन विकल्पों को प्राथमिकता देते हैं जो पहले सफल दिखाई देते थे। हालाँकि यह दृष्टिकोण गणित, कोडिंग और तार्किक तर्क जैसे कार्यों के लिए मूल्यवान है, लेकिन जब इसे लोगों पर लागू किया जाता है तो यह अनुचित धारणाएँ उत्पन्न कर सकता है। एमआईटी के अनुसार, ओपनएआई के ओ3 और डीपसीक के आर1 सहित, ने पहले के सिस्टम की तुलना में मजबूत स्टीरियोटाइपिंग दिखाई। बस मॉडलों को “निष्पक्ष रहने” का निर्देश देने से बहुत कम मापने योग्य प्रभाव पड़ा। हालाँकि, अध्ययन के अनुसार, अधिक विविध भर्ती निर्णयों को पुरस्कृत करने से पूर्वाग्रह में काफी कमी आई है, यह सुझाव देते हुए कि निष्पक्षता अकेले नैतिक निर्देशों की तुलना में एआई सिस्टम को कैसे डिजाइन और अनुकूलित किया जाता है, इस पर अधिक निर्भर करता है।

एआई भर्ती और भर्ती के भविष्य के लिए अध्ययन का क्या मतलब है

कई संगठन पहले से ही सीवी को फ़िल्टर करने, आवेदकों को रैंक देने और भर्ती में सहायता के लिए एआई का उपयोग करते हैं। हालाँकि वास्तविक दुनिया की नियुक्ति प्रयोग की तुलना में बहुत धीमी प्रतिक्रिया प्रदान करती है, शोधकर्ताओं का कहना है कि एआई के नए पूर्वाग्रह विकसित होने का जोखिम बना हुआ है, खासकर जब मॉडल स्मृति और वैयक्तिकरण सुविधाएँ प्राप्त करते हैं। कॉर्नेल कंप्यूटर वैज्ञानिक एंजेलिना वांग ने चेतावनी दी कि एआई सिस्टम पिछले अनुभवों पर “ओवर-इंडेक्स” कर सकते हैं, जिससे समय के साथ उनमें रूढ़िवादिता विकसित होने की अधिक संभावना है।अध्ययन के अनुसार, उम्मीदवारों के बारे में शिक्षा या उम्र जैसी प्रासंगिक जानकारी प्रदान करने से रूढ़िबद्धता कम हो गई, जबकि अप्रासंगिक विवरणों का बहुत कम प्रभाव पड़ा। कुल मिलाकर, निष्कर्षों से पता चलता है कि एआई अपनी सीखने की प्रक्रिया के माध्यम से नए पूर्वाग्रह उत्पन्न कर सकता है, जिसका अर्थ है कि निष्पक्षता न केवल प्रशिक्षण डेटा पर निर्भर करती है, बल्कि इस बात पर भी निर्भर करती है कि एआई सिस्टम को भर्ती और अन्य उच्च जोखिम वाले निर्णयों में कैसे डिजाइन और तैनात किया जाता है।