समझाया: ChatGPT में क्या गलत हुआ? ‘गोबलिन्स’ ने OpenAI के चैटबॉट में कैसे प्रवेश किया?

समझाया: ChatGPT में क्या गलत हुआ? ‘गोबलिन्स’ ने OpenAI के चैटबॉट में कैसे प्रवेश किया?

ओपनएआई ने चैटजीपीटी की हालिया गोब्लिन समस्या का पोस्टमार्टम किया है, जिससे पता चलता है कि गोब्लिन और ग्रेमलिन जैसे पौराणिक प्राणियों के प्रति एक विचित्र जुनून विकसित करने के लिए चैटबॉट में क्या गलत हुआ। OpenAI की ओर से प्रतिक्रिया यह सामने आने के ठीक एक दिन बाद आई कि कंपनी ने अपने कोडेक्स AI सहायक को इन प्राणियों के बारे में बात करने से स्पष्ट रूप से प्रतिबंधित कर दिया है।

यह भी पढ़ें | एंथ्रोपिक फ़ोटोशॉप, प्रीमियर प्रो, ब्लेंडर को क्लाउड में लाता है: यह कैसे काम करता है

ChatGPT में क्या ग़लत हुआ?

मुद्दे की व्याख्या करते हुए एक ब्लॉग पोस्ट में, OpenAI का कहना है कि उसने पहली बार GPT-5.1 के साथ समस्या देखी जब मॉडल ने अपने रूपकों में गोबलिन, ग्रेमलिन और अन्य प्राणियों को तेजी से संदर्भित करना शुरू कर दिया।

कंपनी ने अपने ब्लॉग पोस्ट में बताया, “उत्तर में एक ‘छोटा भूत’ हानिरहित, यहां तक ​​कि आकर्षक भी हो सकता है। हालांकि, सभी मॉडल पीढ़ियों में इस आदत को छोड़ना मुश्किल हो गया है: भूत बढ़ते रहे और हमें यह पता लगाने की जरूरत है कि वे कहां से आए हैं।”

जबकि OpenAI का कहना है कि समस्या GPT-5.1 से भी पहले की हो सकती है, उसने बताया कि कंपनी की एक जांच में पाया गया कि GPT-5.1 के लॉन्च के बाद ChatGPT में “गोब्लिन” शब्द का उपयोग 175% बढ़ गया था, जबकि “ग्रेमलिन” का उपयोग 52% बढ़ गया था।

हालाँकि बातचीत में भूतों के इस्तेमाल से कंपनी के लिए तुरंत खतरे की घंटी नहीं बजती, लेकिन जीव महीनों बाद “हमें और अधिक विशिष्ट और प्रतिलिपि प्रस्तुत करने योग्य रूप में परेशान करने के लिए” वापस आएंगे।

यह भी पढ़ें | एंथ्रोपिक की नजर फंडिंग वार्ता में 900 अरब डॉलर के मूल्यांकन पर है

लेकिन वास्तव में एक चैटबॉट अपनी प्रतिक्रियाओं में पौराणिक प्राणियों का उपयोग कैसे शुरू करता है? उत्तर, जैसा कि पता चला, ओपनएआई के पिछले मुद्दे से संबंधित था।

चैटजीपीटी ने भूतों का संदर्भ देना क्यों शुरू किया?

पिछले साल के मध्य में, OpenAI का GPT-5 लॉन्च किए गए सबसे बड़े AI मॉडल में से एक था, लेकिन जब मॉडल अंततः आया, तो इसने प्रसन्न होने से अधिक उपयोगकर्ताओं को परेशान किया। OpenAI ने न केवल पिछले GPT-4o मॉडल को हटा दिया, जो अन्य पुराने मॉडलों के साथ-साथ अपने लोगों को प्रसन्न करने वाले व्यक्तित्व के कारण लोकप्रिय हो गया था, बल्कि कंपनी की नवीनतम GPT-5 रिलीज़ भी कई उपयोगकर्ताओं को सपाट लगी, जिसके कारण कंपनी ने उपयोगकर्ताओं को चैटबॉट के साथ अपने जुड़ाव पर अधिक विकल्प देने के लिए चार व्यक्तित्वों को जोड़ा।

उन व्यक्तित्वों में से एक को ‘नेर्डी’ कहा जाता था, जिनके सिस्टम प्रॉम्प्ट ने एआई को विचित्र भाषा के माध्यम से दिखावा को कम करते हुए ‘मानव के लिए एक निडर, चंचल और बुद्धिमान एआई सलाहकार’ बनने का निर्देश दिया था।

कंपनी का कहना है कि समस्या GPT-5.1 मॉडल के प्रशिक्षण के दौरान उत्पन्न हुई, जहां इसने अनजाने में रचनात्मक रूपकों का उपयोग करने के लिए AI को पुरस्कृत किया, जिसमें जीव भी शामिल थे। ओपनएआई ने नोट किया कि जबकि नेर्डी व्यक्तित्व सभी चैटजीपीटी प्रतिक्रियाओं में से केवल 2.5% के लिए जिम्मेदार था, यह जीपीटी-5.4 युग के दौरान सभी “गोब्लिन” उल्लेखों में से 66.7% के लिए जिम्मेदार था।

ओपनएआई ने समझाया, “हमने अनजाने में प्राणियों के साथ रूपकों के लिए विशेष रूप से उच्च पुरस्कार दिए। वहां से, भूत फैल गए।”

भूत कैसे भाग गए?

ओपनएआई के लिए समस्याएं बढ़ने लगीं, यहां तक ​​कि जिन उपयोगकर्ताओं ने कभी भी नेर्डी व्यक्तित्व का चयन नहीं किया था, उन्होंने भूतों और अन्य पौराणिक प्राणियों के उपयोग के साथ रूपकों को देखना शुरू कर दिया।

कंपनी ने इस समस्या के लिए इस बात को जिम्मेदार ठहराया कि कैसे सुदृढीकरण शिक्षण नामक एआई प्रशिक्षण पद्धति डेटा को सामान्यीकृत करती है। विशेष रूप से, सुदृढीकरण सीखना एक प्रशिक्षण प्रक्रिया है जहां मॉडल को कुछ प्रकार की प्रतिक्रियाएं उत्पन्न करने के लिए पुरस्कृत किया जाता है, और समय के साथ, यह उन पैटर्न को दोहराना सीखता है जो उच्च अंक प्राप्त करते हैं।

हालाँकि, सुदृढीकरण सीखना यह गारंटी नहीं देता है कि एआई द्वारा सीखा गया व्यवहार उस विशिष्ट परिदृश्य में बड़े करीने से रखा जाता है जिसने उन्हें उत्पन्न किया है। एक बार जब ‘स्टाइल टिक’ को पुरस्कृत किया जाता है, तो एआई उस व्यवहार को सामान्य बनाना शुरू कर सकता है और इसे हर जगह लागू कर सकता है।

आगे की जांच करने पर, ओपनएआई ने पाया कि जहां मुद्दा ‘गोब्लिन’ और ‘ग्रेमलिन’ जैसे शब्दों से शुरू हुआ, वहीं मॉडल ने रैकून, ट्रॉल्स, ओग्रेस और कबूतरों सहित अन्य अजीब प्राणियों के पूरे परिवार के लिए एक आकर्षण विकसित करना शुरू कर दिया।

समस्या को ठीक करने के लिए OpenAI ने क्या किया?

अपने चैटबॉट में समस्या को ठीक करने के लिए, OpenAI ने कई कदम उठाए हैं, जिसमें GPT-5.4 के साथ ‘नेर्डी’ व्यक्तित्व को रिटायर करना और मॉडल प्रशिक्षण में ‘गोब्लिन-एफ़िन रिवार्ड सिग्नल’ को हटाना, जबकि प्राणी शब्दों वाले डेटा को फ़िल्टर करना भी शामिल है।

हालाँकि, नवीनतम मॉडल को बचाने के लिए सुधार थोड़ा देर से आया। क्योंकि GPT-5.5 ने शोधकर्ताओं द्वारा मूल कारण की खोज करने से पहले ही अपनी प्रशिक्षण प्रक्रिया शुरू कर दी थी, नए मॉडल में अभी भी अजीब भूत समस्या मौजूद है।

जब OpenAI के कर्मचारियों ने कंपनी के कोडिंग टूल कोडेक्स में GPT-5.5 का परीक्षण शुरू किया, तो उन्होंने तुरंत इस मुद्दे पर ध्यान दिया, और स्टॉपगैप के रूप में, कंपनी को एक हार्डकोडेड डेवलपर-प्रॉम्प्ट निर्देश जोड़ने के लिए मजबूर होना पड़ा जो विशेष रूप से कोडेक्स में प्राणी उल्लेखों को दबाने के लिए डिज़ाइन किया गया था।

हालाँकि, अपने नवीनतम ब्लॉग में, OpenAI ने कोडेक्स को ‘भूत-दबाने वाले निर्देशों’ के बिना चलाने के लिए एक कमांड भी सूचीबद्ध किया है।