क्या एन्थ्रोपिक ने क्लाउड कोड को ‘मूर्ख’ बना दिया? पोस्टमॉर्टम से उन तीन बगों का पता चलता है जिन्होंने प्रदर्शन को ख़राब कर दिया

पिछले कुछ हफ्तों में, सोशल मीडिया एंथ्रोपिक के क्लाउड कोड के धीमे और सुस्त लगने की शिकायतों से भरा हुआ है, जो कोडिंग गुणवत्ता और बढ़ी हुई मेमोरी समस्याओं से स्पष्ट था। एंथ्रोपिक ने अब पुष्टि की है कि उसका एआई कोडिंग टूल वास्तव में समस्याओं का सामना कर रहा था क्योंकि उसने गुरुवार को एक पोस्टमॉर्टम जारी किया, जिससे पता चला कि टूल के साथ क्या गलत हुआ।

एक्स (पूर्व में ट्विटर) पर एक पोस्ट में, एंथ्रोपिक से संबद्ध एक अकाउंट क्लाउडडेव्स ने लिखा, “पिछले महीने में, आप में से कुछ ने रिपोर्ट किया था कि क्लाउड कोड की गुणवत्ता खराब हो गई थी। हमने जांच की और हमें मिले तीन मुद्दों पर एक पोस्टमॉर्टम प्रकाशित किया। सभी को v2.1.116+ में ठीक कर दिया गया है और हमने सभी ग्राहकों के लिए उपयोग की सीमाएं रीसेट कर दी हैं।”

इसमें कहा गया है, “समस्याएं क्लाउड कोड और एजेंट एसडीके हार्नेस से उत्पन्न हुईं, जिसने कोवर्क को भी प्रभावित किया क्योंकि यह एसडीके पर चलता है। मॉडल स्वयं पीछे नहीं हटे और क्लाउड एपीआई प्रभावित नहीं हुई।”

उपयोगकर्ता क्लाउड कोड के बारे में शिकायत करते हैं

Reddit और उपयोगकर्ताओं ने अनुमान लगाया कि गुणवत्ता में गिरावट एंथ्रोपिक द्वारा पैसे बचाने का एक प्रयास हो सकता है।

Reddit पर एक उपयोगकर्ता ने लिखा, “पिछले सप्ताह से यह काफी धीमा हो गया है… जैसे एक साधारण दस्तावेज़ को पढ़ने में मिनट लगना… प्रतिक्रियाओं को पंक्ति दर पंक्ति लिखना और ऐसा करने में समय लगना…”

एक अन्य उपयोगकर्ता ने शिकायत की, “क्लाउड कोड इतना सतही और मूर्खतापूर्ण हो गया है कि मैं अब इसकी किसी भी चीज़ पर भरोसा नहीं कर सकता।”

“मैं यह पता लगाने की कोशिश कर रहा हूं कि क्या यह बेकार है या जब आप एक ही थ्रेड में अलग-अलग कार्यों को सैंडविच करते हैं तो यह मूल रूप से 1 मी संदर्भ सीमा के साथ ही समाप्त हो जाता है। निश्चित नहीं – डाउनग्रेड जैसा लगता है!” एक अन्य यूजर ने शिकायत की.

क्लाउड कोड में क्या ग़लत हुआ?

एंथ्रोपिक के पोस्टमार्टम में मार्च की शुरुआत और अप्रैल के मध्य के बीच जारी किए गए तीन अलग-अलग अपडेट में क्लाउड कोड गुणवत्ता संबंधी मुद्दों की रिपोर्ट का पता लगाया गया।

कंपनी ने अपने ब्लॉग पोस्ट में लिखा है, “हमने इन रिपोर्टों में तीन अलग-अलग बदलावों का पता लगाया है, जो क्लाउड कोड, क्लाउड एजेंट एसडीके और क्लाउड कोवर्क को प्रभावित करते हैं। एपीआई प्रभावित नहीं हुआ।”

सबसे पहले, एंथ्रोपिक ने लंबे इंतजार के समय को कम करने के लिए मार्च की शुरुआत में डिफ़ॉल्ट “तर्क प्रयास” को उच्च से घटाकर मध्यम कर दिया था, जिससे कुछ उपयोगकर्ताओं के लिए यूआई रुका हुआ दिखाई देता था। हालांकि एंथ्रोपिक का कहना है कि इससे गति में सुधार हुआ है, जिससे मॉडल उपयोगकर्ताओं को कम बुद्धिमान महसूस कराता है। उपयोगकर्ताओं की प्रतिक्रिया के बाद एंथ्रोपिक ने अंततः अप्रैल में इस बदलाव को वापस ले लिया, और ओपस 4.7 अब डिफ़ॉल्ट रूप से ‘xhigh’ प्रयास पर है, जबकि अन्य सभी मॉडल डिफ़ॉल्ट रूप से ‘उच्च’ प्रयास पर हैं।

दूसरा, एंथ्रोपिक ने एक घंटे से अधिक समय तक निष्क्रिय रहे सत्रों से क्लाउड की पुरानी सोच को दूर करने के लिए मार्च के अंत में कैशिंग अनुकूलन को अपडेट किया था।

मार्च के अंत में पेश किए गए एक कैशिंग-संबंधी बग के कारण क्लाउड लंबे सत्रों में बार-बार पिछले संदर्भ को भूल गया। निष्क्रियता के बाद केवल एक बार पुराने तर्क को साफ़ करने के बजाय, सिस्टम हर मोड़ पर संदर्भ मिटाता रहा, जिससे एआई अपने कोडिंग निर्णयों में भुलक्कड़, दोहरावदार और असंगत दिखाई देने लगा। यह समस्या अप्रैल की शुरुआत में ठीक कर दी गई थी.

हालाँकि, कार्यान्वयन में एक गंभीर बग था। एक बार सोच के इतिहास को साफ़ करने के बजाय, इसने शेष सत्र के हर एक मोड़ पर इतिहास को मिटा दिया। इससे क्लाउड की याददाश्त खत्म हो गई कि वह कुछ टूल विकल्प क्यों चुन रहा था, जिसके परिणामस्वरूप गंभीर भूलने की बीमारी, अजीब टूल विकल्प और दोहराव वाले लूप हुए।

एंथ्रोपिक ने लिखा, “क्लाउड कार्यान्वित करना जारी रखेगा, लेकिन उसे यह याद नहीं रहेगा कि उसने वह क्यों करना चुना जो वह कर रहा था। यह लोगों द्वारा रिपोर्ट की गई भूलने की बीमारी, दोहराव और अजीब उपकरण विकल्पों के रूप में सामने आया।”

अंततः 10 अप्रैल को बग को ठीक कर लिया गया।

तीसरा, अपने नवीनतम ओपस 4.7 मॉडल के लॉन्च की तैयारी में, एंथ्रोपिक ने मॉडल की वाचाल प्रकृति को कम करने के लिए 16 अप्रैल को एक सिस्टम प्रॉम्प्ट निर्देश जोड़ा। संकेत ने स्पष्ट रूप से एआई को टूल कॉल के बीच टेक्स्ट को 25 शब्दों से कम और अंतिम प्रतिक्रियाओं को 100 शब्दों से कम रखने के लिए मजबूर किया।

प्रतिक्रिया की लंबाई को आक्रामक रूप से सीमित करके, अपडेट के कारण कोडिंग गुणवत्ता में कमी आई, जिसके परिणामस्वरूप कमजोर और कम विस्तृत आउटपुट प्राप्त हुए। एंथ्रोपिक के परीक्षणों में पाया गया कि अपडेट के कारण ओपस 4.6 और ओपस 4.7 दोनों मॉडलों के प्रदर्शन में 3% की गिरावट आई है।