Google का जेमिनी नैनो बनाना प्रो मॉडल अपनी बेहतर चरित्र स्थिरता, 4K छवि निर्माण और संपादन के साथ-साथ Google खोज के साथ एकीकरण के कारण पिछले सप्ताह सोशल मीडिया पर धूम मचा रहा है। पिछले हफ्ते नए मॉडल के लॉन्च के बाद से, उपयोगकर्ता नैनो बनाना प्रो के विभिन्न वास्तविक दुनिया के उपयोग के मामलों के साथ प्रयोग कर रहे हैं जैसे स्टाइलिश पोर्ट्रेट बनाना, लिंक्डइन प्रोफाइल को एआई इन्फोग्राफिक्स में बदलना या जटिल टेक्स्ट को व्हाइटबोर्ड सारांश में विज़ुअलाइज़ करना।
हालाँकि, कुछ उपयोगकर्ताओं ने यह भी देखना शुरू कर दिया है कि नैनो बनाना प्रो की यथार्थवादी छवि-निर्माण क्षमताएं मॉडल को आधार कार्ड या पैन कार्ड जैसे नकली भारतीय पहचान प्रमाण बनाने के लिए प्रेरित कर सकती हैं, जो वास्तविक जीवन में गोपनीयता के लिए एक बुरा सपना हो सकता है।
हमने नैनो बनाना प्रो का उपयोग करके यथार्थवादी दिखने वाले आधार और पैन कार्ड बनाने का भी प्रयास किया, और आश्चर्यजनक रूप से मॉडल ने बिना कोई प्रश्न पूछे उन्हें तैयार किया। वास्तव में, एआई ने ईमानदारी से मेरी छवि, दस्तावेज़ के सभी सामान्य पहचानकर्ताओं और मेरे द्वारा जोड़े गए काल्पनिक विवरणों को भी बिना किसी हिचकिचाहट के जोड़ दिया।
सुरक्षा कारणों से, हमने इन छवियों को उत्पन्न करने के लिए उपयोग किए गए नैनो बनाना प्रॉम्प्ट को साझा नहीं किया है।
आप नकली दस्तावेज़ यहां देख सकते हैं:
Google के प्रति निष्पक्ष रहें, नैनो बनाना प्रो द्वारा उत्पन्न छवियां जेमिनी वॉटरमार्क के साथ आती हैं, लेकिन इससे छुटकारा पाना बहुत कठिन नहीं है। कंपनी नैनो बनाना प्रो द्वारा उत्पादित छवियों को अदृश्य सिंथआईडी वॉटरमार्किंग के साथ भी चिह्नित करती है ताकि यह सुनिश्चित किया जा सके कि इसकी बनाई गई छवियां वास्तविक छवियों के लिए गलत नहीं हैं।
हालाँकि, इस बात से इनकार नहीं किया जा सकता है कि ऐसी यथार्थवादी दिखने वाली आईडी, एक बार मुद्रित होने या जल्दबाजी में दिखाए जाने पर, वास्तविक पहचान प्रमाण के रूप में गलत हो सकती हैं। यह स्पष्ट नहीं है कि इस तरह के बुनियादी दुरुपयोग को Google की सुरक्षा टीमों ने कैसे ध्यान में नहीं रखा, यह देखते हुए कि मॉडल के दुरुपयोग को रोकने के लिए सख्त सुरक्षा रेलिंग रखने के लिए उपयोगकर्ताओं द्वारा कंपनी की व्यापक रूप से आलोचना की गई है।
इसके लॉन्च के बाद से, उपयोगकर्ताओं ने सोशल मीडिया पर विभिन्न उदाहरणों की ओर इशारा किया है, जहां जेमिनी ने “यौन रूप से विचारोत्तेजक”, “हिंसा का सुझाव देता है,” या “संवेदनशील सामग्री” होने के कारण अनुरोधित छवि बनाने से इनकार कर दिया।
विशेष रूप से, यह पहली बार नहीं है कि कोई एआई मॉडल पटरी से उतर गया है और नकली आईडी प्रूफ बनाने के लिए उपयोगकर्ता के निर्देशों का पालन किया है। ChatGPT (GPT-4o) के पूरे घिबली पल के दौरान, OpenAI के मॉडल ने उपयोगकर्ताओं के लिए यथार्थवादी दिखने वाले पैन कार्ड और आधार कार्ड की छवियां स्वतंत्र रूप से उत्पन्न कीं। हालाँकि, नैनो बनाना प्रो के साथ समस्या और भी बढ़ गई है, क्योंकि नया मॉडल यथार्थवादी दिखने वाली छवियां बनाने में चैटजीपीटी से कई गुना बेहतर है।
