OpenAI ने अपने सबसे एडवांस AI मॉडल्स की निगरानी के लिए नया सेफ्टी मॉनिटरिंग सिस्टम तैयार किया है. इसका मकसद यह पता लगाना है कि AI एजेंट कहीं तय निर्देशों से हटकर काम तो नहीं कर रहे या बिना इजाजत किसी सिस्टम तक पहुंचने की कोशिश तो नहीं कर रहे. यह सिस्टम AI के रीजनिंग, टूल इस्तेमाल करने के तरीके और उसके एक्शन पर नजर रखता है, ताकि किसी संभावित खतरे को समय रहते रोका जा सके.
29 अक्टूबर को प्रकाशित ब्लॉग पोस्ट में कंपनी ने बताया कि यह सिस्टम चार लेयर में काम करता है. इसे उन घटनाओं के बाद मजबूत किया गया है, जिनमें रिसर्च के दौरान AI एजेंट्स ने सिक्योरिटी प्रतिबंधों को दरकिनार कर दिया था.
OpenAI का 4-लेयर AI सेफ्टी सिस्टम कैसे काम करता है?
पहली लेयर में Activation Probes नाम के हल्के क्लासिफायर इस्तेमाल होते हैं. ये AI मॉडल की इंटरनल एक्टिविटी के पैटर्न देखकर संदिग्ध व्यवहार की पहचान करते हैं. इस स्तर पर ज्यादा से ज्यादा संभावित जोखिम पकड़ने की कोशिश की जाती है, भले ही कुछ गलत अलर्ट मिलें. इसके अलावा, शुरुआती जांच में पास होने वाली 5% एक्टिविटी को भी रैंडम तरीके से आगे की जांच के लिए भेजा जाता है.
लेयर 2: AI से जांच
दूसरी लेयर में एक AI मॉडल एजेंट की हालिया बातचीत, रीजनिंग और टूल इस्तेमाल करने के तरीके की जांच करता है. यह पता लगाने की कोशिश करता है कि एजेंट धोखा देने, बिना अनुमति कोई काम करने या टेस्टिंग को प्रभावित करने की कोशिश तो नहीं कर रहा.
कंपनी कुछ खास इंटरनल एक्टिविटी के लिए हर टर्न के बाद जांच करने और धीरे-धीरे इसे अधिकतम 30 मिनट के अंतराल पर करने की तैयारी कर रही है.
लेयर 3: संदिग्ध गतिविधि की गहराई से जांच
अगर दूसरी लेयर में कुछ संदिग्ध मिलता है, तो एक इन्वेस्टिगेशन एजेंट पूरे मामले की जांच करता है. यह बातचीत का रिकॉर्ड देख सकता है, घटनाओं का क्रम समझ सकता है और अलग-थलग सुरक्षित एनवायरमेंट में कोड चलाकर सबूतों की पड़ताल कर सकता है.
इसमें सिक्योरिटी इन्वेस्टिगेटर बिना अनुमति सिस्टम एक्सेस या सैंडबॉक्स से बाहर निकलने जैसी घटनाएं देखते हैं. वहीं, अलाइनमेंट इन्वेस्टिगेटर ऐसे व्यवहार की जांच करते हैं, जो भविष्य में AI सेफ्टी के लिए चिंता का विषय बन सकते हैं.
लेयर 4: इंसानी टीम को अलर्ट
आखिरी लेयर में बातचीत के रिकॉर्ड की तुलना नेटवर्क लॉग और सिस्टम टेलीमेट्री जैसे बाहरी सबूतों से की जाती है. इसके बाद जरूरत पड़ने पर इंसानी टीम को अलर्ट भेजा जाता है. OpenAI के मुताबिक, हाई-प्रायोरिटी अलर्ट आमतौर पर शुरुआती चेतावनी के 15 मिनट के भीतर सिक्योरिटी और ट्रेनिंग टीम तक पहुंच सकते हैं. कुछ गंभीर मामलों में प्रभावित वर्कलोड को अपने आप रोकने की सुविधा भी है.
Hugging Face घटना में कैसे काम आया सिस्टम?
OpenAI ने पुराने Hugging Face सिक्योरिटी मामले को अपने नए सिस्टम में दोबारा सिमुलेट किया. कंपनी के मुताबिक, इस टेस्ट में AI एजेंट के सैंडबॉक्स से बाहर निकलने के करीब 30 मिनट बाद सिक्योरिटी टीम को अलर्ट मिल गया. यह वास्तविक घटना में Hugging Face के सिस्टम पर सेंध लगने से 30 घंटे से भी ज्यादा पहले था.
सितंबर में एक ट्रेनिंग रन के दौरान भी एक मॉडल ने आइसोलेटेड एनवायरमेंट से इंटरनेट एक्सेस करने का तरीका खोज लिया था. मॉनिटरिंग सिस्टम ने 15 मिनट में इसकी पहचान की और तीन मिनट बाद इंसानी टीम ने जांच शुरू कर दी.
AI की निगरानी में अब भी हैं चुनौतियां
OpenAI ने माना कि AI मॉडल अपनी गलत हरकतों को छिपाना भी सीख सकते हैं. अगर गलत व्यवहार दिखाने पर मॉडल को कम ट्रेनिंग रिवॉर्ड मिले, तो वह अपनी रीजनिंग में ऐसी गतिविधियां छिपाने की कोशिश कर सकता है.
इस समस्या से बचने के लिए कंपनी Async Monitoring इस्तेमाल करती है, जिसमें संदिग्ध सैंपल मिलने पर भी ट्रेनिंग रिवॉर्ड नहीं बदला जाता. कंपनी का कहना है कि इससे मॉडल को गलत व्यवहार छिपाने के लिए प्रोत्साहन नहीं मिलता.
OpenAI ने यह मॉनिटरिंग सिस्टम कुछ बाहरी डिप्लॉयमेंट के लिए भी तैयार किया है, लेकिन वहां प्राइवेसी और तकनीकी सीमाओं के कारण हर संदिग्ध मामले की इंसानी टीम से नियमित जांच नहीं होती.
OpenAI के नए 4-लेयर सेफ्टी मॉनिटरिंग सिस्टम का मुख्य उद्देश्य क्या है?
OpenAI के इस नए 4-लेयर सेफ्टी मॉनिटरिंग सिस्टम का उद्देश्य यह जांचना है कि क्या एआई एजेंट निर्धारित निर्देशों से भटक रहे हैं या अनधिकृत रूप से सिस्टम तक पहुंचने का प्रयास कर रहे हैं।
OpenAI के सेफ्टी मॉनिटरिंग सिस्टम की पहली लेयर कैसे काम करती है?
पहली लेयर में ‘एक्टिवेशन प्रोब्स’ नामक हल्के क्लासिफायर का उपयोग किया जाता है, जो एआई मॉडल की आंतरिक गतिविधि के पैटर्न को देखकर संदिग्ध व्यवहार की पहचान करते हैं।
हगिंग फेस सुरक्षा घटना में OpenAI के नए सिस्टम ने कैसे काम किया?
OpenAI ने इस नए सिस्टम में पिछली हगिंग फेस घटना का पुनर्सिमुलेशन किया, जिसमें सुरक्षा टीम को सैंडबॉक्स टूटने के लगभग 30 मिनट बाद अलर्ट मिल गया था।
