स्वीडिश कल्याण अधिकारियों ने ‘भेदभावपूर्ण’ एआई मॉडल को निलंबित कर दिया

परिचय

स्वीडन की सामाजिक सुरक्षा एजेंसी द्वारा लाभ धोखाधड़ी की जाँच के लिए लोगों की पहचान करने हेतु इस्तेमाल किए जा रहे “भेदभावपूर्ण” कृत्रिम बुद्धिमत्ता (एआई) मॉडल को देश के डेटा संरक्षण प्राधिकरण (आईएमवाई) के हस्तक्षेप के परिणामस्वरूप रोक दिया गया है। यह हस्तक्षेप स्वीडिश सरकार के अनुरोध पर किया गया था। इस हस्तक्षेप के कई परिणाम हुए, और उनमें से एक प्रभाव अभी लिया गया निर्णय था। भेदभावपूर्ण व्यवहारों को रोकने के उद्देश्य से, यह हस्तक्षेप किया गया था।

नवंबर 2024 में लाइटहाउस रिपोर्ट्स और स्वेन्स्का डागब्लाडेट (एसवीबी) द्वारा की गई एक संयुक्त जांच के निष्कर्षों के बाद, जिसमें पता चला कि स्वीडन की सामाजिक बीमा एजेंसी, फोर्साक्रिंगस्कासन द्वारा उपयोग की जा रही एक मशीन लर्निंग (एमएल) प्रणाली, सामाजिक लाभ धोखाधड़ी के संबंध में आगे की जांच के लिए कुछ समूहों को गलत तरीके से और असंगत रूप से चिह्नित कर रही थी, आईएमवाई जून 2025 से शुरू होने वाली जांच में शामिल हो गई। यह जांच वर्ष 2025 के अंत तक जारी रही। लाइटहाउस रिपोर्ट्स और एसवीबी ही इस जांच के प्रभारी थे।

इस समूह के सदस्य

इस समूह में वे लोग शामिल थे जो महिलाएँ थीं, जो “विदेशी” मूल के थे, जिनकी तनख्वाह कम थी, और जिनके पास उन संस्थानों से डिग्री नहीं थी जहाँ से उन्होंने अपनी पढ़ाई पूरी की थी। इसके अलावा, इस श्रेणी में कम आय वाले लोग भी शामिल थे। मीडिया के नतीजों से पता चला है कि यही तरीका धनी व्यक्तियों और किसी प्रकार की सामाजिक सुरक्षा धोखाधड़ी करने वाले लोगों की पहचान करने में भी आम तौर पर अप्रभावी साबित हुआ। ज़्यादातर मामलों में, यही स्थिति थी।

उजागर हुए तथ्यों के प्रत्यक्ष परिणाम स्वरूप, एमनेस्टी इंटरनेशनल ने नवंबर 2024 में एक सार्वजनिक अपील प्रकाशित की, जिसमें अनुरोध किया गया कि इस प्रणाली को तुरंत निलंबित कर दिया जाए। उस दौरान, समूह ने ऐसे बयान दिए जिनमें इस प्रणाली को “अमानवीय” और “डायन-शिकार जैसा” बताया गया।

सामाजिक सुरक्षा

सामाजिक सुरक्षा लाभों के लिए आवेदन करने वाले व्यक्तियों को उस तकनीक के अनुसार जोखिम मूल्यांकन प्रदान किया जाता है जिसका पहली बार फ़ोर्साक्रिंगस्कासन द्वारा वर्ष 2013 में उपयोग किया गया था। मशीन निर्देश द्वारा सीखना ही वह आधार है जिस पर यह प्रणाली आधारित है। यदि जोखिम स्कोर पर्याप्त रूप से उच्च है, तो यह प्रणाली आवश्यक प्रक्रियाओं का पालन करके जाँच शुरू करेगी।

रिपोर्टों के अनुसार, फ़ोर्साक्रिंगस्कासन इस प्रणाली का इस्तेमाल उन लोगों पर लक्षित जाँच करने के लिए कर रहा था जो पहले से ही अंतरिम बाल सहायता भुगतान प्राप्त कर रहे थे। ये जाँचें विशेष रूप से उसी श्रेणी के लोगों पर केंद्रित थीं। ये लाभ, जो माता-पिता को अपने बीमार बच्चों की देखभाल के कारण काम से अनुपस्थित रहने पर मुआवजा देने के लिए हैं, उन माता-पिता को भी मिलते हैं जो अपने बच्चों की देखभाल के लिए अपनी नौकरी से छुट्टी लेते हैं।

मैन्स लिसेन, IMY के वकील

हालाँकि, यह ध्यान दिलाना ज़रूरी है कि अधिकारियों को अपनी जाँच करने का मौका देने के लिए सिस्टम को बंद कर दिया गया था। आईएमवाई द्वारा लिखे गए और 18 नवंबर, 2025 को प्रकाशित एक ब्लॉग लेख में भी यही जानकारी थी। इसके अलावा, इस लेख के प्रकाशित होने की घोषणा उनकी वेबसाइट पर भी की गई थी। आईएमवाई के वकील मान्स लिसेन ने एक बयान में कहा कि स्वीडिश सामाजिक बीमा एजेंसी ने मूल्यांकन प्रक्रिया के दौरान ही आर्टिफिशियल इंटेलिजेंस सिस्टम को बंद करने का फैसला किया।

उन्होंने इस विकल्प को तब तक अपनाने का फैसला किया जब तक कि जाँच चल रही थी। चूँकि अब इस प्रणाली का उपयोग नहीं किया जा रहा है और इस प्रणाली से जुड़े सभी जोखिम समाप्त हो चुके हैं, इसलिए हम इस निष्कर्ष पर पहुँचे हैं कि हम इस मामले को बिना किसी और जटिलता के प्रभावी ढंग से सफलतापूर्वक समाप्त करने की स्थिति में हैं।

सामान्य डेटा संरक्षण विनियमन (GDPR)

यह तथ्य कि व्यक्तिगत डेटा के प्रबंधन में कृत्रिम बुद्धिमत्ता के उपयोग को मान्यता मिल रही है और इस पर विवाद हो रहा है, बहुत सकारात्मक है। इसका कारण व्यक्तिगत डेटा के प्रबंधन में कृत्रिम बुद्धिमत्ता के उपयोग की लगातार बढ़ती आवृत्ति हो सकती है। सामान्य डेटा संरक्षण विनियमन (जीडीपीआर) और हाल ही में, धीरे-धीरे लागू हो रहे कृत्रिम बुद्धिमत्ता कानून के अनुसार, यह सुनिश्चित करना अधिकारियों और अन्य पक्षों की ज़िम्मेदारी है कि कृत्रिम बुद्धिमत्ता का उपयोग इन कानूनों के अनुरूप हो।

यह ज़िम्मेदारी धीरे-धीरे लागू की जा रही है। इसके अतिरिक्त, यह दायित्व उस कानून पर भी लागू होता है जो धीरे-धीरे प्रभावी होता जा रहा है। इस बीच, फ़ोर्साक्रिंगस्कासन “वर्तमान जोखिम प्रोफ़ाइल को फिर से शुरू करने की योजना नहीं बना रहा है,” जैसा कि IMY ने कहा, और बातचीत के दौरान इस बात पर और भी ज़ोर दिया गया।

कृत्रिम बुद्धिमत्ता (एआई)

सार्वजनिक प्राधिकरणों द्वारा कृत्रिम बुद्धिमत्ता (एआई) प्रणालियों के उपयोग के लिए कड़े तकनीकी, पारदर्शिता और शासन संबंधी कानूनों का पालन करना अनिवार्य है। ऐसा इसलिए है क्योंकि आवश्यक सार्वजनिक सेवाओं और लाभों तक पहुँच निर्धारित करने के लिए एआई प्रणालियों का उपयोग किया जाता है। विशेष रूप से, ऐसा इसलिए है क्योंकि यूरोपीय संघ का कृत्रिम बुद्धिमत्ता अधिनियम, जो 1 अगस्त, 2024 से लागू हुआ, इन मानकों का पालन अनिवार्य करता है। इन सिफारिशों में यह आवश्यकता भी शामिल है कि तैनाती करने वालों को मानवाधिकारों के लिए जोखिमों का आकलन करना होगा और यह सुनिश्चित करना होगा कि तैनाती से पहले ऐसे जोखिमों को कम करने के उपाय मौजूद हों।

तैनातीकर्ताओं द्वारा इनका उपयोग करने से पहले मानवाधिकारों के लिए जोखिमों का मूल्यांकन आवश्यक है। तैनातीकर्ताओं को इनका उपयोग करने की अनुमति देने से पहले यह परीक्षण करना आवश्यक है। कई कंप्यूटर अनुप्रयोगों का उपयोग निषिद्ध है क्योंकि उन्हें अक्सर सामाजिक स्कोरिंग के उपकरण के रूप में देखा जाता है। यही कारण है कि इनके उपयोग की अनुमति नहीं है।

कंप्यूटर

कंप्यूटर वीकली नामक प्रकाशन ने ही फ़ोर्साक्रिंगस्कासन से संपर्क किया था ताकि सिस्टम के निलंबन के बारे में पूछताछ की जा सके और उन कारणों का पता लगाया जा सके जिनके कारण IMY द्वारा की जा रही जाँच पूरी होने से पहले ही संचालन निलंबित करने का निर्णय लिया गया। सरकार के एक आधिकारिक प्रतिनिधि द्वारा दिए गए एक बयान के अनुसार, जोखिम मूल्यांकन प्रोफ़ाइल का उपयोग यह पता लगाने के लिए रोक दिया गया है कि यह कृत्रिम बुद्धिमत्ता को नियंत्रित करने वाले हाल ही में पारित यूरोपीय नियमों के अनुरूप है या नहीं।

फिलहाल इसे फिर से इस्तेमाल में लाने की हमारी कोई योजना नहीं है क्योंकि अब हम अन्य डेटा के अलावा नियोक्ताओं से अनुपस्थिति का डेटा भी इकट्ठा करते हैं, जिससे बहुत अधिक सटीकता मिलने की उम्मीद है। यही कारण है कि फिलहाल इसे फिर से इस्तेमाल में लाने की हमारी कोई योजना नहीं है। इसके प्रत्यक्ष परिणाम के रूप में, किसी भी परिस्थिति में इसे फिर से इस्तेमाल करने का हमारा कोई इरादा नहीं है।

लाइटहाउस और एसवीबी

फ़ोर्साक्रिंगस्कासन ने नवंबर 2024 में कंप्यूटर वीकली को दिए एक साक्षात्कार में पहले कहा था कि “यह प्रणाली स्वीडिश कानून के पूर्ण अनुपालन में संचालित होती है” और जो आवेदक लाभों के लिए पात्र हैं, उन्हें “उनके आवेदन को फ़्लैग किए जाने की परवाह किए बिना” लाभ प्राप्त होंगे। यह कथन इस तथ्य के संदर्भ में दिया गया था कि यह प्रणाली स्वीडिश कानून के पूर्ण अनुपालन में संचालित होती है। यह टिप्पणी इस तथ्य के संबंध में दी गई थी कि यह प्रणाली स्वीडन के कानूनों के पूर्ण अनुपालन में संचालित होती है। इस तथ्य के संबंध में कि यह प्रणाली स्वीडन के कानूनों के पूर्ण अनुपालन में कार्य करती है, यह कथन इस तथ्य के संबंध में दिया गया था कि यह प्रणाली काम करती है।

लाइटहाउस और एसवीबी द्वारा की गई टिप्पणियों के जवाब में, फ़ोर्साक्रिंगस्कासन ने एक बयान जारी किया। यह बयान उन बयानों का प्रत्युत्तर भी था। संस्था के आंतरिक कामकाज के संदर्भ में, इन दावों से यह स्पष्ट हो गया कि एजेंसी जनता के साथ पूरी तरह ईमानदार नहीं रही है। फ़ोर्साक्रिंगस्कासन ने एक टिप्पणी जारी की, जिसमें कहा गया कि “इस प्रणाली के संचालन के बारे में विस्तृत जानकारी देने से लोग पहचान से बच सकते हैं।” उनका यह बयान इसी प्रश्न के उत्तर में दिया गया था।

तंत्र

कुछ मायनों में एक-दूसरे से अलग तंत्र विभिन्न देशों में, कृत्रिम बुद्धिमत्ता-आधारित प्रणालियों का उपयोग धोखाधड़ी वाले व्यवहार का पता लगाने या पुरस्कार देने के उद्देश्य से किया जाता है। यह दावा किया गया है कि इन प्रणालियों में ऐसी समस्याएँ आई हैं जो संयुक्त राज्य अमेरिका में देखी गई समस्याओं के समान हैं। उदाहरण के लिए, नवंबर 2024 के महीने में, एमनेस्टी इंटरनेशनल ने उन तरीकों को उजागर किया जिनसे डेनमार्क की कल्याणकारी एजेंसी द्वारा नियोजित कृत्रिम बुद्धिमत्ता (एआई) तकनीकें दमनकारी सामूहिक निगरानी के विकास के प्रति संवेदनशील हैं।

इस बात की पूरी संभावना है कि नस्लीय समूहों के सदस्य, प्रवासी, शरणार्थी और विकलांग व्यक्ति इसके परिणामस्वरूप पूर्वाग्रह का शिकार हो सकते हैं। नवंबर 2024 में, एमनेस्टी इंटरनेशनल ने एक सार्वजनिक घोषणा प्रकाशित की जिसमें जाँच के निष्कर्षों की व्याख्या की गई।

यूनिवर्सल क्रेडिट

यूनाइटेड किंगडम के कार्य एवं पेंशन विभाग (DWP) द्वारा किए गए एक आंतरिक मूल्यांकन के निष्कर्षों के अनुसार, हज़ारों यूनिवर्सल क्रेडिट लाभ भुगतानों की जाँच के लिए इस्तेमाल की गई एक मशीन लर्निंग प्रणाली ने धोखाधड़ी के संभावित मामलों की जाँच के लिए व्यक्तियों का चयन करते समय “सांख्यिकीय रूप से महत्वपूर्ण” असमानताएँ प्रदर्शित कीं। यह मूल्यांकन यह निर्धारित करने के लिए किया गया था कि प्रणाली अपने कार्यों में प्रभावी थी या नहीं।

श्रम एवं पेंशन विभाग ने यह निर्णय लिया। यह मूल्यांकन सरकार द्वारा सूचना की स्वतंत्रता (FoI) आंदोलन को नियंत्रित करने वाले मानकों के अनुसार पब्लिक लॉ प्रोजेक्ट को उपलब्ध कराया गया था।

कार्य और पेंशन विभाग (डीडब्ल्यूपी)

फरवरी 2024 में किए गए अध्ययन के निष्कर्षों से पता चला कि “विश्लेषण की गई सभी संरक्षित विशेषताओं के लिए सांख्यिकीय रूप से महत्वपूर्ण रेफरल… और परिणाम असमानता” है। यह निष्कर्ष अध्ययन के अंत में निकाला गया। जिन संरक्षित विशेषताओं का अध्ययन किया गया, उनमें लोगों की उम्र, उनकी विकलांगता की प्रकृति, उनकी शादी हुई या नहीं, और वे जिस देश में रहते थे, शामिल थे।

वर्ष 2025 के जुलाई महीने में, मानवाधिकार संगठनों ने कार्य एवं पेंशन विभाग (DWP) के प्रति अपनी नाराजगी व्यक्त की, क्योंकि उन्होंने यूनाइटेड किंगडम की सामाजिक सुरक्षा प्रणाली में कृत्रिम बुद्धिमत्ता (AI) के एकीकरण के तरीके में “पारदर्शिता की चिंताजनक कमी” का उल्लेख किया। यह निर्धारित करने के लिए कि लोग यूनिवर्सल क्रेडिट या व्यक्तिगत स्वतंत्रता भुगतान जैसे सामाजिक सुरक्षा कार्यक्रमों में भाग लेने के योग्य हैं या नहीं, अब कृत्रिम बुद्धिमत्ता का उपयोग करने वाली एक रणनीति अपनाई जा रही है। यह तकनीक पात्रता निर्धारित करने के उद्देश्य से है।

निष्कर्ष

लगभग एक ही समय में प्रकाशित अलग-अलग अध्ययनों में, एमनेस्टी इंटरनेशनल और बिग ब्रदर वॉच, दोनों ने इस संदर्भ में कृत्रिम बुद्धिमत्ता के उपयोग से जुड़ी भेदभाव की स्पष्ट समस्याओं की ओर ध्यान आकर्षित किया। दोनों संगठनों के निष्कर्ष लगभग एक ही समय में प्रकाशित हुए थे। लगभग एक ही समय में, इन दोनों रिपोर्टों का निर्माण और वितरण किया गया।

दोनों संगठनों ने अपनी अलग-अलग टिप्पणियों में अपने सदस्यों के बीच भेदभाव की संभावना पर अपनी चिंता व्यक्त की। तीसरा, उन्होंने इस जोखिम पर ज़ोर दिया कि यह तकनीक यूनाइटेड किंगडम की लाभ प्रणाली में पहले से मौजूद विषम परिणामों को और भी स्पष्ट कर सकती है। यह तीसरी चिंता थी जिस पर उन्होंने ज़ोर दिया।