रोमनाइज़्ड इंडिक LLM अध्ययन ने स्वचालित मेट्रिक विफलताओं को उजागर किया

arXiv पर प्रकाशित एक हालिया शोध पत्र ने रोमनाइज़्ड इंडिक स्क्रिप्ट उत्पन्न करने वाले बड़े भाषा मॉडलों में एक गंभीर मूल्यांकन अंतर को उजागर किया है। BERTScore और BGE-M3 जैसे मानक मेट्रिक हिन्दी, तेलुगु और कन्नड़ में स्क्रिप्ट लीक और अंग्रेज़ी में गिरावट जैसी गंभीर मॉडल त्रुटियों को पहचानने में असफल होते हैं, जिससे भारत में सैकड़ों मिलियन उपयोगकर्ताओं को लक्षित करने वाले वैश्विक AI तैनातियों में बड़ी अंधी जगहें बनती हैं।

रोमनाइज़्ड इंडिक LLM प्रदर्शन के बारे में बेंचमार्क अध्ययन ने क्या उजागर किया?

भारत में सैकड़ों मिलियन लोग डिजिटल रूप से रोमन अक्षरों (जैसे "aap kaise hain" टाइप करना) का उपयोग करके संवाद करते हैं, लेकिन रोमनाइज़्ड इंडिक जनरेशन को पारंपरिक NLP बेंचमार्क में अक्सर नहीं देखा गया। इस डोमेन में मॉडल प्रदर्शन मापने के लिए शोधकर्ताओं ने चार अत्याधुनिक मॉडलों (Claude Opus 4.8, GPT-5.5, Gemini 2.5‑flash, और Qwen3.5‑35B) को OpenAssistant डेटासेट के 142 क्वेरी‑रिस्पांस जोड़ों पर परीक्षण किया, जो हिन्दी, तेलुगु और कन्नड़ को कवर करता है।

परिणामों ने स्वचालित मूल्यांकन मेट्रिक और मानव पसंद के बीच एक विशाल अंतर दिखाया। मूलभाषी वक्ताओं द्वारा रेट किए गए 72‑रिस्पांस डायग्नॉस्टिक सबसेट में, GPT-5.5 ने 12‑अंक स्कोर पर Claude Opus 4.8 से 1.43 अंक अधिक स्कोर किया। लेकिन डेटासेट‑व्यापी BGE‑M3 समानता स्कोर में केवल 0.004 का अंतर था। मानक अर्थ‑समानता मेट्रिक ने काफी खराब आउटपुट को प्रवाहपूर्ण रोमनाइज़्ड टेक्स्ट के समान माना।

वर्तमान स्वचालित मेट्रिक LLM में त्रुटियों का पता कैसे नहीं लगा पाते?

मुख्य बिंदु:

• BGE‑M3 और BERTScore जैसे स्वचालित मेट्रिक रोमनाइज़्ड इंडिक भाषा जनरेशन में महत्वपूर्ण त्रुटियों को नहीं पकड़ पाते।
• मूलभाषी वक्ताओं ने GPT‑5.5 को 12‑अंक स्केल पर 1.43 अंक अधिक रेट किया, जबकि BGE‑M3 ने केवल 0.004 का अंतर दिखाया।
• Gemini 2.5‑flash ने तेलुगु में 16.9 % स्क्रिप्ट लीक किया, जबकि Qwen3.5‑35B ने कन्नड़ में 16.2 % मामलों में अंग्रेज़ी में गिरावट दिखायी।
• शोधकर्ताओं ने एक फेल्योर‑अवेयर मूल्यांकन नीति प्रस्तावित की, जो भ्रष्ट या ऑफ‑टार्गेट जनरेशन को शून्य कर देती है।
• सटीक मूल्यांकन के लिए अर्थ‑समानता, स्क्रिप्ट अनुपालन, फेल्योर कवरेज और मूलभाषी‑समीक्षा का संयुक्त फ्रेमवर्क आवश्यक है।

यह क्यों महत्वपूर्ण है?

यह शोध वैश्विक उद्यमों के लिए एक बड़ी कमजोरी को उजागर करता है जो गैर‑पश्चिमी बाजारों में LLM तैनात कर रहे हैं। दक्षिण एशिया में सैकड़ों मिलियन उपयोगकर्ता सॉफ़्टवेयर के साथ रोमन अक्षरों में संवाद करते हैं, न कि मूल लिपियों में। जब ब्रांड स्वचालित बेंचमार्क पर भरोसा करके स्थानीयकृत उत्पादों के लिए मॉडल चुनते हैं, तो वे ऐसे मॉडल तैनात करने का जोखिम उठाते हैं जो स्क्रिप्ट लीक या अंग्रेज़ी में गिरावट जैसी समस्याओं से ग्रस्त होते हैं।

इसके अलावा, निष्कर्ष वर्तमान AI बेंचमार्क पद्धतियों में एक प्रणालीगत दोष को उजागर करते हैं। एम्बेडिंग‑आधारित समानता स्कोर अक्सर संरचनात्मक और स्क्रिप्ट‑संबंधी त्रुटियों को उच्च‑गुणवत्ता मानते हैं क्योंकि अर्थ समान रहता है। AI डेवलपर्स और व्यापारिक नेताओं को सामान्य लीडरबोर्ड आँकड़ों पर भरोसा करने के बजाय डोमेन‑विशिष्ट और फेल्योर‑अवेयर मूल्यांकन पाइपलाइन अपनानी चाहिए।