27 अग॰ 2025·8 मिनट
फेई-फेई ली और ImageNet: वह डेटासेट जिसने एआई को बदल दिया
फेई-फेई ली के ImageNet प्रोजेक्ट की सरल भाषा में समीक्षा: इसने क्यों डीप लर्निंग बूम को संभव बनाया, और इसने हमें डेटा, बायस और स्केल के बारे में क्या सिखाया।
फेई-फेई ली के ImageNet प्रोजेक्ट की सरल भाषा में समीक्षा: इसने क्यों डीप लर्निंग बूम को संभव बनाया, और इसने हमें डेटा, बायस और स्केल के बारे में क्या सिखाया।
फेई-फेई ली का नाम आधुनिक एआई सफलताओं के साथ अक्सर जुड़ा होता है क्योंकि उन्होंने इस क्षेत्र को एक सरल, लेकिन शक्तिशाली विश्वास की ओर मोड़ा: प्रगति केवल स्मार्ट एल्गोरिद्म से नहीं आती—यह बेहतर डेटा से भी आती है। ImageNet कोई नया मॉडल या चालाक तरकीब नहीं था। यह दुनिया के दृश्यों का एक बड़ा, ध्यान से लेबल्ड स्नैपशॉट था जिसने मशीनों को कुछ ठोस सिखाने के लिए सामग्री दी।
ImageNet से पहले, कंप्यूटर विज़न सिस्टम अक्सर छोटे और संकुचित डेटासेट्स पर प्रशिक्षित होते थे। इससे यह सीमित हो जाता था कि शोधक क्या माप सकते हैं और मॉडल असल में क्या सीख सकते हैं। ImageNet ने एक साहसिक शर्त लगाई: अगर आप पर्याप्त बड़े, असली दुनिया के चित्रों का संग्रह इकट्ठा करें और उन्हें सुसंगत रूप से लेबल करें, तो आप सिस्टम्स को बहुत अधिक अवधारणाएँ पहचानना सिखा सकते हैं—और विभिन्न तरीकों की निष्पक्ष तुलना कर सकते हैं।
यह “डेटा-फर्स्ट” परिप्रेक्ष्य 2025 में भी मायने रखता है क्योंकि यह अभी भी इस बात को आकार देता है कि एआई टीमें कैसे काम करती हैं: टास्क परिभाषित करें, लेबल (या टार्गेट) परिभाषित करें, और प्रशिक्षण डेटा को स्केल करें ताकि मॉडल छोटे नमूने को याद करने के बजाय सार्थक पैटर्न सीखने को मजबूर हो।
ImageNet का प्रभाव सिर्फ़ उसके आकार में नहीं था; यह समय के साथ भी जुड़ा था। जब शोधकर्ताओं ने एक साथ मिलाया:
…तो परिणाम नाटकीय रूप से बदल गए। प्रसिद्ध 2012 ImageNet प्रतियोगिता जीत (AlexNet) किसी खाली जगह में नहीं हुई—यह वह पल था जब ये घटक मिलकर प्रदर्शन में एक बड़ा छलांग लेकर आए।
यह लेख देखता है कि ImageNet क्यों इतना प्रभावशाली बना, इसने क्या सक्षम किया, और किस बात को उजागर किया—बायस, माप के अंतराल, और बेंचमार्क-ओप्टिमाइज़ेशन का जोखिम। हम ImageNet के स्थायी प्रभाव, इसके व्यापार-ऑफ, और ImageNet के बाद एआई के लिए जो नया “केंद्र” बना उस पर ध्यान देंगे।
फेई-फेई ली का ImageNet पर काम "मानवों को हराने" की खोज के रूप में नहीं शुरू हुआ। यह एक सरल विश्वास से शुरू हुआ: अगर हम चाहते हैं कि मशीनें दृश्य दुनिया को समझें, तो हमें उन्हें दृश्य दुनिया दिखानी होगी—स्केल पर।
विज़ुअल इंटेलिजेंस पर काम करने वाली एक अकादमिक के रूप में, ली यह जानना चाहती थीं कि सिस्टम किनारे या साधारण आकृतियों से आगे बढ़कर असली ऑब्जेक्ट्स और दृश्यों को कैसे पहचान सकते हैं। लेकिन शुरुआती कंप्यूटर विज़न शोध अक्सर एक ही दीवार से टकराता था: प्रगति जटिल एल्गोरिद्म से अधिक सीमित, संकुचित डेटासेट्स से बाधित थी।
मॉडल छोटे संग्रहों पर प्रशिक्षित और परीक्षण किए जाते थे—कभी-कभी इतने सावधानी से चुने हुए कि सफलता लैब के बाहर सामान्यीकृत नहीं होती थी। परिणाम प्रभावित कर सकते थे, पर जब छवियाँ गड़बड़ी से भरी हों—अलग लाइटिंग, पृष्ठभूमियाँ, कैमरा कोण, या ऑब्जेक्ट विविधताएँ—तो मॉडल असफल हो जाते थे।
ली ने पहचाना कि विज़न शोध को सार्थक प्रदर्शन तुलना के लिए एक साझा, बड़े पैमाने पर, विविध प्रशिक्षण सेट की ज़रूरत थी। इसके बिना, टीमें अपनी खुद की डेटा की खामियों पर ट्यून करके “जीत” सकती थीं, और क्षेत्र वास्तविक सुधार को मापने में संघर्ष करता।
ImageNet ने एक डेटा-फर्स्ट अप्रोच को मूर्त रूप दिया: एक विस्तृत फाउंडेशन डेटासेट बनाओ जिसमें कई श्रेणियों में सुसंगत लेबल हों, फिर शोध समुदाय को इस पर प्रतिस्पर्धा करने और ऊपर से सीखने दो।
ImageNet को समुदाय के बेंचमार्क के साथ जोड़कर प्रोजेक्ट ने शोध प्रोत्साहनों को मापनीय प्रगति की ओर मोड़ा। हाथ से चुने हुए उदाहरणों के पीछे छिपना मुश्किल हो गया और जिन तरीकों ने सामान्यीकरण दिखाया उन पर पुरस्कार मिलना आसान हुआ।
जितना महत्वपूर्ण था, इसने एक सामान्य संदर्भ बिंदु बनाया: जब सटीकता सुधरी, तो हर कोई इसे देख सकता था, पुनरुत्पादन कर सकता था, और उस पर आगे बना सकता था—बिखरे हुए प्रयोगों को साझा प्रगति में बदलते हुए।
ImageNet तस्वीरों का एक बड़ा, क्यूरेट किया हुआ संग्रह है जिसे कंप्यूटरों को यह सिखाने के लिए बनाया गया था कि इमेज में क्या है। सीधे शब्दों में: यह मिलियनों तस्वीरों का एक सेट है, जिनमें से हर एक एक नामित श्रेणी में व्यवस्थित है—जैसे “गोल्डन रिट्रीवर,” “फायर ट्रक,” या “एस्प्रेसो।” उद्देश्य एक सुंदर फोटो एलबम बनाना नहीं था; बल्कि एक प्रशिक्षण मैदान बनाना था जहाँ एल्गोरिद्म असली पैमाने पर विज़ुअल रिकग्निशन का अभ्यास कर सकें।
ImageNet में हर इमेज के पास एक लेबल होता है (जिस श्रेणी में वह आती है)। ये श्रेणियाँ WordNet से प्रेरित पदानुक्रम में व्यवस्थित हैं—इसे विचार करें जैसे एक आधारभूत अवधारणाओं का परिवार का पेड़। उदाहरण के लिए, “पूडल” “कुत्ता” के अंतर्गत आता है, जो “स्तनपायी” के अंतर्गत आता है, जो “जानवर” के अंतर्गत आता है।
WordNet की यांत्रिकी की ज़रूरत नहीं है ताकि आप इसका मूल्य समझें: यह संरचना कई अवधारणाओं को सुसंगत रूप से व्यवस्थित करना आसान बनाती है और बिना नामकरण में अराजकता के डेटासेट का विस्तार करने की अनुमति देती है।
छोटे डेटासेट अक्सर विज़न को आसान दिखा सकते हैं। ImageNet के स्केल ने विविधता और घर्षण पेश किया: अलग कैमरा कोण, गंदी पृष्ठभूमियाँ, लाइटिंग परिवर्तन, आंशिक ओक्लूज़न, और असामान्य उदाहरण ("एज-केसेज़") जो असली फोटो में दिखाई देते हैं। पर्याप्त उदाहरणों के साथ, मॉडल उन पैटर्नों को सीख सकते हैं जो लैब डेमो के बाहर भी टिकते हैं।
ImageNet एक अकेला “एआई मॉडल” नहीं है, और यह वास्तविक दुनिया की समझ की गारंटी नहीं है। यह परिपूर्ण भी नहीं है: लेबल गलत हो सकते हैं, श्रेणियाँ मानवीय चुनावों को प्रतिबिंबित करती हैं, और कवरेज पूरे विश्व में असमान है।
इसे बनाना इंजीनियरिंग, टूलिंग और बड़े पैमाने की समन्वय की मांग करता था—ध्यान से डेटा संग्रह और लेबलिंग उतनी ही ज़रूरी थीं जितनी कि कोई नयी थ्योरी।
ImageNet एक सिंगल फोटो डंप के रूप में शुरू नहीं हुआ। इसे एक संरचित संसाधन के रूप में इंजीनियर किया गया: कई श्रेणियाँ, हर श्रेणी में काफी उदाहरण, और यह स्पष्ट नियम कि क्या "काउंट" करता है। वही संयोजन—स्केल के साथ सुसंगतता—एक बड़ी छलांग थी।
टीम ने वेब से कैंडिडेट इमेज़ इकट्ठा कीं और उन्हें किसी टैक्सोनॉमी के चारों ओर व्यवस्थित किया (मुख्यतः WordNet से मेल खाती)। "एनिमल" या "वाहन" जैसे व्यापक लेबल की बजाय, ImageNet ने विशिष्ट, नामयोग्य श्रेणियों का लक्ष्य रखा—जैसे "गोल्डन रिट्रीवर" बजाय सिर्फ "कुत्ता"। इससे डेटासेट यह मापने में उपयोगी बना कि क्या एक मॉडल सूक्ष्म विज़ुअल भेदभाव सीख सकता है।
यह महत्वपूर्ण था कि श्रेणियाँ इतनी परिभाषित हों कि लोग सुस्पष्ट सहमति के साथ लेबल कर सकें। अगर कोई क्लास बहुत अस्पष्ट हो ("प्यारा"), तो एनोटेशन अनुमान बन जाता है; अगर बहुत दुर्लभ हो, तो शोर भरे लेबल और छोटे सैंपल साइज मिलते हैं।
मानव एनोटेटर्स केंद्रीय भूमिका निभाते थे: उन्होंने सत्यापित किया कि क्या एक इमेज में लक्षित ऑब्जेक्ट वास्तव में मौजूद है, अप्रासंगिक या कम-गुणवत्ता परिणामों को फ़िल्टर किया, और यह सुनिश्चित करने में मदद की कि श्रेणियाँ एक-दूसरे में घुल-मिल न जाएँ।
क्वालिटी कंट्रोल का लक्ष्य परफ़ेक्शन नहीं था—बल्कि प्रणालीगत त्रुटियों को कम करना था। आम चेक में बहु-स्वतंत्र निर्णय, स्पॉट ऑडिट, और किनारे के मामलों (जैसे खिलौना संस्करण को गिनना चाहिए या नहीं) के लिए मार्गदर्शिकाएँ शामिल थीं।
बेंचमार्क तभी काम करते हैं जब हर कोई एक ही मानक पर आँका जाता है। अगर "साइकिल" में एक सबसेट में मोटरसाइकिल शामिल है और दूसरे में नहीं, तो दो मॉडल केवल इस वजह से अलग दिख सकते हैं कि डेटा असंगत है। स्पष्ट लेबलिंग नियम सालों और टीमों के पार परिणामों को तुलनीय बनाते हैं।
एक आम गलतफहमी यह है कि बड़ा होना अपने आप बेहतर है। ImageNet का प्रभाव स्केल के साथ अनुशासित संरचना के कारण आया: अच्छी परिभाषित श्रेणियाँ, दोहराने योग्य एनोटेशन प्रक्रियाएँ, और सीखने के लिए पर्याप्त उदाहरण।
ज़्यादा इमेज़ मदद करती हैं, पर बेहतर डेटा डिज़ाइन वही है जो इमेज़ को अर्थपूर्ण मापक बनाता है।
बेंचमार्क साधारण बोलते हुए: एक फिक्स्ड टेस्ट सेट, एक मेट्रिक, और एक स्कोर। पर मशीन लर्निंग में, ये एक साझा नियम-पुस्तक की तरह काम करते हैं। जब हर कोई एक ही डेटा पर एक ही तरीके से मूल्यांकन करता है, तो प्रगति प्रदर्शनीय हो जाती है—और दावे छली हुई बताना मुश्किल। साझा टेस्ट टीमों को ईमानदार रखता है, क्योंकि एक मॉडल या तो सहमति-अनुसार माप पर बेहतर होता है या नहीं होता।
ImageNet Large Scale Visual Recognition Challenge (ILSVRC) ने ImageNet को केवल डेटासेट से एक वार्षिक एकत्रित बिंदु बना दिया। शोधकर्ता केवल विचार प्रकाशित नहीं करते थे; वे समान परिस्थितियों के तहत बड़े-स्केल क्लासीफिकेशन टास्क पर परिणाम दिखाते थे।
उस सामंजस्य का महत्व था। इसने दुनिया भर के प्रयोगशालाओं को एक सामान्य लक्ष्य दिया, पेपर्स की तुलना आसान की, और अपनाने की घर्षण कम की: अगर किसी तकनीक ने लीडरबोर्ड पर ऊँचा स्थान पकड़ा, तो दूसरों के लिए इसे जल्दी आजमाना न्यायसंगत हो गया।
लीडरबोर्ड फीडबैक चक्र को संकुचित करते हैं। महीनों तक सहमति का इंतज़ार करने के बजाय, टीमें आर्किटेक्चर समायोजन, डेटा ऑगमेंटेशन और ऑप्टिमाइज़ेशन ट्रिक्स आज़मा कर देख सकती थीं कि क्या इससे स्कोर बढ़ता है।
यह प्रतिस्पर्धी लूप व्यावहारिक सुधारों को पुरस्कृत करता है और एक स्पष्ट प्रगति कथा बनाता है, जिसने उद्योग का ध्यान डीप लर्निंग की ओर आकर्षित किया।
बेंचमार्क जोखिम भी पैदा करते हैं। जब एक एकल स्कोर लक्ष्य बन जाता है, टीमें ओवरफिट करने लगती हैं—जरूरी नहीं कि "धोखे" से, पर टेस्ट वितरण की अजीबताओं के अनुसार फैसले बनाने से।
ILSVRC (और किसी भी बेंचमार्क) को मतदाता के रूप में लेना स्वस्थ बात है, न कि विज़न की पूरी परिभाषा। मजबूत परिणाम एक संकेत हैं; फिर आप इसे बेंचमार्क के बाहर सत्यापित करते हैं: नए डेटासेट, भिन्न डोमेनों, स्ट्रेस टेस्ट्स, और वास्तविक दुनिया की त्रुटि विश्लेषण।
2000 के अंत और 2010 के शुरू के दशक में, अधिकांश कंप्यूटर विज़न सिस्टम हाँथ से बनाए गए फ़ीचर्स—ऐसे तरीक़े जो किनारों, बनावटों और आकृतियों का वर्णन करते—और सामान्य क्लासीफायर्स पर आधारित थे। प्रगति वास्तविक थी, पर धीरे-धीरे।
टीमें फ़ीचर पाइपलाइनों को बहुत ट्यून करने में समय लगाती थीं, और परिणाम अक्सर तब ठहर जाते थे जब छवियाँ गड़बड़ होतीं: अजीब लाइटिंग, भरपूर बैकग्राउंड, असमान दृष्टिकोण, या श्रेणियों के बीच सूक्ष्म अंतरों से।
ImageNet पहले ही इसमानदंड को बढ़ाकर "काफी विविध डेटा से सीखना" संभव बना चुका था। पर कई शोधक अभी भी शक करते थे कि न्यूरल नेटवर्क—विशेषकर गहरे—वाइडस्केल पर अच्छी तरह outperform कर पाएँगे।
2012 में, AlexNet ने उस विश्वास को बदल दिया जिस तरह दर्जनों छोटे सुधार नहीं कर सके। मॉडल ने एक गहरा कॉन्वॉल्यूशनल न्यूरल नेटवर्क इस्तेमाल किया जिसे ImageNet पर प्रशिक्षित किया गया, GPU ने कंप्यूट व्यवहारिक बनाया और बड़े-स्केल डेटा ने सीखने को सार्थक किया।
मानव-निर्दিষ্ট फ़ीचर्स पर निर्भर रहने के बजाय, नेटवर्क ने पिक्सल से सीधे अपनी प्रतिनिधित्व सीख ली। नतीजा ऐसा सटीकता उछाल था जिसे नज़रअंदाज़ नहीं किया जा सकता था।
एक स्पष्ट, बेंचमार्केड जीत ने प्रोत्साहनों को बदल दिया। फंडिंग, हायरिंग और लैब की प्राथमिकताएँ डीप लर्निंग की ओर झुक गईं क्योंकि यह एक दोहराने योग्य नुस्खा देती थी: डेटा स्केल करो, कंप्यूट स्केल करो, और मॉडल्स को फीचर्स ऑटोमेटिकली सीखने दो।
2012 के बाद, कंप्यूटर विज़न में "स्टेट ऑफ द आर्ट" का मतलब बढ़ती मात्रा में हुआ: साझा बेंचमार्क्स पर सर्वश्रेष्ठ नतीजे, ऐसे मॉडल्स जो एंड-टू-एंड सीखते थे। ImageNet साबित स्थल बन गया, और AlexNet सबूत कि डेटा-फर्स्ट विज़न ने क्षेत्र के नियम घटाया।
AlexNet की 2012 की जीत सिर्फ इमेज क्लासीफिकेशन स्कोर नहीं बढ़ी—इसने शोधकर्ताओं की धारणा बदल दी कि पर्याप्त डेटा और सही ट्रेनिंग नुस्खे से क्या संभव है। जब एक नेटवर्क हज़ारों ऑब्जेक्ट्स को विश्वसनीय रूप से पहचान सकता था, तो स्वाभाविक था कि वही तरीका ऑब्जेक्ट्स का पता लगाने, उन्हें सीमांकन करने और दृश्यों को समझने जैसे कठिन कार्यों पर भी आज़माया जाए।
ImageNet-शैली ट्रेनिंग जल्दी ही कठिन विज़न कार्यों में फैल गई:
टीमों ने पाया कि ImageNet पर प्रशिक्षित मॉडल केवल फोटोज़ को लेबल करने में अच्छे नहीं थे—उन्होंने एज, टेक्सचर और आकार जैसे पुन:उपयोग योग्य विज़ुअल पैटर्न सीखे जो कई समस्याओं पर सामान्यीकरण करते थे।
ट्रांसफर लर्निंग वैसा है जैसे आपने छोटी कार में ड्राइव करना सीखा, फिर जल्दी से वैन पर एडजस्ट कर लेते हैं। मूल कुशलता (स्टीयरिंग, ब्रेक) बनी रहती है, और केवल जो अलग है उसे आप बदलते हैं (आकार, ब्लाइंड स्पॉट)।
एआई में: पहले ImageNet पर एक मॉडल प्रीट्रेन करें और फिर उसे अपने छोटे, विशेष डेटासेट पर फाइन-ट्यून करें—जैसे फैक्टरी लाइन पर दोष या त्वचा के घाव के प्रकार।
प्रीट्रेनिंग इसलिए मानक बन गई क्योंकि यह अक्सर देता है:
यह "प्रीट फिर फाइन-ट्यून" पैटर्न उपभोक्ता और एंटरप्राइज़ उत्पादों में फैल गया: ऐप्स में बेहतर फोटो सर्च और संगठन, रिटेल में विज़ुअल सर्च ("मिलती-जुलती जूतियाँ ढूँढो"), ड्राइवर-एड असिस्टेंस जो पैदल चलने वालों का पता लगाती हैं, और क्वालिटी-कंट्रोल सिस्टम जो नुकसान या ग़ायब हिस्सों का पता लगाते हैं।
जो एक बार बेंचमार्क जीत था, वह असली सिस्टम बनाने की दोहराई जाने वाली वर्कफ़्लो बन गया।
ImageNet ने केवल इमेज रिकग्निशन सुधारा ही नहीं—इसने यह भी बदला कि "अच्छा शोध" कैसा दिखता है। इससे पहले, कई विज़न पेपर्स छोटे डेटासेट और हाथ से ट्यून किए फ़ीचर्स के साथ अपने दावों को तर्कसंगत बना सकते थे। ImageNet के बाद, दावे को सार्वजनिक, मानकीकृत टेस्ट पर टिके रहना पड़ा।
क्योंकि डेटासेट और चुनौती नियम साझा थे, छात्रों और छोटी प्रयोगशालाओं के लिए असली मौका बन गया। आपको निजी इमेज संग्रह की ज़रूरत नहीं थी; आपको एक स्पष्ट विचार और उसे ट्रेन व एवाल्यूएट करने की अनुशासन चाहिए थी।
इससे एक नई पीढ़ी के शोधक पैदा हुए जिन्होंने एक ही समस्या पर प्रतिस्पर्धा करके बहुत कुछ सीखा।
ImageNet ने उन टीमों को इनाम दिया जो एंड-टू-एंड चार चीज़ें संभाल सकती थीं:
यह "फुल पाइपलाइन" मानसिकता बाद में मशीन लर्निंग भर में मानक बन गई।
एक सामान्य बेंचमार्क के साथ, तरीकों की तुलना और नतीजों को दोहराना आसान हुआ। शोधकर्ता कह सकते थे "हमने ImageNet रेसिपी अपनाई" और पाठक समझते थे इसका क्या मतलब।
समय के साथ, पेपर्स अधिक प्रशिक्षण विवरण, हाइपरपैरामीटर्स और संदर्भ कार्यान्वयन शामिल करने लगे—एक खुला शोध-संस्कृति जिसने प्रगति को संचयी बना दिया।
उसी बेंचमार्क संस्कृति ने एक असहज सच्चाई भी उजागर की: जैसा कि शीर्ष नतीजे बड़े मॉडलों और लंबी ट्रेनिंग रन पर निर्भर हो गए, कम्प्यूट तक पहुँच ने प्रभावित किया कि कौन प्रतिस्पर्धा कर सकता है।
ImageNet ने शुरुआत में एंट्री को लोकतांत्रित किया—फिर यह दिखाया कि खेल का मैदान कितनी जल्दी झुक सकता है जब सबसे बड़ा लाभ कम्प्यूट हो।
ImageNet ने सिर्फ सटीकता बढ़ाई नहीं—इसने दिखाया कि आप क्या मापते हैं यह कितना मायने रखता है। जब कोई डेटासेट साझा नाप-तौल बन जाता है, तो उसकी डिजाइन निर्णय चुपचाप यह तय कर देते हैं कि मॉडल किसे अच्छी तरह सीखेगा, क्या अनदेखा करेगा, और क्या वह गलत समझेगा।
1,000 श्रेणियों पर प्रशिक्षित मॉडल दुनिया का एक विशेष दृश्य सीखता है: कौन से ऑब्जेक्ट "गिने जाने योग्य" हैं, उन्हें कितना दृष्टिगत भिन्न माना जाना चाहिए, और किन एज-केसेज़ को दुर्लभ मानकर खारिज किया जाना चाहिए।
अगर डेटासेट कुछ वातावरणों का अधिक प्रतिनिधित्व करता है (जैसे पश्चिमी घर, उत्पाद फोटोग्राफी), तो मॉडल उन दृश्यों पर शानदार हो सकते हैं पर अलग क्षेत्रों, सामाजिक-आर्थिक संदर्भों या शैली वाले इमेज पर संघर्ष कर सकते हैं।
बायस कई चरणों में आ सकता है:
एक शीर्ष-लाइन सटीकता संख्या सभी के बीच औसत है। इसका मतलब है कि एक मॉडल ‘‘शानदार’’ दिख सकता है पर विशिष्ट समूहों या संदर्भों में बुरी तरह फेल हो सकता है—यही वे विफलताएँ हैं जो उत्पादों में मायने रखती हैं (फोटो टैगिंग, कंटेंट मॉडरेशन, पहुंच उपकरण)।
डेटासेट को उत्पाद-समालोचनात्मक घटक के रूप में संभालें: सबग्रुप मूल्यांकन चलाएँ, डेटा स्रोत और लेबलिंग निर्देशों का दस्तावेज़ रखें, और अपने असली उपयोगकर्ताओं के प्रतिनिधि डेटा पर परीक्षण करें।
हल्का-फुल्का डेटासेट "डाटाशीट्स" और समय-समय पर ऑडिट शिप होने से पहले मुद्दों को सतह पर ला सकते हैं।
ImageNet ने साबित किया कि स्केल और अच्छे लेबल्स बड़ी प्रगति खोल सकते हैं—पर साथ ही यह दिखाया कि बेंचमार्क सफलता को वास्तविक विश्व विश्वसनीयता से भ्रमित करना कितना आसान है। आधुनिक विज़न सिस्टम्स में तीन समस्याएँ बार-बार उभरती हैं: शॉर्टकट्स, कमजोर सामान्यीकरण, और समय के साथ ड्रिफ्ट।
ImageNet की छवियाँ अक्सर साफ़, केंद्रित और अपेक्षाकृत "अच्छी" स्थितियों में ली जाती हैं। वास्तविक डिप्लॉयमेंट वैसा नहीं होता: कम रोशनी, मोशन ब्लर, आंशिक ओक्लूज़न, अजीब कैमरा कोण, अव्यवस्थित पृष्ठभूमियाँ, और एक से अधिक ऑब्जेक्ट्स।
यह गैप महत्वपूर्ण है क्योंकि एक मॉडल क्यूरेटेड टेस्ट सेट पर अच्छा स्कोर करके भी असफल हो सकता है जब उत्पाद टीम इसे गोदामों, अस्पतालों, सड़कों या यूजर-जनरेटेड कंटेंट में चलाती है।
ऊँची सटीकता यह गारंटी नहीं देती कि मॉडल ने वह कॉन्सेप्ट सीखा जो आप चाहते थे। एक क्लासीफायर बैकग्राउंड पैटर्न ("स्लेज" के लिए बर्फ), फ्रेमिंग, वॉटरमार्क, या कैमरा स्टाइल पर निर्भर हो सकता है बजाय ऑब्जेक्ट की समझ के।
ये "शॉर्टकट्स" मूल्यांकन के दौरान बुद्धिमत्ता जैसा दिख सकते हैं पर जब संकेत गायब होते हैं तो फेल हो जाते हैं। इसलिए मॉडल छोटी बदलावों पर भी नाज़ुक हो सकते हैं।
भले ही लेबल सही रहें, डेटा बदलता है। नए प्रोडक्ट डिज़ाइन्स आते हैं, फोटोग्राफी के रुझान बदलते हैं, इमेज कम्प्रेशन बदलती है, और श्रेणियाँ समय के साथ बढ़ती या अस्पष्ट हो जाती हैं। वर्षों में, एक फिक्स्ड डेटासेट उस चीज़ का प्रतिनिधि होना बंद कर देता है जो लोग वास्तव में अपलोड करते हैं और जो डिवाइस कैप्चर करते हैं।
ज़्यादा डेटा कुछ त्रुटियों को कम कर सकता है, पर यह स्वतः मिसमैच, शॉर्टकट्स, या ड्रिफ्ट को ठीक नहीं करता। टीमों को चाहिए:
ImageNet की विरासत आंशिक रूप से चेतावनी है: बेंचमार्क शक्तिशाली हैं, पर ये अंतिम लक्ष्य नहीं हैं।
ImageNet एकल “नॉर्थ स्टार” बनना बंद हो गया, इसका मतलब यह नहीं था कि यह विफल हुआ—बल्कि क्षेत्र की महत्वाकांक्षाएँ अब किसी एक क्यूरेटेड डेटासेट से अधिक थीं।
जैसे-जैसे मॉडल्स बड़े हुए, टीमों ने बहुत बड़े और अधिक विविध स्रोतों पर ट्रेनिंग करनी शुरू कर दी: वेब इमेज़ का मिश्रण, प्रोडक्ट फोटोज़, वीडियो फ्रेम, सिंथेटिक डेटा, और डोमेन-विशिष्ट संग्रह (मेडिकल, सैटेलाइट, रिटेल)। लक्ष्य बदल गया "एक बेंचमार्क जितो" से "पर्याप्त व्यापक रूप से सीखो ताकि ट्रांसफर हो सके"।
जहाँ ImageNet ने सावधानीपूर्ण क्यूरेशन और कैटेगरी बैलेंस पर ज़ोर दिया, नए ट्रेनिंग पाइपलाइन्स कभी-कभी कवरेज के लिए थोड़ी सफाई छोड़ देते हैं। इसमें कमजोर-लेबल्ड डेटा (कैप्शन, alt-text, चारों ओर का टेक्स्ट) और स्व-पर्यवेक्षित लर्निंग शामिल है जो मानवीय केटेगरी लेबल्स पर कम निर्भर करता है।
ImageNet चैलेंज ने प्रगति को एक मुख्य संख्या से पढ़ने योग्य बनाया। आधुनिक प्रैक्टिस ज़्यादा बहुरूप है: मूल्यांकन सूट्स कई डोमेन्स, शिफ्ट्स और फेलियर मोड्स का परीक्षण करते हैं—आउट-ऑफ-डिस्ट्रीब्यूशन डेटा, लोंग-टेल श्रेणियाँ, फेयरनेस स्लाइस, और वास्तविक-विश्व बाध्यताएँ जैसे लेटेंसी और ऊर्जा।
टीमें अब पूछती हैं "टॉप-1 सटीकता क्या है?" की जगह, "यह कहाँ टूटता है, और कितनी पूर्वानुमेयता के साथ?"।
आज के मल्टीमॉडल सिस्टम छवि और टेक्स्ट का संयुक्त प्रतिनिधित्व सीखते हैं, जिससे एक ही मॉडल से सर्च, कैप्शनिंग और विज़ुअल क्वेश्चन आंसरिंग संभव हुआ। कॉन्ट्रास्टिव लर्निंग से प्रेरित दृष्टिकोण (इमेज-टेक्स्ट पेयर्स) ने वेब-स्केल सुपरविजन को व्यवहारिक बनाया, और ImageNet-शैली के क्लास लेबल्स से आगे बढ़ा दिया।
जैसे-जैसे ट्रेनिंग डेटा व्यापक और अधिक स्क्रेप किया जाने लगा, कठिन समस्याएँ तकनीकी से अधिक सामाजिक बन गईं: डेटासेट्स में क्या है इसका दस्तावेज़ीकरण, जहाँ उपयुक्त सहमति प्राप्त करना, कॉपीराइट सामग्री को संभालना, और शिकायत व हटाने के लिए प्रशासनिक प्रक्रियाएँ बनाना।
अगला "केंद्र" शायद एक डेटासेट से कम और नियमों के सेट से ज़्यादा होगा।
ImageNet का स्थायी सबक टीमों के लिए यह नहीं है "बड़े मॉडल इस्तेमाल करो।" यह कि प्रदर्शन अनुशासित डेटा वर्क, स्पष्ट मूल्यांकन, और साझा मानकों से आता है—उससे पहले कि आप महीनों आर्किटेक्चर ट्यून करें।
पहला, डेटा गुणवत्ता में निवेश करें जैसे यह उत्पाद गुणवत्ता हो: स्पष्ट लेबल परिभाषाएँ, एज-केसेज़ के उदाहरण, और अस्पष्ट मामलों के लिए योजना ताकि "छुपी गलतियाँ" रोकी जा सकें।
दूसरा, मूल्यांकन को एक डिज़ाइन आर्टिफैक्ट समझें। एक मॉडल केवल किसी मेट्रिक, डेटासेट और निर्णय थ्रेशहोल्ड के सापेक्ष ही "बेहतर" होता है। तय करें कौन-सी गलतियाँ मायने रखती हैं (फॉल्स अलार्म बनाम मिसेज), और स्लाइस के अनुसार मूल्यांकन करें (लाइटिंग, डिवाइस प्रकार, भौगोलिक क्षेत्र, ग्राहक सेगमेंट)।
तीसरा, अपने संगठन में समुदाय मानक बनाएं। ImageNet की सफलता आंशिक रूप से इसलिए थी क्योंकि हर कोई खेल के नियमों पर सहमत था। आपकी टीम को भी यही चाहिए: नामकरण कन्वेंशन्स, वर्ज़निंग, और एक साझा बेंचमार्क जो मध्य-तिमाही में बदल न जाए।
जब आपका टास्क सामान्य विज़ुअल कॉन्सेप्ट्स के करीब हो और आपको मुख्यतः मॉडल को अनुकूलित करने की ज़रूरत हो (सीमित डेटा, तेज़ इटरेशन, "काफी अच्छा" सटीकता), तब ट्रांसफर लर्निंग का प्रयोग करें।
जब आपका डोमेन विशेष है (मेडिकल, औद्योगिक, कम-लाइट, गैर-मानक सेंसर्स), जब गलतियाँ महंगी हों, या जब आपके उपयोगकर्ता/परिस्थितियाँ सार्वजनिक डेटासेट्स से बहुत अलग हों, तब नया डेटा इकट्ठा करें।
ImageNet के बाद एक शांत बदलाव यह हुआ है कि "पाइपलाइन" मॉडल के समान महत्वपूर्ण बन गई है: वर्ज़न किए गए डेटासेट, दोहराने योग्य ट्रेनिंग रन, डिप्लॉयमेंट चेक और रोलबैक योजनाएँ। अगर आप उन वर्कफ़्लोज़ के चारों ओर आंतरिक टूल बना रहे हैं, तो प्लेटफ़ॉर्म जैसे Koder.ai मदद कर सकते हैं ताकि आप उत्पाद का प्रोटोटाइप जल्दी बना सकें—इवैल्यूएशन स्लाइस के डैशबोर्ड, एनोटेशन रिव्यू क्यूज़, या चैट-आधारित स्पेक से React फ्रंटेंड और Go + PostgreSQL बैकएंड जैसे फीचर जेनरेट करके। तेजी से आगे बढ़ने वाली टीमों के लिए स्नैपशॉट्स और रोलबैक जैसी सुविधाएँ डेटा और मूल्यांकन लॉजिक पर इटरेशन करते समय उपयोगी हो सकती हैं।
और AI इतिहास तथा अनुप्रयुक्त मार्गदर्शिकाएँ पढ़ने के लिए /blog देखें। यदि आप डेटा/मॉडल टूलिंग के लिए बिल्ड बनाम बाय की तुलना कर रहे हैं, तो विकल्पों की त्वरित समझ के लिए /pricing देखें।
ImageNet इसलिए मायने रखता है क्योंकि इसने बड़े पैमाने पर प्रगति को मापने योग्य बना दिया: एक बड़ा, सुसंगत रूप से लेबल्ड डेटासेट और एक साझा बेंचमार्क ने शोधकर्ताओं को तरीकों की निष्पक्ष तुलना करने और मॉडलों को छोटे, चुने हुए नमूनों से आगे बढ़कर पैटर्न सीखने के लिए मजबूर किया।
ImageNet एक बड़ा, क्यूरेट किया हुआ इमेज डेटासेट है जिसमें कई श्रेणियों में तस्वीरें लेबल्ड हैं (एक WordNet-जैसी पदानुक्रम में व्यवस्थित)। यह कोई मॉडल नहीं है, न ही कोई ट्रेनिंग एल्गोरिद्म, और न ही “वास्तविक समझ” का प्रमाण—यह प्रशिक्षण और मूल्यांकन का डेटा है।
फेई-फेई ली का मुख्य योगदान यह समझ था कि कंप्यूटर विज़न सीमित डेटासेट्स की वजह से जाम में था, ना कि सिर्फ़ एल्गोरिद्म की वजह से। ImageNet ने एक डेटा-प्रथम दृष्टिकोण अपनाया: स्पष्ट श्रेणियाँ और लेबलिंग नियम परिभाषित करो, फिर पर्याप्त उदाहरणों को स्केल करो ताकि मॉडल मजबूत विज़ुअल प्रतिनिधित्व सीख सके।
स्केल ने विविधता और “घर्षण” जोड़ा (लाइटिंग, कोण, अव्यवस्था, आंशिक कवर, एज-केसेज़) जो छोटे डेटासेट अक्सर नजरअंदाज़ कर देते हैं। इतनी विविधता ने मॉडलों को संकुचित याददाश्त की बजाय अधिक ट्रांसफरेबल फ़ीचर सीखने को मजबूर किया।
ILSVRC ने ImageNet को एक साझा नियम-पुस्तक बना दिया: वही टेस्ट सेट, वही मेट्रिक, सार्वजनिक तुलना। इससे फीडबैक तेज हुआ, दावे स्पष्ट हुए, और जो तरीके लीडरबोर्ड पर ऊपर आए वे दूसरों के द्वारा जल्दी अपनाए गए।
AlexNet ने तीन तत्वों को मिलाकर असरदार बदलाव किया:
इस संयोजन ने परफॉर्मेंस में इतना बड़ा उछाल दिखाया कि फंडिंग, हायरिंग और इंडस्ट्री का रुख डीप लर्निंग की ओर बदल गया।
ImageNet पर प्री-ट्रेनिंग से मॉडल्स ने उपयोगी विज़ुअल फ़ीचर (एज, टेक्सचर, आकार) सीख लिए। टीम्स फिर इन्हें छोटे, डोमैइन-विशिष्ट डेटासेट पर फाइन-ट्यून कर सकती थीं—जिससे कम लेबल्ड डेटा में बेहतर सटीकता और तेज़ ट्रेनिंग मिलती है।
बायस कई जगह आ सकता है:
एक ऊँचा औसत सटीकता स्कोर भी कम प्रतिनिधित्व वाले समूहों या संदर्भों में गंभीर असफलताएँ छिपा सकता है—इसलिए टीम्स को सबग्रुप एवाल्यूएशन और डेटा विकल्पों का दस्तावेज़ीकरण करना चाहिए।
आम समस्याएँ जिनकी वजह से ImageNet-परफॉर्मेंस असल दुनिया में फेल कर सकती है:
इसलिए बेंचमार्क जीत के बाद डोमेन-टेस्ट, स्ट्रेस टेस्ट और निरंतर मॉनिटरिंग ज़रूरी है।
आधुनिक प्रशिक्षण अक्सर बड़े, कम-टाइडी वेब-स्केल स्रोतों (कैप्शन, alt-text), स्व-पर्यवेक्षित लर्निंग और मल्टीमॉडल उद्देश्यों की ओर गया है। मूल्यांकन अब एक हैडलाइन नंबर की बजाय ऐसी सूटों पर होता है जो रोबस्टनेस, आउट-ऑफ-डिस्ट्रीब्यूशन व्यवहार, फेयरनेस स्लाइस और डिप्लॉयमेंट सीमाओं को परखते हैं।
डेटा-वर्क को उत्पाद-गुणवत्ता जैसा निवेश करें: स्पष्ट लेबल परिभाषाएँ, एज-केसेज़ के उदाहरण और अस्पष्ट आइटम्स के लिए नियम।
मूलभूत जाँचों में शामिल हैं:
जब आपका टास्क सामान्य विज़ुअल कॉन्सेप्ट्स के करीब हो तो ट्रांसफर लर्निंग उपयोगी है; पर विशेष डोमेन, महँगी गलती या अलग उपयोगकर्ताओं के मामले में नया डेटा इकट्ठा करना बेहतर है।