एआई उद्योग में एक नया किंगमेकर है, और यह इस बारे में असहज प्रश्न उठा रहा है कि देखने वालों पर कौन नज़र रखता है। एरेना, बेंचमार्किंग प्लेटफॉर्म जिसे पहले एलएम एरेना के नाम से जाना जाता था, चुपचाप सीमांत भाषा मॉडल के लिए सबसे प्रभावशाली लीडरबोर्ड बन गया है – जो पूरे उद्योग में फंडिंग राउंड, लॉन्च टाइमिंग और पीआर चक्र तय करता है। लेकिन इसमें एक मोड़ है: जिन कंपनियों को रैंक किया जा रहा है वे वही कंपनियां हैं जो चेक लिख रही हैं। केवल सात महीनों में, यूसी बर्कले पीएचडी अनुसंधान परियोजना के रूप में जो शुरू हुआ वह एआई मॉडल प्रदर्शन के वास्तविक मध्यस्थ में बदल गया है, और हर कोई इस व्यवस्था के साथ सहज नहीं है।
हर हफ्ते, एआई प्रयोगशालाएं एक विशेष लीडरबोर्ड पर होने वाली गतिविधियों पर नजर रखते हुए, अपने ब्राउज़रों को जुनूनी ढंग से ताज़ा करती हैं। कब ओपनएआई, गूगलया मेटा एक नया मॉडल छोड़ता है, पहला सवाल क्षमताओं या उपयोग के मामलों के बारे में नहीं है – यह इस बारे में है कि यह एरेना की रैंकिंग में कहां आता है।
एरेना की शुरुआत एक शैक्षणिक अभ्यास के रूप में हुई थी यूसी बरकेलेआमने-सामने की तुलनाओं के माध्यम से बड़े भाषा मॉडलों का मूल्यांकन करने के लिए एक क्राउडसोर्स्ड दृष्टिकोण। उपयोगकर्ता एक साथ दो अज्ञात मॉडलों से चैट करेंगे, फिर बेहतर प्रतिक्रिया चुनेंगे। सरल, लोकतांत्रिक, खेल में कठिन। कार्यप्रणाली प्रतिध्वनित हुई क्योंकि इसने सामान्य बेंचमार्क गेमिंग को दरकिनार कर दिया जो स्थैतिक परीक्षण सेटों को प्रभावित करता था।
लेकिन शोध पत्र और आज के बीच कहीं न कहीं, एरेना ने तटस्थ पर्यवेक्षक से बाजार-चालित बुनियादी ढांचे तक की एक रेखा पार कर ली। जब कंपनियां मॉडल लॉन्च करती हैं, तो वीसी एआई स्टार्टअप को कैसे महत्व देते हैं, और इंजीनियर कहां काम करना चुनते हैं, यह प्लेटफॉर्म अब प्रभावित करता है। एरिना पर शीर्ष पांच रैंकिंग “फ्रंटियर मॉडल” के लिए शॉर्टहैंड बन गई है – एक लेबल जो पूंजी, प्रतिभा और साझेदारी को अनलॉक करता है।
यहीं पर यह जटिल हो जाता है। एरेना को उन कंपनियों द्वारा वित्त पोषित किया जाता है जिन्हें वह रैंक करता है। लीडरबोर्ड वर्चस्व के लिए प्रतिस्पर्धा करने वाली वही प्रयोगशालाएँ रोशनी बनाए रखने के लिए चेक लिख रही हैं। के अनुसार टेकक्रंचयह फंडिंग संबंध एरेना के शैक्षणिक परियोजना से वाणिज्यिक इकाई में परिवर्तित होने के साथ विकसित हुआ है।
