AI కంపెనీలు పదార్థం కంటే ఫ్లాష్కు ప్రాధాన్యత ఇస్తున్నాయని చెప్పారు ఉప్పెన AI లు CEO.
“అసలు మనల్ని జాతిగా అభివృద్ధి చేసే AIని నిర్మించడం, క్యాన్సర్ని నయం చేయడం, పేదరికాన్ని పరిష్కరించడం, సార్వత్రికమైన ఈ ప్రశ్నలన్నింటినీ అర్థం చేసుకోవడం వంటి వాటికి బదులుగా, మేము AI స్లాప్ని ఆప్టిమైజ్ చేస్తున్నాం” అని ఎడ్విన్ చెన్ ఆదివారం ప్రచురించిన “లెన్నీస్” పోడ్కాస్ట్ ఎపిసోడ్లో అన్నారు.
“మేము ప్రాథమికంగా సత్యానికి బదులుగా డోపమైన్ను వెంబడించడానికి మా మోడళ్లకు బోధిస్తున్నాము,” అన్నారాయన.
చెన్ స్థాపించారు AI శిక్షణ స్టార్టప్ సర్జ్ Twitter, Google మరియు Metaలో పనిచేసిన తర్వాత 2020లో. ఉప్పెన నడుస్తుంది గిగ్ ప్లాట్ఫారమ్ డేటా ఉల్లేఖన, AI మోడల్లకు శిక్షణ ఇవ్వడానికి ఒక మిలియన్ ఫ్రీలాన్సర్లకు చెల్లిస్తున్నట్లు పేర్కొంది. స్కేల్ AI మరియు మెర్కోర్ వంటి డేటా లేబులింగ్ స్టార్టప్లతో సర్జ్ పోటీపడుతుంది మరియు ఆంత్రోపిక్ని కస్టమర్గా పరిగణిస్తుంది.
ఆదివారం నాటి పోడ్కాస్ట్లో, పరిశ్రమ లీడర్బోర్డ్ల కారణంగా కంపెనీలు AI స్లాప్కు ప్రాధాన్యత ఇస్తున్నాయని చెన్ చెప్పారు.
“ప్రస్తుతం, పరిశ్రమను LMArena వంటి భయంకరమైన లీడర్బోర్డ్లు ఆడుతున్నాయి,” అని అతను ఒక ప్రముఖ ఆన్లైన్ లీడర్బోర్డ్ను ప్రస్తావిస్తూ, AI ప్రతిస్పందన మెరుగ్గా ఉన్న దానిపై ప్రజలు ఓటు వేయవచ్చు.
“వారు జాగ్రత్తగా చదవడం లేదా వాస్తవాన్ని తనిఖీ చేయడం లేదు,” అని అతను చెప్పాడు. “వారు ఈ ప్రతిస్పందనలను రెండు సెకన్ల పాటు స్కిమ్ చేస్తున్నారు మరియు అత్యంత ఆకర్షణీయంగా కనిపించే వాటిని ఎంచుకుంటున్నారు.”
అతను ఇలా జోడించాడు: “ఇది కిరాణా దుకాణంలో టాబ్లాయిడ్లను కొనుగోలు చేసే వ్యక్తుల కోసం మీ మోడల్లను అక్షరాలా ఆప్టిమైజ్ చేస్తోంది.”
ఇప్పటికీ, సర్జ్ CEO AI ల్యాబ్లు ఈ లీడర్బోర్డ్లపై శ్రద్ధ వహించాలని, ఎందుకంటే విక్రయాల సమావేశాల సమయంలో వారి ర్యాంకింగ్ల గురించి అడగవచ్చు.
చెన్ వలె, పరిశోధన శాస్త్రవేత్తలు కలిగి ఉన్నారు బెంచ్మార్క్లను విమర్శించారు మిడిమిడి లక్షణాలను ఎక్కువగా అంచనా వేయడం కోసం.
మార్చి బ్లాగ్ పోస్ట్లో, AI సెక్యూరిటీ స్టార్టప్ జీరోపాత్ యొక్క సహ వ్యవస్థాపకుడు మరియు CEO అయిన డీన్ వాలెంటైన్, “ఇటీవలి AI మోడల్ పురోగతి ఎక్కువగా బుల్షిట్గా అనిపిస్తుంది” అని అన్నారు.
జూన్ 2024లో ఆంత్రోపిక్ యొక్క 3.5 సొనెట్ విడుదలైనప్పటి నుండి తాను మరియు అతని బృందం వివిధ మోడళ్ల పనితీరును “ఒక విధమైన మెరుగుదల” కలిగి ఉన్నాయని వాలెంటైన్ చెప్పారు. తన బృందం ప్రయత్నించిన కొత్త మోడల్లలో ఏదీ తన కంపెనీ అంతర్గత బెంచ్మార్క్లలో లేదా డెవలపర్ల సామర్థ్యాలలో “గణనీయమైన తేడా” చూపలేదని అతను చెప్పాడు.
వారు “మాట్లాడటానికి మరింత సరదాగా” ఉండవచ్చు, కానీ అవి “ఆర్థిక ప్రయోజనం లేదా సాధారణతను ప్రతిబింబించవు.”
ఫిబ్రవరి పేపర్లో “మేము AI బెంచ్మార్క్లను విశ్వసించగలమా?” యూరోపియన్ కమీషన్ యొక్క జాయింట్ రీసెర్చ్ సెంటర్లోని పరిశోధకులు నేటి మూల్యాంకన విధానంలో ప్రధాన సమస్యలు ఉన్నాయని నిర్ధారించారు.
పరిశోధకులు బెంచ్మార్కింగ్ అనేది “సాంస్కృతిక, వాణిజ్య మరియు పోటీ డైనమిక్ల ద్వారా ప్రాథమికంగా రూపొందించబడింది, ఇది విస్తృత సామాజిక ఆందోళనల వ్యయంతో అత్యాధునిక పనితీరుకు తరచుగా ప్రాధాన్యత ఇస్తుంది.”
ఈ బెంచ్మార్క్లను “గేమింగ్” చేసినందుకు కంపెనీలు కూడా నిప్పులు చెరిగాయి.
ఏప్రిల్లో, Meta దాని లామా కుటుంబంలో రెండు కొత్త మోడల్లను విడుదల చేసింది, ఇది Google మరియు ఫ్రెంచ్ AI ల్యాబ్ మిస్ట్రాల్ నుండి పోల్చదగిన పరిమాణ నమూనాల కంటే “మెరుగైన ఫలితాలను” అందించిందని పేర్కొంది. అది బెంచ్మార్క్గా ఆడిందనే ఆరోపణలను ఎదుర్కొంది.
LMArena దాని టెస్టింగ్ ఫార్మాట్లో మెరుగైన పనితీరు కనబరిచేందుకు “అనుకూలీకరించబడిన” లామా 4 మావెరిక్ వెర్షన్ను సమర్పించినట్లు మెటా “స్పష్టం చేసి ఉండాలి” అని చెప్పింది.
“మా విధానం యొక్క మెటా యొక్క వివరణ మోడల్ ప్రొవైడర్ల నుండి మేము ఆశించిన దానితో సరిపోలలేదు” అని LMArena ఒక లో తెలిపింది X పోస్ట్.
