AIని అభివృద్ధి చేయడానికి స్కేలింగ్ కంప్యూట్ సరిపోదని OpenAI కోఫౌండర్ చెప్పారు
ఓపెన్ఏఐ కోఫౌండర్ ఇల్యా సట్స్కేవర్ AI పరిశ్రమ యొక్క ఆటుపోట్లు తిరిగి పరిశోధన దశకు మారవలసి ఉంటుందని అభిప్రాయపడ్డారు.
మంగళవారం ప్రచురించబడిన “ద్వారకేష్ పాడ్క్యాస్ట్” యొక్క ఎపిసోడ్లో, ఆధునిక కృత్రిమ మేధస్సులో విస్తృతంగా ప్రముఖంగా కనిపించే సట్స్కేవర్, AI యొక్క పురోగతికి స్కేలింగ్ కీలకమైన రోడ్ మ్యాప్ కాగలదనే సంప్రదాయ జ్ఞానాన్ని సవాలు చేశాడు.
టెక్ కంపెనీలు వందల కోట్లు కుమ్మరించాయి GPUలను పొందడం మరియు డేటా కేంద్రాలను నిర్మించడం తప్పనిసరిగా వారి AI సాధనాలను తయారు చేయడం – అది LLMలు లేదా ఇమేజ్-జెనరేషన్ మోడల్లు కావచ్చు – మెరుగైనది.
మీ వద్ద ఎంత ఎక్కువ కంప్యూట్ ఉంటే లేదా మీ వద్ద ఎక్కువ శిక్షణ డేటా ఉంటే, మీ AI సాధనం అంత తెలివిగా ఉంటుంది.
సట్స్కేవర్ ఇంటర్వ్యూలో మాట్లాడుతూ, గత అర్ధ దశాబ్దంలో, ఈ “రెసిపీ” ప్రభావవంతమైన ఫలితాలను అందించింది. ఇది కంపెనీలకు కూడా ప్రభావవంతంగా ఉంటుంది, ఎందుకంటే ఈ పద్ధతి ఎక్కడా దారితీయని పరిశోధనలకు డబ్బును పోయడం కంటే సరళమైన మరియు “చాలా తక్కువ-రిస్క్ మార్గాన్ని” పెట్టుబడి వనరులను అందిస్తుంది.
అయితే, ఇప్పుడు నడుస్తున్న సట్స్కేవర్ సేఫ్ సూపర్ ఇంటెలిజెన్స్ ఇంక్.పద్ధతి రన్వే అయిపోతోందని అభిప్రాయపడ్డారు; డేటా పరిమితమైనది మరియు సంస్థలు ఇప్పటికే భారీ మొత్తంలో గణనకు ప్రాప్తిని కలిగి ఉన్నాయని ఆయన చెప్పారు.
“నమ్మకం నిజంగా ఉందా: ‘ఓహ్, ఇది చాలా పెద్దది, కానీ మీకు 100x ఎక్కువ ఉంటే, ప్రతిదీ చాలా భిన్నంగా ఉంటుందా?’ ఇది ఖచ్చితంగా భిన్నంగా ఉంటుంది. కానీ మీరు కేవలం 100 రెట్లు స్కేల్ చేస్తే, ప్రతిదీ రూపాంతరం చెందుతుందనే నమ్మకం ఉందా? అది నిజం అని నేను అనుకోను” అని సుట్స్కేవర్ చెప్పాడు. “కాబట్టి ఇది పెద్ద కంప్యూటర్లతో మళ్లీ పరిశోధన యుగానికి తిరిగి వచ్చింది.”
సట్స్కేవర్ కంప్యూట్ ఆవశ్యకతను తగ్గించలేదు, పరిశోధన కోసం కంప్యూట్ ఇంకా అవసరమని మరియు ప్రతి పెద్ద సంస్థ ఒకే నమూనాలో పనిచేస్తున్న పరిశ్రమలో ఇది “పెద్ద భేదాలలో” ఒకటిగా ఉంటుందని పేర్కొంది.
ఏదేమైనప్పటికీ, సంపాదించిన గణనలన్నింటినీ ఉపయోగించి సమర్థవంతమైన లేదా ఉత్పాదక మార్గాలను కనుగొనడానికి పరిశోధన చాలా కీలకం, అతను చెప్పాడు.
సట్స్కేవర్ ప్రకారం, మరింత పరిశోధన అవసరమయ్యే ఒక ప్రాంతం సాధారణీకరించడానికి నమూనాలను పొందుతోంది – ముఖ్యంగా చిన్న మొత్తంలో సమాచారం లేదా ఉదాహరణలను ఉపయోగించడం నేర్చుకోండి – అలాగే మానవులు కూడా చేస్తారు.
“నేను చాలా ప్రాథమికంగా భావించే విషయం ఏమిటంటే, ఈ నమూనాలు ఏదో ఒకవిధంగా ప్రజల కంటే నాటకీయంగా అధ్వాన్నంగా సాధారణీకరించబడతాయి,” అని అతను చెప్పాడు. “ఇది చాలా స్పష్టంగా ఉంది. ఇది చాలా ప్రాథమిక విషయంలా ఉంది.”
