ఎకనామిస్ట్ సీక్రెట్ ప్రిడిక్షన్ గేమ్‌లో ChatGPT ఎలా పోటీపడింది

భవిష్యత్తును అంచనా వేయగల సామర్థ్యం మేధస్సు యొక్క విలువైన సంకేతం మరియు మంచి పరీక్ష AI సామర్థ్యాలు. ఎంత బాగుంది అంచనా వద్ద చాట్‌జిపిటి?

ఆర్థికవేత్త డేవిడ్ సీఫ్ ఆర్థికవేత్తలు, హెడ్జ్ ఫండ్ పెట్టుబడిదారులు మరియు టెక్ ఎగ్జిక్యూటివ్‌ల రహస్య సమూహం కోసం నిర్వహిస్తున్న వార్షిక అంచనా పోటీని ముగించినప్పుడు ఈ మనోహరమైన ప్రశ్నకు సమాధానం ఇటీవల ఉద్భవించింది.

దాని ఏడవ సంవత్సరంలో, ఛాలెంజ్‌కు పోటీదారులు దాదాపు 30 ఈవెంట్‌లను అంచనా వేయాలి. రాజకీయాలు, వ్యాపారం, సైన్స్, ఎకనామిక్స్, పాప్ కల్చర్ మరియు స్పోర్ట్స్ వంటి రంగాలలో అంచనా వేయడానికి Seif ఈవెంట్‌ల జాబితాను పంపినప్పుడు, 2025 గేమ్ 2024 చివరలో ప్రారంభమైంది.

అనే విషయాన్ని అంచనా వేయడానికి పోటీదారులను ఒక ప్రశ్న అడిగారు టేలర్ స్విఫ్ట్ మరియు ట్రావిస్ కెల్స్ ఏప్రిల్ 1 నాటికి వారి నిశ్చితార్థాన్ని ప్రకటిస్తారు. మరొకటి: బల్గేరియా తన అధికారిక కరెన్సీగా యూరోను జూలై 1న లేదా అంతకు ముందు స్వీకరిస్తుందా?

సామ్ లెఫెల్, ఒక హెడ్జ్ ఫండ్ సంస్థలో డైరెక్టర్, డిసెంబర్‌లో తన సంభావ్యతలను పూరిస్తున్నారు మరియు ఒక ఆలోచన వచ్చింది.

“నేను ప్రశ్నలకు సమాధానమిచ్చేటప్పుడు, నేను ChatGPT స్క్రీన్‌ను కలిగి ఉన్నాను. నేను ఆశ్చర్యపోయాను, ఈ ప్రశ్నలకు ఇది ఏమి చెబుతుందో?” అతను ఇటీవల ఒక ఇంటర్వ్యూలో గుర్తుచేసుకున్నాడు.

ChatGPT సంక్లిష్టమైన నియమాలను నేర్చుకోవాలి

ChatGPT పాల్గొనవచ్చా అని అడగడానికి లెఫెల్ Seifని చేరుకున్నాడు మరియు Seif దాని కోసం వెళ్లు అన్నాడు. కాబట్టి, ఆట నియమాలను అతికించడం ద్వారా లెఫెల్ ప్రారంభించాడు ChatGPT లోకి.

ఇవి సంక్లిష్ట నియమాలు, బహుళ పేజీలను కవర్ చేస్తాయి. ప్రతి ఈవెంట్ జరిగే సంభావ్యత ఆధారంగా పోటీదారులు తప్పనిసరిగా శాతాన్ని కేటాయించాలి. ఫలితాలు సంవత్సరంలో వచ్చినందున, ఈ అంచనాలు గోల్ఫ్ లాగా స్కోర్ చేయబడ్డాయి. తక్కువ స్కోరు గెలుస్తుంది.

“మీరు ఉంచిన వాటికి మరియు ఫలితాల మధ్య వ్యత్యాసం యొక్క వర్గానికి సమానమైన పాయింట్లను మీరు పొందుతారు” అని సీఫ్ చెప్పారు.

ఉదాహరణకు, మీరు ఏదైనా జరగడానికి 90% అవకాశాన్ని కేటాయించి, దాన్ని సరిగ్గా పొందినట్లయితే, మీకు 10 పాయింట్లు లభిస్తాయి. ఆ సంఖ్య స్క్వేర్ చేయబడింది, ఫలితంగా మొత్తం 100 పాయింట్లు ఉంటాయి. అద్భుతమైన పని.

వ్యతిరేకత మరింత బాధాకరమైనది. మీ 90% సంభావ్యత ఈవెంట్ జరగకపోతే, మీరు 90 మరియు సున్నా మధ్య వ్యత్యాసంతో చిక్కుకుపోతారు. ఆ 90 స్కోరు మొత్తం 8,100 పాయింట్లకు స్క్వేర్ చేయబడుతుంది. అయ్యో.

మరియు ఇది స్కోరింగ్ విధానం మాత్రమే. ఆట యొక్క ఇతర అంశాలపై నియమాల మొత్తం పేజీలు ఉన్నాయి. లెఫెల్ ఇవన్నీ ChatGPTలో అతికించారు.

కొన్ని సెకన్ల తర్వాత, AI చాట్‌బాట్ ప్రతిస్పందించింది, “ఫోర్కాస్టింగ్ పోటీకి సంబంధించిన వివరణాత్మక నియమాలను అందించినందుకు ధన్యవాదాలు. దయచేసి మీకు సంభావ్యత అంచనా అవసరమయ్యే ప్రాంప్ట్‌ల యొక్క క్లీన్ లిస్ట్‌ను షేర్ చేయండి మరియు పోటీ మార్గదర్శకాల ప్రకారం ప్రతిదానికి ఒకే నంబర్‌ను అందిస్తాను.”

లెఫెల్ మొత్తం 30 ప్రశ్నలను ఒకేసారి అతికించారు మరియు ChatGPT ప్రతి ఈవెంట్‌కు దాని శాతం సంభావ్యతతో త్వరగా ప్రత్యుత్తరం ఇచ్చింది. Leffell వాటిని Seifకి పంపారు, అతను ChatGPT తరపున ప్రతిస్పందనలను నమోదు చేశాడు.

ఈ మెషిన్-ప్రిడిక్షన్ ప్రయోగాన్ని సెటప్ చేస్తున్నప్పుడు కూడా, లెఫెల్ ఆసక్తికరమైన విషయాన్ని గమనించాడు.

“NFL వైల్డ్ కార్డ్ ఫలితానికి సంబంధించిన ఒక ప్రశ్నకు, ఇది గణాంకపరంగా సరైన గణిత ప్రతిస్పందనను ఇచ్చింది” అని అతను చెప్పాడు. “ఇది గుణాత్మక అంశాల కంటే గణితాన్ని చేస్తోంది. ఇది గుర్తించదగినది ఎందుకంటే ఆ సమయంలో ChatGPT ఉండకూడదు. గణితంలో మంచివాడు.”

ChatGPT అంచనాలను చేస్తుంది

2025 ప్రారంభమైనప్పుడు, 160 మంది పోటీదారులు తమ అంచనాలను సమర్పించారు మరియు భవిష్యత్తు కోసం వేచి ఉండటం ప్రారంభించారు.

ఈ గేమ్ గురించి నేను మొదటిసారిగా పాల్గొన్న స్నేహితుల ద్వారా విన్నాను. ఒకరు హెడ్జ్ ఫండ్ మేనేజర్. మరో ఇద్దరు చీఫ్ మార్కెటింగ్ ఆఫీసర్ మరియు లాయర్.

స్కోరింగ్ సిస్టమ్ మరియు ఇతర నియమాల యొక్క చిక్కులతో పాటు వారి వివిధ అంచనాలను చర్చిస్తూ, పార్టీలలో వారు భరించలేక పోయారు.

ఇది నాకు విసుగు పుట్టించే సంభాషణ రకం. అయితే, ఒక స్నేహితుడు ఆ విషయాన్ని ప్రస్తావించినప్పుడు ChatGPT పాల్గొంటోంది మొదటి సారి, నేను కట్టిపడేశాయి.

ఈ సంఘటనలన్నింటినీ అంచనా వేయడంలో ఒక యంత్రం 160 మంది మానవులను అధిగమించగలదా? ఇప్పటికే డేటా ఉన్నప్పుడు AI మోడల్‌లు చాలా బాగుంటాయి. భవిష్యత్తు ప్రమేయం ఉన్నప్పుడు, ఆధారపడటానికి చాలా తక్కువ సమాచారం ఉంటుంది.

నేను ఇటీవల పరీక్షించాను ChatGPT యొక్క స్టాక్ మార్కెట్ అంచనా సామర్థ్యం. ఈ క్లిష్టమైన సవాలులో ఇది రాణించగలదా లేదా అనుభవం, ఎక్స్‌ట్రాపోలేషన్ మరియు అంతర్ దృష్టి ద్వారా భవిష్యత్తును అంచనా వేయడంలో మానవులు ప్రత్యేకంగా నైపుణ్యం కలిగి ఉన్నారా?

సంవత్సరం గడిచేకొద్దీ, కొన్ని సంఘటనలు జరిగాయి, మరికొన్ని జరగలేదు. కొన్ని చాలా ఆలస్యంగా జరిగాయి, మరికొన్ని విచిత్రమైన, ఊహించని రీతిలో అభివృద్ధి చెందాయి. జీవితం చేస్తుంది.

ఒక ప్రశ్న పరిష్కరించబడిన ప్రతిసారీ, Seif సెంట్రల్ స్ప్రెడ్‌షీట్‌ను అప్‌డేట్ చేసి, పోటీదారులందరికీ ర్యాంకింగ్‌ను పంపింది.

నా స్నేహితులు ప్రతి నవీకరణను స్వాధీనం చేసుకున్నారు. ఎవరు గెలిచారు? ఎవరు వెనుకబడి ఉన్నారు? మరియు అన్నింటికంటే, ChatGPT ఎక్కడ ర్యాంక్ చేయబడింది?

వింత సమరూపత

నవంబర్ 13న ఆట ముగిసింది.

“మేము పోటీని నిర్వహిస్తున్న ఏడు సంవత్సరాలలో మొదటిసారిగా, నేనే విజయం సాధించాను” అని సీఫ్ 2025 పోటీకి సంబంధించిన తన చివరి ఇమెయిల్ అప్‌డేట్‌లో రాశాడు.

ChatGPT 80వ స్థానంలో నిలిచింది, “మరియు మేము 160 మంది ఆటగాళ్లను కలిగి ఉన్నాము” అని వ్రాశాడు.

వింత సమరూపత. నేను వెంటనే నా స్నేహితులకు సందేశం పంపాను: దీని అర్థం ChatGPT సగటు మనిషి కంటే మెరుగైనది కాదు! అంతగా ఆకట్టుకోలేదు.

నా స్నేహితుల్లో ఒకరైన, CMO, ఇలా బదులిచ్చారు: లేదు, దీని అర్థం ChatGPT సగటు మనిషి వలె మంచిదని అర్థం. ఇన్క్రెడిబుల్!

ChatGPT బెంచ్‌మార్క్‌ను కోల్పోయింది

నేను దీని గురించి సీఫ్‌ని అడిగాను మరియు అతను ChatGPT యొక్క ప్రిడిక్టివ్ పవర్ లేదా దాని లోపాన్ని కొలవడానికి వేరే మార్గం కలిగి ఉన్నాడు.

మీరు జరిగే ప్రతి ఈవెంట్‌కు 50% సంభావ్యతను ఉంచినట్లయితే, మీరు 75,000 పాయింట్‌లను పొందారు. పోటీదారులు విలువను జోడించారా లేదా అనేదానికి ఇది Seif యొక్క బెంచ్‌మార్క్.

ChatGPTకి 82,925 వచ్చింది. కాబట్టి ఇది ఆ బెంచ్‌మార్క్‌ను కోల్పోయింది, ముఖ్యంగా నెగటివ్ విలువను జోడిస్తుంది, సెయిఫ్ ప్రకారం.

సంభావ్యతలను అంచనా వేయడం మరియు గణించడంలో సహాయం చేయడానికి ఇప్పటికే చాలా డేటా ఉన్నప్పుడు, ChatGPT మెరుగ్గా పనిచేసింది, అతను చెప్పాడు.

ఉదాహరణకు, చాట్‌బాట్ ఈ ఈవెంట్‌ను బాగా విశ్లేషించింది, ఇది జరిగే అవకాశం 70% ఇచ్చింది: విజేత జట్టు FIFA క్లబ్ ప్రపంచ కప్ యూరోపియన్ యూనియన్ నుండి.

డేటా లేనప్పుడు ChatGPT అధ్వాన్నంగా పనిచేసింది లేదా ఈవెంట్ సంభవించే సంభావ్యతను మార్చే కొత్త సమాచారాన్ని మిస్ చేసింది.

ఉదాహరణకు, చాట్‌బాట్ ఇలా జరగడానికి 95% అవకాశాన్ని కేటాయించింది: వ్యోమగాములు సుని విలియమ్స్ మరియు బుచ్ విల్మోర్ మార్చి 1 నాటికి సురక్షితంగా భూమికి తిరిగి రావాలి.

2024 చివరి నాటికి, ఈ రెస్క్యూ మిషన్ మార్చి 1, 2025 నాటికి జరిగే అవకాశం లేదని వార్తా ప్రకటనలు స్పష్టం చేశాయని సీఫ్ చెప్పారు.

“చాట్‌జిపిటి దాని గురించి వార్తలతో సరిపెట్టలేదు,” అన్నారాయన.

బహుశా ChatGPT గెలిచిందా?

గేమ్‌లో ChatGPTలోకి ప్రవేశించిన హెడ్జ్ ఫండ్ మేనేజర్ లెఫెల్ భిన్నమైన తీర్మానాలు చేసి కొన్ని ముఖ్యమైన హెచ్చరికలను పంచుకున్నారు.

డిసెంబర్ 2024లో ఈ అంచనాలను రూపొందించాల్సిందిగా ఆయన ChatGPTని కోరారు. ఒపోన్ యొక్క ‘IAI’ అప్పటి నుండి మెరుగుపడింది, కాబట్టి దాని అంచనా సామర్థ్యం ఇప్పుడు మెరుగ్గా ఉండవచ్చు. మెరుగైన ప్రాంప్టింగ్ కూడా ChatGPT మెరుగ్గా పని చేయడంలో సహాయపడి ఉండవచ్చు.

ఆట యొక్క సంక్లిష్టమైన నియమాలను అర్థం చేసుకోవడానికి మరియు 30 అంచనాలను రూపొందించడానికి ChatGPTకి కొన్ని నిమిషాలు మాత్రమే పట్టిందని లెఫెల్ చెప్పారు-చాలా మంది మానవ పోటీదారుల కంటే చాలా వేగంగా.

ప్రశ్నలను అర్థం చేసుకోవడానికి మరియు సంఘటనలను పరిశోధించడానికి, తన స్వంత సంభావ్యతలతో ముందుకు రావడానికి లెఫెల్ స్వయంగా చాలా గంటలు, చాలా రోజులు గడిపాడు.

“ఇది సగం మంది కంటే మెరుగ్గా పనిచేసింది, మరియు సవాలులో అందరి కంటే చాలా తక్కువ సమయం గడిపింది,” అని అతను నాతో చెప్పాడు. “మీరు పని నిమిషానికి ఫలితాలను చూస్తే, ChatGPT గెలిచి ఉండవచ్చా?”

పెట్టుబడిదారుడిగా, అతను సాధ్యమైనంత ఎక్కువ సంభావ్యతలను అంచనా వేసే వ్యాపారంలో ఉన్నాడు, కాబట్టి ChatGPT మరియు ఇలాంటి AI సాధనాలు చాలా అవసరం అని అతను చెప్పాడు.

“మీరు 30 ఈవెంట్‌లను త్వరగా అంచనా వేయకుండా, బదులుగా 30,000 ఈవెంట్‌లను అంచనా వేయకపోతే ఏమి చేయాలి? ఈ అంచనాలన్నింటినీ త్వరగా చేయడంలో తగినంత మంచి ఉంటే ఏమి చేయాలి?” లెఫెల్ చెప్పారు.

“నేను చేసే ప్రతి పనిలో, నా వ్యక్తిగత జీవితంలో మరియు పనిలో ఇది సర్వవ్యాప్తి చెందింది,” అన్నారాయన. “మేము దీన్ని చాలా ఉపయోగిస్తున్నాము. ఈ సమయంలో ChatGPT అనేది టేబుల్ వాటా.”

BI యొక్క టెక్ మెమో వార్తాలేఖ కోసం సైన్ అప్ చేయండి ఇక్కడ. వద్ద ఇమెయిల్ ద్వారా నన్ను చేరుకోండి abarr@businessinsider.com.