ఎన్విడియా యొక్క AI ఐరన్ గ్రిప్‌పై స్టార్టప్ ప్రత్యక్ష లక్ష్యం

సిలికాన్ వ్యాలీలో, బోల్డ్ టెక్నికల్ బెట్టింగ్‌లు పుష్కలంగా ఉన్నాయి, కొన్ని పందాలు పట్టును విచ్ఛిన్నం చేయడానికి ప్రయత్నించడం కంటే ధైర్యంగా కనిపిస్తాయి. ఎన్విడియాయొక్క CUDA, నిశ్శబ్దంగా ఆపరేటింగ్ సిస్టమ్‌గా మారిన సాఫ్ట్‌వేర్ స్టాక్ AI బూమ్.

ఆపిల్ మరియు గూగుల్‌కు చెందిన సాఫ్ట్‌వేర్ గురువులు స్థాపించిన మాడ్యులర్ స్టార్టప్ అదే చేయడానికి ప్రయత్నిస్తోంది.

సహ వ్యవస్థాపకులు క్రిస్ లాట్నర్ మరియు టిమ్ డేవిస్ ఆధునిక సాంకేతిక పరిశ్రమ క్రింద ఉన్న సాఫ్ట్‌వేర్ ప్లంబింగ్‌ను రూపొందించడానికి దశాబ్దాలుగా గడిపారు. లాట్నర్ ఆపిల్‌ను రూపొందించడంలో ప్రసిద్ధి చెందారు స్విఫ్ట్ ప్రోగ్రామింగ్ భాష. అతను సాఫ్ట్‌వేర్ అండర్‌పిన్నింగ్‌ను కూడా నిర్మించాడు Google TPU AI చిప్స్, మాడ్యులర్ కోఫౌండర్ టిమ్ డేవిస్‌తో.

వారు ఇప్పుడు ఆ నైపుణ్యాన్ని లక్ష్యంగా చేసుకున్నారు CUDA స్వయంగా. ఈ ప్రయత్నం పిచ్చితో ముడిపడి ఉంది, కానీ ఇది AI పరిశ్రమను మార్చగల సాహసోపేతమైన ప్రాజెక్ట్.

స్టార్టప్ ఇన్‌వరల్డ్ AI యొక్క CEO మరియు Google DeepMindలో మాజీ ప్రొడక్ట్ మేనేజర్ అయిన కైలాన్ గిబ్స్ మాట్లాడుతూ, “ఇది చాలా మంది వ్యక్తులు కొంత పిచ్చిగా చూస్తారు. “అక్కడే క్రిస్‌కు ప్రయోజనం ఉంది: అతను దీన్ని ఎలా చేయాలో నిజంగా తెలుసుకోగలిగేంత తెలివైనవాడు మరియు దీన్ని చేయడానికి వెర్రివాడు.”

CUDA పాతుకుపోయింది. పోటీ ఛిన్నాభిన్నమైంది.

CUDA దాదాపు 20 సంవత్సరాల క్రితం గ్రాఫిక్స్ చిప్‌లను ప్రోగ్రామబుల్ చేయడానికి ఒక మార్గంగా జీవితాన్ని ప్రారంభించింది. నేడు, ఇది చాలా AI కంపెనీలు ఆధారపడే భాష, లైబ్రరీలు, కంపైలర్లు, అనుమితి వ్యవస్థలు – బహుళస్థాయి సాఫ్ట్‌వేర్ పర్యావరణ వ్యవస్థగా అభివృద్ధి చెందింది.

ఆ విజయం ఖర్చుతో కూడుకున్నది: చాలా పరిశ్రమ ఇప్పుడు ఒకే విక్రేత హార్డ్‌వేర్ చుట్టూ ఆప్టిమైజ్ చేయబడింది. CUDA AI వర్క్‌లోడ్‌లను Nvidia GPUలకు బంధిస్తుంది. ఇది ఎన్విడియాకు గొప్పది, కానీ అందరికి లోతుగా పరిమితం చేస్తుంది.

ఉపరితలంపై, టన్నుల పోటీ ఉన్నట్లు కనిపిస్తోంది: AMD GPUలను విక్రయిస్తుంది. Google కలిగి ఉంది TPUలు. అమెజాన్ సృష్టించింది ట్రైనియం AI చిప్‌లు మరియు అనేకం స్టార్టప్‌లు ఇలాంటి హార్డ్‌వేర్‌ను నిర్మిస్తున్నాయి.

సమస్య ఏమిటంటే, ప్రతి చిప్ దాని స్వంత సాఫ్ట్‌వేర్ స్టాక్‌తో ఆ భాగం కోసం ఆప్టిమైజ్ చేయబడింది. అంటే చక్రం యొక్క అంతులేని పునర్నిర్మాణం. చాలా వరకు, CUDA మరియు Nvidiaతో అతుక్కోవడం చాలా సులభం GPUలు.

ఇంకా, AI డెవలపర్‌లు పోర్టబిలిటీని కోరుకుంటారు: విభిన్న సాఫ్ట్‌వేర్ స్టాక్‌లను గారడీ చేయకుండా బహుళ ప్రొవైడర్‌ల నుండి ఏదైనా GPUల కలయికను ఉపయోగించగలగడం.

“ఎవరూ పోర్టబుల్ అంశాలను నిర్మించడం లేదు, ఎందుకంటే చిప్ ప్రాజెక్ట్‌లు స్వయంగా సాఫ్ట్‌వేర్ చేస్తున్నప్పుడు ఎవరైనా ఒకటి కంటే ఎక్కువ చిప్‌ల కోసం సాఫ్ట్‌వేర్‌పై ఎందుకు పని చేస్తారు?” లాట్నర్, మాడ్యులర్ యొక్క CEO, నాకు ఒక ఇంటర్వ్యూలో చెప్పారు.

Nvidia ప్రత్యర్థి AI చిప్‌లపై బాగా అమలు చేయడానికి CUDAని విస్తరించవచ్చు. కానీ అలా చేయడం వలన Nvidia యొక్క గొప్ప కందకం దెబ్బతింటుంది: దాని సాఫ్ట్‌వేర్ మరియు దాని చిప్‌ల మధ్య క్లోజ్డ్-లూప్ బంధం. “వాస్తవానికి, వారు పోర్టబిలిటీని కోరుకోరు,” అని అతను చెప్పాడు.

పారడాక్స్ = అవకాశం

లాట్నర్ కోసం, ఈ పారడాక్స్ ఒక పెద్ద అవకాశాన్ని అందిస్తుంది.

“ఇలా చేయడానికి పరిశ్రమలో ఎవరూ ప్రోత్సహించలేదని మేము గ్రహించాము. ఇది చాలా ఖరీదైనది, చాలా కష్టం” అని అతను చెప్పాడు. “మరియు అదే సమయంలో, ప్రతి ఒక్కరూ దానిని కోరుకుంటున్నారు.”

చాట్‌జిపిటి ప్రపంచాన్ని తుఫానుగా మార్చిన 2022లో గూగుల్‌ను విడిచిపెట్టి మాడ్యులర్‌ను ప్రారంభించేలా లాట్‌నర్ మరియు డేవిస్‌లను ప్రేరేపించింది.

అప్పటి నుండి, మాడ్యులర్ గ్రేలాక్, జనరల్ క్యాటలిస్ట్ మరియు Google యొక్క వెంచర్ క్యాపిటల్ ఆర్మ్ GVతో సహా పెట్టుబడిదారుల నుండి $380 మిలియన్లను సేకరించింది. సెప్టెంబర్‌లో తాజా ఫైనాన్సింగ్ స్టార్టప్ విలువ $1.6 బిలియన్లుగా ఉంది. CUDA లాక్-ఇన్‌ను విచ్ఛిన్నం చేయడానికి మాడ్యులర్ మాత్రమే ప్రయత్నం కాదు. ZLUDA, AMD ద్వారా నిధులు సమకూర్చబడిన ఓపెన్ సోర్స్ ప్రాజెక్ట్ మరియు ఇటీవల, స్టార్టప్ ఉంది. స్పెక్ట్రల్ కంప్యూట్ఇది $6 మిలియన్లను సేకరించింది.

Google, Apple మరియు ఇతర సాంకేతిక సంస్థల నుండి ప్రతిభావంతులైన ప్రోగ్రామర్‌లను నియమించుకోవడానికి Lattner ఈ డబ్బులో కొంత భాగాన్ని ఉపయోగించారు. కొత్త AI సాఫ్ట్‌వేర్ స్టాక్ యొక్క బిల్డింగ్ బ్లాక్‌లను రూపొందించడానికి వారు సాపేక్ష అస్పష్టతలో మూడు సంవత్సరాలు పనిచేశారు.

కొత్త AI సాఫ్ట్‌వేర్ స్టాక్

ఫౌండేషన్ మోజో అని పిలువబడే సరికొత్త ప్రోగ్రామింగ్ లాంగ్వేజ్‌తో ప్రారంభమవుతుంది, ఇది AI చిప్‌లను వీలైనంత సమర్థవంతంగా అమలు చేయడానికి లోతైన నియంత్రణలను అందిస్తుంది.

మాడ్యులర్ దీనిని పైథాన్ మాదిరిగానే పనిచేసేలా రూపొందించింది, ఇది ఒక ప్రసిద్ధ మరియు సులభంగా ఉపయోగించగల ప్రోగ్రామింగ్ భాష. కానీ Mojo AI అభివృద్ధికి అవసరమైన C++ వంటి ఇతర సంక్లిష్టమైన భాషల వేగం మరియు శక్తిని కూడా కలిగి ఉంది. AI మోడల్‌లు మరియు అప్లికేషన్‌లను రూపొందించేటప్పుడు తరచుగా ఉపయోగించే ఓపెన్ సోర్స్ ఫ్రేమ్‌వర్క్ అయిన PyTorchతో కూడా Mojo బాగా పనిచేస్తుంది.

ఈ సంవత్సరం ప్రారంభంలో మాజీ OpenAI పరిశోధకుడైన కార్లెస్ గెలాడాను ఇంటర్వ్యూ చేస్తున్నప్పుడు నేను మాడ్యులర్ గురించి మొదటిసారి విన్నాను. “GPU-అజ్ఞేయ ఫ్రేమ్‌వర్క్‌లు మరియు ప్లాట్‌ఫారమ్‌లను రూపొందించడానికి మరియు CUDAని సవాలు చేయడానికి అనేక ఆసక్తికరమైన ప్రాజెక్ట్‌లు ఉన్నాయి” అని అతను ఆ సమయంలో చెప్పాడు. “మోజో అత్యంత ఆసక్తికరమైనది.”

MAX అనేది మాడ్యులర్ యొక్క కొత్త సాఫ్ట్‌వేర్ స్టాక్ యొక్క తదుపరి ప్రధాన పొర. ఇది AI అనుమితికి శక్తినిస్తుంది, అంటే మోడల్‌లు ఎలా అమలు చేయబడతాయి. సిస్టమ్ యొక్క ఈ భాగం Nvidia GPUలు, AMD GPUలు మరియు Apple నుండి ఇలాంటి చిప్‌లతో పని చేస్తుంది. భవిష్యత్తులో మరిన్ని AI చిప్‌లను జోడించాలని మాడ్యులర్ భావిస్తోంది.

దాని పైన మముత్ అని పిలువబడే మరొక పొర ఉంది, ఇది AI డెవలపర్‌లు GPU క్లస్టర్‌లను నిర్వహించడంలో సహాయపడుతుంది.

సెప్టెంబర్ చివరలో, మాడ్యులర్ Nvidia యొక్క కొత్త బ్లాక్‌వెల్ B200 GPUలు మరియు AMD యొక్క తాజా MI355X GPUల నుండి అత్యుత్తమ పనితీరును పొందినట్లు ప్రకటించింది – ముఖ్యంగా అదే సాఫ్ట్‌వేర్ ప్లాట్‌ఫారమ్‌లో.

AMD యొక్క స్వంత సాఫ్ట్‌వేర్‌లో ఈ చిప్‌లు రన్ అయినప్పుడు కంటే దాదాపు 50% మెరుగ్గా పని చేయడానికి మాడ్యులర్ ఈ AMD GPUలను పొందిందని లాట్నర్ చెప్పారు.

మరీ ముఖ్యంగా, ఒకే సాఫ్ట్‌వేర్ స్టాక్‌లో వేర్వేరు GPUలను అమలు చేయగల సామర్థ్యం ఇప్పుడు మరింత స్థాయి ప్లేయింగ్ ఫీల్డ్‌లో ప్రత్యర్థి AI చిప్‌లతో Nvidia యొక్క సమర్పణలను పోల్చడానికి అద్భుతమైన అవకాశాన్ని సపోర్ట్ చేస్తుంది.

“స్పష్టమైన ప్రశ్న: MI355X బ్లాక్‌వెల్‌తో పోటీ పడగలదా?” మాడ్యులర్ a లో రాశారు బ్లాగు ఫలితాలను ప్రకటించడం. “ప్రారంభ సంకేతాలు అవును అని సూచిస్తున్నాయి.”

ఒక కస్టమర్ పరీక్ష

ఇన్‌వరల్డ్ AI యొక్క CEO అయిన గిబ్స్ మాడ్యులర్ యొక్క సాఫ్ట్‌వేర్‌ను వాస్తవ ప్రపంచంలో దాని పేస్‌ల ద్వారా ఉంచుతున్నారు.

డిస్నీ, ఎన్‌బిసి యూనివర్సల్ మరియు నియాంటిక్ ల్యాబ్‌లతో సహా పెద్ద కంపెనీల నుండి ఆఫర్‌లకు మద్దతిచ్చే హై-స్పీడ్, నిజ-సమయ సంభాషణ AI సాంకేతికతను Inworld రూపొందిస్తుంది.

ఈ సంవత్సరం ప్రారంభంలో, స్టార్టప్ కొత్త టెక్స్ట్-టు-స్పీచ్ AI మోడల్‌ని డిజైన్ చేసి, Nvidia B200 GPUలకు ముందస్తు యాక్సెస్‌ను పొందినప్పుడు, వారు మాడ్యులర్‌కి ఒక సవాలును జారీ చేశారు: మా ఖర్చులను 60% తగ్గించండి మరియు మా జాప్యాన్ని 40% తగ్గించండి మరియు మేము మీతో కలిసి పని చేస్తాము.

“సుమారు నాలుగు వారాల్లో, మేము ఈ అద్భుతమైన పనితీరును పొందగలిగాము,” అని గిబ్స్, మాడ్యులర్‌తో భాగస్వామ్య ఒప్పందంపై సంతకం చేసిన వెంటనే చెప్పారు. “నేను నా వాలెట్‌తో పందెం కట్టాను.”

Nvidia యొక్క తాజా GPUలలో మాడ్యులర్ యొక్క పనితీరు లాభాలతో ఇన్‌వరల్డ్ ఎక్కువగా ఆకర్షించబడినప్పటికీ, అవసరమైతే భవిష్యత్తులో వివిధ AI చిప్‌లను మరింత సులభంగా ఉపయోగించుకునే సౌలభ్యాన్ని గిబ్స్ ఇష్టపడుతున్నారు.

“వాగ్దానం ఏమిటంటే, మేము కొత్త హార్డ్‌వేర్‌కు వెళ్లగలము,” అని అతను చెప్పాడు. “AMD టేకాఫ్ అని అనుకుందాం, Google కోసం TPUలు టేకాఫ్ అవుతాయని అనుకుందాం లేదా ఆన్‌లైన్‌లో వచ్చే ఇతర కొత్త హార్డ్‌వేర్ ఉండవచ్చు. కాబట్టి ఆ ఐచ్ఛికాన్ని కలిగి ఉండటం ఆనందంగా ఉంది.”

‘ఎన్విడియా చనిపోవాల్సిన అవసరం లేదు’

వాస్తవానికి, Google యొక్క TPUలు అకస్మాత్తుగా ఒక క్షణం కలిగి ఉంటాయి. ఇంటర్నెట్ దిగ్గజం అనే కొత్త AI మోడల్‌ను విడుదల చేసింది మిథునం 3 ఇటీవల సమీక్షలను రేవ్ చేయడానికి. ఇది TPUలను ఉపయోగించి శిక్షణ పొందింది మరియు అమలు చేయబడింది మరియు కొన్ని ఇతర AI కంపెనీలు Nvidia GPUలకు బదులుగా లేదా వాటితో పాటు ఈ చిప్‌లను ఉపయోగించడానికి ఒప్పందాలపై సంతకం చేశాయి.

ఇది ఎన్విడియాను డిఫెన్స్‌లో ఉంచింది. మాడ్యులర్ వంటి ప్రాజెక్ట్, వివిధ AI హార్డ్‌వేర్‌లలో పోర్టబిలిటీ యొక్క వాగ్దానంతో, ఈ ఒత్తిడిని పెంచుతుంది.

“ఎన్విడియా దీనిని ఒక రోజులో చంపగలదు” అని మాడ్యులర్ ప్రాజెక్ట్ యొక్క గిబ్స్ చెప్పారు. “Nvidia ప్రాథమికంగా ఇలా చెప్పవచ్చు, ‘సరే, మీరు కేవలం Nvidia హార్డ్‌వేర్‌పై అమలు చేయడం మాకు నిజంగా ఇష్టం లేదు. AMD GPUలలో కూడా పనిచేసే CUDA ఎంపిక ఇక్కడ ఉంది.’ అలా చేయడం వారికి కొంచెం పిచ్చిగా ఉంటుంది, కానీ అది వారు చేయగలిగినది మరియు అది కొంత చెడ్డది.”

పరిశ్రమపై లాట్నర్ చేసిన అన్ని విమర్శలకు, అతను మాడ్యులర్ ఎన్విడియాని చంపడానికి ప్రయత్నించడం లేదని చెప్పాడు. వాస్తవానికి, మాడ్యులర్ అద్భుతంగా విజయం సాధించినప్పటికీ, ఎన్విడియా అభివృద్ధి చెందుతూనే ఉంటుందని అతను వాదించాడు.

ప్రపంచంలోని చాలా స్మార్ట్‌ఫోన్‌లకు శక్తినిచ్చే Google మొబైల్ ఆపరేటింగ్ సిస్టమ్‌ను సూచిస్తూ, “మేము Android వంటి వాటిని రూపొందించడానికి ప్రయత్నిస్తున్నాము, కానీ AI హార్డ్‌వేర్ కోసం,” అని అతను నాకు చెప్పాడు.

బిలియన్ల మంది ప్రజలు Android పరికరాలను ఉపయోగిస్తున్నప్పటికీ, ఈ విజయం Apple యొక్క మొబైల్ ఆపరేటింగ్ సిస్టమ్ అయిన iOSని చంపలేదు. ఐఫోన్‌లు ఇప్పటికీ USలో పాలించబడుతున్నాయి, ఉదాహరణకు.

మాడ్యులర్ యొక్క సాఫ్ట్‌వేర్ ఇతర హార్డ్‌వేర్‌లను మరింత పోటీతత్వంతో అభివృద్ధి చేసేలా చేస్తుంది, డెవలపర్‌లకు మరింత స్వేచ్ఛను ఇస్తుంది మరియు పరిశ్రమ యొక్క సింగిల్-వెండర్ మోనోకల్చర్‌ను దూరం చేస్తుంది కాబట్టి AIలో ఇలాంటిదే ఏదైనా జరుగుతుందని లాట్నర్ అభిప్రాయపడ్డారు.

“కాబట్టి ఎన్విడియా చనిపోవాల్సిన అవసరం లేదు, కానీ మేము మరింత పోటీని కోరుకుంటున్నాము. మేము మరింత ఆవిష్కరణను కోరుకుంటున్నాము,” అని అతను చెప్పాడు. “ఇది ప్రపంచానికి మంచిదని నేను భావిస్తున్నాను.”

BI యొక్క టెక్ మెమో వార్తాలేఖ కోసం సైన్ అప్ చేయండి ఇక్కడ. వద్ద ఇమెయిల్ ద్వారా నన్ను చేరుకోండి abarr@businessinsider.com.