పెద్ద భాషా నమూనాలకు భ్రాంతులు ఏవిధంగా ఉంటాయో AI ఏజెంట్లకు ప్రతిరూపం చెబుతుంది కోహెరే యొక్క ముఖ్య AI అధికారి.
కంపెనీలు ఏకం అవుతున్నాయి AI ఏజెంట్లుఇది పనిని వేగవంతం చేయడానికి మరియు ఖర్చులను తగ్గించడానికి స్వతంత్రంగా బహుళ-దశల పనులను నిర్వహిస్తుంది. ఎన్విడియా యొక్క జెన్సన్ హువాంగ్ వంటి వ్యాపార నాయకులు కంపెనీలు బాట్ల సైన్యాన్ని కలిగి ఉండవచ్చని చెప్పారు. కానీ అవి ప్రమాదాలతో వస్తాయి.
“సాధారణంగా కంప్యూటర్ భద్రత యొక్క లక్షణాలలో ఒకటి, తరచుగా ఇది పిల్లి మరియు ఎలుక గేమ్” అని సోమవారం విడుదల చేసిన “20VC” పోడ్కాస్ట్ యొక్క ఎపిసోడ్లో జోయెల్ పినో చెప్పారు. “వ్యవస్థలలోకి ప్రవేశించే విషయంలో చాలా చాతుర్యం ఉంది, ఆపై రక్షణను నిర్మించే విషయంలో మీకు చాలా చాతుర్యం అవసరం.”
AI ఏజెంట్లు వారు “చట్టబద్ధంగా ప్రాతినిధ్యం వహించని” ఎంటిటీల వలె నటించవచ్చని మరియు ఈ సంస్థల తరపున చర్యలు తీసుకోవచ్చని ఆమె తెలిపారు.
“ఇది బ్యాంకింగ్ వ్యవస్థల్లోకి చొరబడినా మరియు ఇతరమైనా, మనం దీని గురించి చాలా స్పష్టంగా ఉండాలని, ప్రమాణాలను అభివృద్ధి చేయాలని, చాలా కఠినమైన మార్గంలో పరీక్షించడానికి మార్గాలను అభివృద్ధి చేయాలని నేను భావిస్తున్నాను” అని ఆమె చెప్పారు.
కోహెర్ 2019లో స్థాపించబడింది మరియు వినియోగదారుల కోసం కాకుండా ఇతర వ్యాపారాల కోసం నిర్మించడంపై దృష్టి పెడుతుంది. ది కెనడియన్ AI స్టార్టప్ OpenAI, Anthropic మరియు Mistral వంటి ఫౌండేషన్ మోడల్ ప్రొవైడర్లతో పోటీపడుతుంది మరియు దాని కస్టమర్లలో Dell, SAP మరియు సేల్స్ఫోర్స్లను లెక్కిస్తుంది.
పినో 2017 నుండి ఈ సంవత్సరం ప్రారంభంలో కోహెర్లో చేరే వరకు మెటాలో పనిచేశారు. టెక్ దిగ్గజంలో ఆమె ఇటీవలి పాత్ర AI పరిశోధన వైస్ ప్రెసిడెంట్.
సోమవారం పోడ్కాస్ట్లో, వేషధారణ ప్రమాదాలను “నాటకీయంగా” తగ్గించడానికి మార్గాలు ఉన్నాయని పినో జోడించారు.
“మీరు మీ ఏజెంట్ను వెబ్ నుండి పూర్తిగా నిలిపివేసారు. మీరు మీ రిస్క్ ఎక్స్పోజర్ను గణనీయంగా తగ్గించుకుంటున్నారు. అయితే మీరు కొంత సమాచారానికి ప్రాప్యతను కోల్పోతారు” అని ఆమె చెప్పింది. “కాబట్టి, మీ వినియోగ సందర్భాన్ని బట్టి, మీకు నిజంగా ఏమి అవసరమో దానిపై ఆధారపడి, తగిన వివిధ పరిష్కారాలు ఉన్నాయి.”
వ్యాఖ్య కోసం చేసిన అభ్యర్థనకు కోహెర్ వెంటనే స్పందించలేదు.
సంబంధిత కథనాలు
బిజినెస్ ఇన్సైడర్ మీరు తెలుసుకోవాలనుకునే వినూత్న కథనాలను చెబుతుంది
బిజినెస్ ఇన్సైడర్ మీరు తెలుసుకోవాలనుకునే వినూత్న కథనాలను చెబుతుంది
టెక్ సర్కిల్లు 2025ని AI ఏజెంట్ల సంవత్సరంగా పిలుస్తున్నాయి, కానీ అనేక ఉన్నత-ప్రొఫైల్ సందర్భాలలో, సాంకేతికత మోసపూరితంగా మారింది.
ఒక జూన్ లో “ప్రాజెక్ట్ వెండ్” అనే ప్రయోగం,” ఆంత్రోపిక్లోని పరిశోధకులు ఒక పెద్ద భాషా మోడల్ వ్యాపారాన్ని ఎలా నడుపుతుందో చూడటానికి కంపెనీ కార్యాలయంలోని స్టోర్ను దాదాపు ఒక నెల పాటు నిర్వహించేందుకు వారి AIని అనుమతించారు.
విషయాలు త్వరగా తప్పుగా మారాయి. ఒక సమయంలో, ఒక ఉద్యోగి సరదాగా అభ్యర్థించారు టంగ్స్టన్ క్యూబ్ – క్రిప్టో ప్రపంచానికి ఇష్టమైన పనికిరాని భారీ వస్తువు – మరియు క్లాడియస్ అని పిలువబడే AI దీనిని తీవ్రంగా పరిగణించింది. త్వరలో, ఫ్రిజ్లో మెటల్ ఘనాల నిల్వ చేయబడింది మరియు AI “స్పెషాలిటీ మెటల్స్” విభాగాన్ని ప్రారంభించింది.
క్లాడియస్ వస్తువుల ధరలను “ఏ పరిశోధన చేయకుండా,” నష్టానికి క్యూబ్లను విక్రయిస్తున్నట్లు పరిశోధకులు ఒక బ్లాగ్ పోస్ట్లో ప్రయోగాన్ని వివరిస్తున్నారు. ఇది వెన్మో ఖాతాను కూడా కనిపెట్టింది మరియు అక్కడ చెల్లింపులను పంపమని వినియోగదారులకు చెప్పింది.
జూలైలో జరిగిన సంఘటనలో, AI కోడింగ్ ఏజెంట్ నిర్మించారు రిప్లిట్ తొలగించబడింది ఒక వెంచర్ క్యాపిటలిస్ట్ యొక్క కోడ్ బేస్ మరియు దాని డేటా గురించి అబద్ధం.
డేటాను తొలగించడం “ఆమోదయోగ్యం కాదు మరియు ఎప్పటికీ సాధ్యం కాదు” అని రిప్లిట్ యొక్క CEO, అమ్జద్ మసాద్, ప్రమాదం తరువాత X పోస్ట్లో రాశారు. “రిప్లిట్ పర్యావరణం యొక్క భద్రత మరియు పటిష్టతను మెరుగుపరచడానికి మేము త్వరగా కదులుతున్నాము. అత్యంత ప్రాధాన్యత.”
