Amikor a milliárd dolláros mesterséges intelligenciák elbuknak egy gyermekjátékon: ideje újragondolni a felhajtást

A technológiai világ megdöbbent egy új kutatási eredmény láttán, amely szerint a legújabb generációs mesterséges intelligenciák (MI) képessé...

Szakértők szerint öt éven belül az összes munkahely 20%-át a a mesterséges intelligencia helyettesítheti

Kutatók olyan tudatos robotokat akarnak létrehozni, melyek képesek elképzelni a saját jövőjüket

Egy fiatal nő a mesterséges intelligencia segítségével gyermekkori énjével kezdett társalogni

A technológiai világ megdöbbent egy új kutatási eredmény láttán, amely szerint a legújabb generációs mesterséges intelligenciák (MI) képességeit alaposan túlértékelték. Az Apple által publikált tanulmány alapjaiban kérdőjelezi meg azt a népszerű elképzelést, hogy a nagy nyelvi modellek (LLM-ek) és azok legújabb változatai, a nagy érvelő modellek (LRM-ek) képesek megbízhatóan érvelni.

A kutatás vihart kavart: egyeseket sokkolt, másokat viszont egyáltalán nem ért váratlanul. Josh Wolfe neves kockázati tőkebefektető például az X platformon úgy fogalmazott, hogy az Apple "GaryMarcus-ozta" az LLM-ek érvelési képességeit - ezzel új igét alkotva, amely azt jelenti, hogy "kritikusan leleplezni vagy megcáfolni a mesterséges intelligencia túlértékelt képességeit az érvelés, megértés vagy általános intelligencia korlátainak kiemelésével".

Az Apple kutatásának lényege

Az Apple kutatói azt mutatták ki, hogy a vezető modellek, mint például a ChatGPT, a Claude vagy a Deepseek, bár "okosnak tűnhetnek, összeroppannak, amikor a komplexitás nő". Másképpen fogalmazva: ezek a modellek kiválóan teljesítenek a mintafelismerésben, de gyakran csődöt mondanak, ha olyan új helyzetekkel találkoznak, amelyek túllépik a tanítóadataik határait, annak ellenére, hogy - ahogy a tanulmány megjegyzi - "kifejezetten érvelési feladatokra tervezték őket". (1)

A tanulmány egy laza szálat hagy megválaszolatlanul, amit később tárgyalunk, de összességében az érvei megdönthetetlenek. Olyannyira, hogy az LLM-ek támogatói már részben elismerik a kudarcot, miközben reménykednek egy fényesebb jövőben.

A neurális hálózatok korlátai

A kutatás sok szempontból egy olyan érvet erősít meg és egészít ki, amelyet Gary Marcus már 1998 óta hangoztat: a neurális hálózatok különböző típusai képesek generalizálni az adatok azon eloszlásán belül, amelyeken tanították őket, de a generalizációjuk gyakran összeomlik, ha túllépnek ezen az eloszláson. Egy egyszerű példa: Marcus egyszer egy régebbi modellt tanított egy alapvető matematikai egyenlet megoldására, kizárólag páros számokat tartalmazó tanítóadatokkal. A modell képes volt némi generalizálásra, vagyis megoldotta a korábban nem látott páros számokat tartalmazó feladatokat, de kudarcot vallott, ha a válasz páratlan szám volt.

Több mint negyedszázaddal később, ha egy feladat közel áll a tanítóadatokhoz, ezek a rendszerek elég jól működnek. Ám ahogy távolodnak ezektől az adatoktól, gyakran csődöt mondanak, ahogy az Apple tanulmányának szigorúbb tesztjei is megmutatták. Ezek a korlátok valószínűleg az LLM-ek legsúlyosabb gyengeségei maradnak.

A skálázás mítosza

A remény mindig is az volt, hogy a modellek "skálázása," vagyis méretük növelése megoldja ezeket a problémákat. Az Apple új tanulmánya azonban határozottan cáfolja ezeket a reményeket. A kutatók a legújabb, legnagyobb és legdrágább modelleket klasszikus logikai feladványokkal, például a Hanoi tornya játékkal tesztelték - és azt találták, hogy a mély problémák továbbra is fennállnak. A Hanoi tornya egy klasszikus játék, amely három rúdból és több korongból áll, ahol az összes korongot a bal oldali rúdról a jobb oldalira kell áthelyezni úgy, hogy nagyobb korong soha ne kerüljön kisebb korong fölé. Gyakorlással egy okos (és türelmes) hétéves gyerek is képes megoldani.

Az Apple azt találta, hogy a vezető generatív modellek alig tudnak megbirkózni hét koronggal, kevesebb mint 80%-os pontossággal, és nyolc korong esetén gyakorlatilag teljesen kudarcot vallanak. Valóban kínos, hogy az LLM-ek nem képesek megbízhatóan megoldani a Hanoi tornyát.

Iman Mirzadeh, a tanulmány egyik vezető szerzője egy privát üzenetben elmondta: "nem csak a feladvány 'megoldásáról' van szó. Egy kísérletben megadtuk a modellnek a megoldási algoritmust, és az még így is kudarcot vallott... az általunk megfigyelt gondolataik és folyamataik nem logikusak és nem intelligensek."

Az antropomorfizáció csapdája

A tanulmány más kutatók érveit is visszhangozza és felerősíti, például Subbarao Kambhampati, az Arizonai Állami Egyetem informatikusának megállapításait az LRM-ekkel kapcsolatban. Kambhampati megfigyelte, hogy az emberek hajlamosak antropomorfizálni ezeket a rendszereket, vagyis azt feltételezik, hogy azok az emberi gondolkodáshoz hasonló lépéseket követnek egy összetett probléma megoldásakor. Korábban már bebizonyította, hogy ezek a rendszerek ugyanazokkal a problémákkal küzdenek, amelyeket az Apple is dokumentált.

Ha egy milliárd dolláros MI-rendszer nem képes megoldani egy olyan problémát, amelyet Herb Simon, az MI egyik úttörője már 1957-ben klasszikus (bár ma már nem divatos) MI-technikákkal megoldott, akkor annak az esélye, hogy olyan modellek, mint a Claude vagy az o3, elérjék az általános mesterséges intelligenciát (AGI-t), valóban csekélynek tűnik.

Az emberi gyengeségek párhuzama

De mi az a laza szál, amire korábban utaltunk? Nos, az emberek sem tökéletesek. A Hanoi tornya nyolc korongos változatán sok (de nem minden) ember szintén elbukik, ami bizonyos párhuzamot mutat az Apple eredményeivel. Azonban éppen ezért találtuk fel a számítógépeket és a számológépeket: hogy megbízhatóan kiszámítsák a nagy és fárasztó problémák megoldásait. Az AGI nem arról szól, hogy tökéletesen lemásoljuk az emberi gondolkodást, hanem arról, hogy ötvözzük az emberi alkalmazkodóképességet a számítógépek nyers erejével és megbízhatóságával. Nem szeretnénk olyan AGI-t, amely elrontja az alapvető számtani műveleteket csak azért, mert néha az emberek is hibáznak.

Az LLM-ek nem helyettesítik a hagyományos algoritmusokat

Az Apple tanulmánya alapvetően azt mutatja, hogy az LLM-ek, amelyek annyi felhajtást generáltak, nem helyettesíthetik a jól meghatározott hagyományos algoritmusokat. Nem játszanak sakkot olyan jól, mint a hagyományos algoritmusok, nem hajtogatnak fehérjéket olyan hatékonyan, mint a speciális neurális-szimbolikus hibridek, és nem kezelnek adatbázisokat olyan jól, mint a hagyományos adatbázisok.

Ez az üzleti világ számára azt jelenti, hogy nem lehet egyszerűen bedobni egy o3-at vagy Claude-ot egy komplex problémába, és elvárni, hogy megbízhatóan működjenek. A társadalom számára pedig azt, hogy soha nem bízhatunk teljesen a generatív MI-ben; a kimeneteik túlságosan kiszámíthatatlanok.

A tanulmány egyik legmegdöbbentőbb megállapítása, hogy egy LLM jól teljesíthet egy egyszerű teszten (például a Hanoi tornya négy koronggal), és ezzel elhitetheti, hogy valódi, általánosítható megoldást talált, pedig valójában nem.

Mire jók mégis az LLM-ek?

Természetesen az LLM-ek továbbra is hasznosak lesznek, különösen kódolás, ötletbörze és írás terén, emberi felügyelettel. Azonban bárki, aki azt gondolja, hogy az LLM-ek közvetlen utat jelentenek egy olyan AGI-hez, amely alapvetően átalakíthatja a társadalmat a jó irányba, önmagát csapja be.

Az Apple kutatása rávilágít arra, hogy a mesterséges intelligencia jelenlegi generációja, bár lenyűgöző eredményeket ér el bizonyos területeken, messze van attól, hogy elérje az általános intelligenciát. Ahelyett, hogy vakon bíznánk a felhajtásban, ideje reálisabb elvárásokat támasztani, és a valódi innovációkra koncentrálni, amelyek ötvözik az emberi és gépi erősségeket. (2)

(1) - https://ml-site.cdn-apple.com/papers/
(2) - https://www.theguardian.com/comm