Valójában úgy tűnik, hogy az AI nem annyira "okos", mint ahogyan azt gondolnánk, és nem teljesít jól még az alapfokú matematikai feladatok megoldásában sem. Egy új, hat Apple-kutató által publikált tanulmány, amelynek címe "GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models" (GSM-Symbolic: A nagy nyelvi modellek matematikai érvelési korlátainak megértése), azt mutatja, hogy a fejlett nagy nyelvi modellek (LLM) matematikai érvelése pontatlan lehet.
A kutatók a GSM8K nevű adatbázist használták, amely 8 ezer magas minőségű, változatos nyelvezetű, alapfokú matematikai feladatot tartalmaz. Ez egy általánosan használt mérőszám a nyelvi modellek teszteléséhez. A kutatók ezután kissé megváltoztatták a feladatok megfogalmazását, anélkül, hogy a logikán változtattak volna, és ezt nevezték GSM-Symbolic tesztnek.
Az első tesztsorozatnál a teljesítmény 0,3 és 9,2 százalék közötti csökkenést mutatott. A második sorozat, amelyben a problémák egy részébe olyan állításokat illesztettek, amelyeknek semmi köze nem volt a válaszhoz, "katasztrofális teljesítménycsökkenést" eredményezett, 17,5 százalékról akár 65,7 százalékra is.
Ez sokak számára nem meglepő. Sokan látták már, hogy az AI egyszerű feladatokkal is küszködik, különösen, ha számokról van szó. Valójában az AI nem igazán oldja meg a matematikai problémákat, hanem inkább egyszerű "mintafelismerést" alkalmaz, anélkül, hogy ténylegesen megértené, miről van szó.
Úgy tűnik, az AI gyakran azért bukik el az egyszerű matematikai feladatok megoldásában, mert a szavak túl bonyolultak vagy nem követik az ismert mintákat. Összességében az AI csupán "érvelés" illúzióját kelti, miközben valójában csak adatokat gyűjt és dolgoz fel.
De mit jelent ez a nagyobb képre nézve? Az utóbbi időben túlságosan is az AI-ra fókuszáltunk, és sokan csodákat várnak tőle. De komoly korlátai vannak, és nem biztos, hogy ezeket le lehet küzdeni. Kíváncsian várjuk, hogy az AI fejlődése hol fog megrekedni (nos, a matematikán kívül!).
