Valójában úgy tűnik, hogy az AI nem annyira "okos", mint ahogyan azt gondolnánk, és nem teljesít jól még az alapfokú matematikai feladatok megoldásában sem. Egy új, hat Apple-kutató által publikált tanulmány, amelynek címe "GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models" (GSM-Symbolic: A nagy nyelvi modellek matematikai érvelési korlátainak megértése), azt mutatja, hogy a fejlett nagy nyelvi modellek (LLM) matematikai érvelése pontatlan lehet.
A kutatók a GSM8K nevű adatbázist használták, amely 8 ezer magas minÅ‘ségű, változatos nyelvezetű, alapfokú matematikai feladatot tartalmaz. Ez egy általánosan használt mérÅ‘szám a nyelvi modellek teszteléséhez. A kutatók ezután kissé megváltoztatták a feladatok megfogalmazását, anélkül, hogy a logikán változtattak volna, és ezt nevezték GSM-Symbolic tesztnek.
Az elsÅ‘ tesztsorozatnál a teljesítmény 0,3 és 9,2 százalék közötti csökkenést mutatott. A második sorozat, amelyben a problémák egy részébe olyan állításokat illesztettek, amelyeknek semmi köze nem volt a válaszhoz, "katasztrofális teljesítménycsökkenést" eredményezett, 17,5 százalékról akár 65,7 százalékra is.
Ez sokak számára nem meglepÅ‘. Sokan látták már, hogy az AI egyszerű feladatokkal is küszködik, különösen, ha számokról van szó. Valójában az AI nem igazán oldja meg a matematikai problémákat, hanem inkább egyszerű "mintafelismerést" alkalmaz, anélkül, hogy ténylegesen megértené, mirÅ‘l van szó.
Úgy tűnik, az AI gyakran azért bukik el az egyszerű matematikai feladatok megoldásában, mert a szavak túl bonyolultak vagy nem követik az ismert mintákat. Összességében az AI csupán "érvelés" illúzióját kelti, miközben valójában csak adatokat gyűjt és dolgoz fel.
De mit jelent ez a nagyobb képre nézve? Az utóbbi idÅ‘ben túlságosan is az AI-ra fókuszáltunk, és sokan csodákat várnak tÅ‘le. De komoly korlátai vannak, és nem biztos, hogy ezeket le lehet küzdeni. Kíváncsian várjuk, hogy az AI fejlÅ‘dése hol fog megrekedni (nos, a matematikán kívül!).
