Valójában úgy tűnik, hogy az AI nem annyira "okos", mint ahogyan azt gondolnánk, és nem teljesít jól még az alapfokú matematikai feladatok megoldásában sem. Egy új, hat Apple-kutató által publikált tanulmány, amelynek címe "GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models" (GSM-Symbolic: A nagy nyelvi modellek matematikai érvelési korlátainak megértése), azt mutatja, hogy a fejlett nagy nyelvi modellek (LLM) matematikai érvelése pontatlan lehet.
A kutatók a GSM8K nevű adatbázist használták, amely 8 ezer magas minőségű, változatos nyelvezetű, alapfokú matematikai feladatot tartalmaz. Ez egy általánosan használt mérőszám a nyelvi modellek teszteléséhez. A kutatók ezután kissé megváltoztatták a feladatok megfogalmazását, anélkül, hogy a logikán változtattak volna, és ezt nevezték GSM-Symbolic tesztnek.
Az első tesztsorozatnál a teljesítmény 0,3 és 9,2 százalék közötti csökkenést mutatott. A második sorozat, amelyben a problémák egy részébe olyan állításokat illesztettek, amelyeknek semmi köze nem volt a válaszhoz, "katasztrofális teljesítménycsökkenést" eredményezett, 17,5 százalékról akár 65,7 százalékra is.
Ez sokak számára nem meglepő. Sokan látták már, hogy az AI egyszerű feladatokkal is küszködik, különösen, ha számokról van szó. Valójában az AI nem igazán oldja meg a matematikai problémákat, hanem inkább egyszerű "mintafelismerést" alkalmaz, anélkül, hogy ténylegesen megértené, miről van szó.
Gyors töltő? Tok? Nézz szét a shopban!
Úgy tűnik, az AI gyakran azért bukik el az egyszerű matematikai feladatok megoldásában, mert a szavak túl bonyolultak vagy nem követik az ismert mintákat. Összességében az AI csupán "érvelés" illúzióját kelti, miközben valójában csak adatokat gyűjt és dolgoz fel.
De mit jelent ez a nagyobb képre nézve? Az utóbbi időben túlságosan is az AI-ra fókuszáltunk, és sokan csodákat várnak tőle. De komoly korlátai vannak, és nem biztos, hogy ezeket le lehet küzdeni. Kíváncsian várjuk, hogy az AI fejlődése hol fog megrekedni (nos, a matematikán kívül!).
Megérné Önnek telefont váltani csak azért, mert az új modell dupla alap tárhellyel érkezik?
Honlapunk oldalain található információk és számítások a piacon elérhető adatokon alapszanak.
Sajnos mi sem vagyunk tévedhetetlenek, és az adatközlők sem. Az esetleges pontatlanságokért valamint az adatok felhasználásból eredő károkért felelősséget nem tudunk vállalni.
A Telefonguru oldalainak másodközlése csak a tulajdonos engedélyével lehetséges!
