A felhasználói felületek (UI) megértése régóta kihívás a mesterséges intelligencia számára. Míg a legtöbb látás-nyelvi modell (Vision-Language Model, VLM) természetes képeken – például állatokon vagy tájakon – tanul, addig az alkalmazások UI-elemei, mint a listaelemek, jelölőnégyzetek vagy szövegmezők sokkal strukturáltabb és összetettebb információt hordoznak.
A ILuvUI (Instruction-tuned LangUage-Vision modeling of UIs from Machine Conversations) célja éppen ez: a szöveges utasításokat és a vizuális adatokat együtt értelmezve pontosabb következtetéseket von le arról, hogyan működik egy alkalmazás felülete. Ehhez a kutatók a nyílt forráskódú LLaVA modellt vették alapul, majd átalakították és finomhangolták, hogy kifejezetten a felhasználói felületek megértésére specializálódjon.
Az új modellt szintetikusan generált adatkészleten képezték: néhány kézzel válogatott, „arany” mintából gépi módszerekkel hoztak létre nagyszámú kép-szöveg párt, így a modell megtanulhatta, hogyan néz ki egy gomb, egy beviteli mező vagy egy kapcsoló, és hogyan kell ezekről emberi nyelven beszélni.
A kutatás eredményei szerint az ILuvUI jelentősen felülmúlta az alapjául szolgáló VLM teljesítményét, amikor mobilalkalmazások UI-jairól szóló kérdések megválaszolásáról vagy utasítások értelmezéséről volt szó. Ez új lehetőségeket nyit meg a felhasználói felületek automatizálása és az intelligens UI-tesztek területén is.
Böngésszen tovább legfrissebb híreink között!
Az ILuvUI tehát egy újabb lépés afelé, hogy az AI ne csak „lássa”, hanem értse is, hogyan működnek az általunk nap mint nap használt digitális felületek.
Megérné Önnek telefont váltani csak azért, mert az új modell dupla alap tárhellyel érkezik?
Honlapunk oldalain található információk és számítások a piacon elérhető adatokon alapszanak.
Sajnos mi sem vagyunk tévedhetetlenek, és az adatközlők sem. Az esetleges pontatlanságokért valamint az adatok felhasználásból eredő károkért felelősséget nem tudunk vállalni.
A Telefonguru oldalainak másodközlése csak a tulajdonos engedélyével lehetséges!
