Nincs hiány pletykákban az Apple következő nagy dobásáról, egy kamerás hordozható eszközről – de a hype mögött egy valóban értékes irány rajzolódik ki: a mesterséges intelligencia alkalmazása a hozzáférhetőség javítására.
A SceneScout az Apple és a Columbia Egyetem közös kutatási prototípusa, amely nem egy viselhető eszköz – még. De bepillantást nyújt abba, hogy a generatív AI és a térképadatok ötvözésével hogyan segíthetjük a vak és gyengénlátó felhasználókat a városi környezet megismerésében.
Vak vagy gyengénlátó emberek (BLV – blind and low vision) számára az ismeretlen városi terep nagyfokú bizonytalanságot jelent. A jelenlegi technológiai megoldások többnyire csak alapvető útvonal-információkat és tájékozódási pontokat nyújtanak, de nem közvetítik a környezet vizuális részleteit. Az olyan gazdag vizuális források, mint az utcaképek, gyakorlatilag hozzáférhetetlenek számukra – és itt jön képbe a SceneScout.
A prototípus az Apple Maps panorámaképeit és egy multimodális nagy nyelvi modellt – konkrétan a GPT-4o-t – használja, hogy személyre szabott, strukturált, utcai környezetre vonatkozó leírásokat generáljon.
A rendszer két fő funkcióval rendelkezik:
Útvonal előnézet – Lehetővé teszi a felhasználók számára, hogy egy konkrét útvonal mentén „végigsétáljanak” virtuálisan, vizuális kontextust kapva például a járda minőségéről, kereszteződésekről, buszmegállókról vagy vizuális tájékozódási pontokról.
Virtuális felfedezés – A felhasználó megadhat egy általános igényt, például „nyugodt lakónegyed parkokkal”, és a rendszer segít háztömbönként feltérképezni a környezetet, irányított felfedezést téve lehetővé.
A webes felület a képernyőolvasók támogatásával teljesen hozzáférhető, a leírások pedig több hosszúságban (rövid, közepes, hosszú) érhetők el.
A SceneScout tíz BLV-felhasználóval végzett tesztjei során a résztvevők pozitívan értékelték az eszköz használhatóságát. Különösen a virtuális felfedezés funkciót dicsérték, amely olyan információkat nyújtott számukra, amiket korábban csak másoktól tudtak volna megkérdezni.
Ugyanakkor a tesztek rávilágítottak néhány kritikus hiányosságra is:
A leírások 28%-a tartalmazott pontatlanságot vagy „hallucinációt”, például nemlétező hangjelzésekről vagy téves táblafeliratokról számolt be.
A rendszer néha elavult információkat közölt, például építkezésekről vagy ideiglenesen parkoló járművekről.
Feltételezéseket tett a felhasználó képességeiről, ahelyett hogy objektív módon közvetítette volna a látottakat.
Bár a SceneScout nem egy kereskedelmi termék, hanem egy kutatási demonstráció, a felhasználók egyértelmű igényt fogalmaztak meg: szeretnének egy viselhető eszközt, amely valós időben, például csontvezetéses fülhallgatón keresztül ad információt arról, mi mellett haladnak el.
Olyan funkciókat képzelnek el, amelyek:
mini leírásokat nyújtanak mozgás közben a kritikus részletekről (járda állapota, kereszteződések, táblák),
igény szerint részletesebb információkat kínálnak megálláskor,
és lehetővé teszik a felhasználónak, hogy „egy irányba mutatva” kérjen környezeti leírást, anélkül hogy fizikailag a kamerát kellene mozgatnia.
A SceneScout nem csupán egy technológiai újítás, hanem egy vízió arról, hogyan lehet az AI-t a valódi emberi igények szolgálatába állítani. A kutatás alátámasztja, hogy a mesterséges intelligencia képes érdemben segíteni a vak és gyengénlátó emberek városi navigációját – nem csak térképként, hanem útitársként is.
Ez a fejlesztés még kezdeti stádiumban van, de ha az Apple valóban viselhető AI-eszközök piacra dobását tervezi, a SceneScout alapját képezheti az új generációs, hozzáférhető navigációs élménynek.
