Az AI továbbra is sikertelen a robusztus, kézzel írott számfelismerésnél (és hogyan lehet megjavítani)

A Deep Learning dicséretet kapott, hogy megoldja az önvezető autók és a világ éghajlata közötti mindent. És mégis, a mély idegi hálózatok (a Mély Tanulás munkafúrása) még a legszorosabb feladatokat sem tudják kielégítően megoldani: a robusztus, kézzel írott számfelismerés. Vegyük figyelembe a következő példákat:

A „normál” képeket tökéletesen sorolják be, de…

Az egyes számjegyek alatt lévő szám a hálózat előrejelzését mutatja. Mindezen mintákat helyesen osztályozza. Tehát mi a probléma? Nos, vegye figyelembe a következő képeket:

… A kis módosítások teljes mértékben kikerülhetik a hálózati döntéseket.

A képeket csak kissé módosítottuk, de most a neurális hálózat mindegyiket tévesen osztályozza. Az ilyenfajta „versenytársi” bemenetek évek óta ismertek. Alapvetően az összes Deep Learning alkalmazást érintik, az objektumfelismeréstől, a szemantikus kép szegmentálástól, a beszédfelismeréstől a spamszűrésig. Nagyon sok minden jelenleg alkalmazott neurális hálózatot érint, amelyek megtámadhatók (ideértve például a Siri vagy az Amazon Echo).

De még rosszabb lesz: vegye figyelembe a következő képeket:

Ezeket a képeket egy idegháló nagy biztonsággal osztályozza „nullák” -ként.

Felismeri még a kézírásos számjegyeit is? Nem? A neurális hálózat rendkívül biztos abban, hogy ezek mind nullák. Ezek az úgynevezett felismerhetetlen képek csak a mai idegi hálózatokkal kapcsolatos problémát rámutatnak: teljesen hibásan viselkednek, ha a bemenetek túl messze vannak a „normál” adatoktól (ebben az esetben zaj helyett számok).

Ezt a robusztussági problémát sokan elismerték a mélyreható tanulás bevezetésének egyik fő akadályaként. Nem csak biztonsági okokból, hanem azért, mert ezek a hibák rámutatnak arra, hogy nincs tudomásunk arról, hogy az ideghálózatok valóban működnek-e, és mely képjellemzőket használják az osztályozáshoz. Az elmúlt két évben erősen nőtt a probléma megoldására törekvő papírok száma, eddig hiába. Valójában azt a neurális hálózatot, amelyet a fenti kézírásos számjegyek osztályozására használtak, jelenleg a legmegbízhatóbb modellnek tekintik (Madry et al.). Ez a tény rávilágít arra, hogy messze vagyunk a robusztus felismerési modellektől - egyszerű kézírásos számjegyek esetén is.

Legutóbbi cikkünkben új koncepciót vezetünk be a képek robusztus osztályozására. Az ötlet nagyon egyszerű: ha egy képet hétként osztályoznak, akkor hozzávetőlegesen két sorból álljon - egy rövidebb, egy hosszabb -, amelyek egyik végén érintik egymást. Ez egy generációs módszer a számjegyekre való gondolkodáshoz, amely az ember számára nagyon természetes, és amely lehetővé teszi számunkra, hogy a jelet (vonalakat) nagy mennyiségű zaj és zavarok közepette is könnyen észrevegyük. Egy ilyen modell megkönnyítése révén a fentebb bemutatott versenytársak példáit a megfelelő osztályba lehet sorolni. A számok generációs modelljének (mondjuk nulláknak) a megtanulása elég egyszerű (egy variációs Autoencoder használatával), és egy dióhéjban a következőképpen működik: a kellemetlenségi változók látens terejétől kezdjük (amely olyan dolgokat foglalhat el, mint a szám vastagsága vagy döntése) és megtanulják az adatokból) és egy képet generálnak egy neurális hálózat segítségével. Ezután példákat mutatunk be a kézzel írt nullákra, és kiképezzük a hálózatot hasonló előállítására. Az oktatás végén a hálózat megismerte a kézírásos nullák természetes variációit:

A nullák generációs modellje megtanulja a kézírásos számjegyek tipikus variációit (jobb oldalon).

Megtanulunk egy ilyen generációs modellt minden számjegyre. Ezután, amikor egy új bemenet jön létre, ellenőrizjük, hogy mely számjegyű modell képes legjobban megközelíteni az új bemenetet. Ezt az eljárást általában elemzés-szintézisnek nevezik, mivel a kép tartalmát a legjobban szintetizáló modell szerint elemezzük. A standard feedforward hálózatoknak viszont nincs visszajelzési mechanizmusuk annak ellenőrzésére, hogy a bemeneti kép valóban hasonlít-e a következtetett osztályra:

Az előremenő hálózatok közvetlenül képektől osztályokig mennek, és nem tudják ellenőrizni, hogy a besorolásnak van-e értelme. Szintetizáló elemzési modellünk ellenőrzi, hogy milyen képjellemzők vannak jelen, és osztályozza annak alapján, hogy melyik osztálynak van értelme a legmegfelelőbbnek.

Valójában ez a legfontosabb különbség: az feedforward hálózatoknak nincs módja ellenőrizni előrejelzéseiket, meg kell bízniuk benne. Ezzel szemben a szintézis-elemzési modellünk megvizsgálja, hogy vannak-e bizonyos képjellemzők valóban a bemeneten, mielőtt a következtetésre jutnánk.

Ennek az eljárásnak a működéséhez nincs szükség tökéletes generációs modellre. A kézzel írt számjegyek modellje természetesen nem tökéletes: nézd meg az elmosódott széleket. Ennek ellenére modellünk nagy pontossággal (99,0%) osztályozhatja a kézzel írott számjegyeket, és döntései nagyon értelmesek az emberek számára. Például a modell mindig alacsony zajszintű jeleket jelez a zajképekkel kapcsolatban, mivel azok nem olyanok, mint a korábban látott számjegyek. A zajhoz legközelebb eső képek, amelyeket az elemzési szintézis modell még mindig nagy megbízhatósággal számjegyeknek minősít, sok értelmet jelentenek az emberek számára:

Az elemzés szintetikus modellünkkel megpróbáltuk szintetizálni a felismerhetetlen képeket, amelyeket még mindig nulláknak tekintünk, nagy megbízhatósággal. Ez a legjobb, amit kaptunk.

A jelenlegi legmodernebb modellben, Madry et al. Megállapítottuk, hogy a tiszta számjegyek minimális zavarása gyakran elegendő a modell osztályozásának kikapcsolásához. Ha ugyanezt tesszük az elemzés-szintézis modellünkre, feltűnően eltérő eredményeket kap:

Ellentétes példák az elemzés-szintézis modellre. Meg tudja tippelni, mi volt az eredeti szám?

Vegye figyelembe, hogy a perturbációknak sok értelme van az embereknek, és néha nehéz eldönteni, melyik osztályba sorolják a képet. Pontosan ez várható el egy robusztus osztályozási modellnél.

Modellünknek számos más figyelemreméltó tulajdonsága is van. Például az elemzés-szintézis modell döntései sokkal könnyebben értelmezhetők, mivel közvetlenül látható, hogy mely tulajdonságok mozgatják a modellt egy adott döntés felé. Ezen felül robusztus képességének még alsó határait is levezethetjük.

Az elemzés-szintézis modell még nem igazán felel meg az emberi észlelésnek, és még hosszú utat kell megtenni (lásd a teljes elemzést a kéziratban). Mindazonáltal úgy gondoljuk, hogy ezek az eredmények rendkívül biztatóak, és reméljük, hogy munkánk előkészíti az utat egy új, pontos, robusztus és értelmezhető osztályozási modellek felé. Még sokat kell tanulnunk ezekről az új modellekről, mindenekelőtt a következtetések hatékonyabbá tétele és a bonyolultabb adatkészletekre (például CIFAR vagy ImageNet) való skálázás szempontjából. Keményen dolgozunk ezen kérdések megválaszolásán, és várjuk, hogy a jövőben további eredményeket osszunk meg Önnel.

Az első, hátrányosan robusztus neurális hálózati modell felé az MNIST-en

Lukas Schott, Jonas Rauber, Matthias Bethge, Wieland Brendel
arXiv: 1.805,09190