A félrenevelt mesterséges intelligencia

2021.02.25

Múltkori cikkemben írtam arról az elképzelt esetről, amikor a gemkapocsgyártás szervezésére bevetett mesterséges intelligencia (MI) az egész világot elpusztítva mindenből kicsi kapcsokat gyárt. Miért is történhetne elméletben ilyesmi? Azért, mert az MI rosszul lett tanítva, mert nem látta a „nagy képet”, számára csak a gemkapocsgyártás kérdése számított. De vajon kell-e majd tartani ilyen esetektől a való világban? Két példáról írok azt bizonyítva, hogy a probléma már ma is létezik: egy szexista HR-es és egy rasszista bírósági MI alkalmazásról!

2014-ben az Amazonnál úgy döntöttek, hogy egy MI alkalmazást fejlesztenek ki az állásra jelentkezők szűrésére. Az alkalmazás a jelentkezők önéletrajza alapján egytől ötig csillaggal minősítette a személyeket – hasonlóan az online áruház termékajánlataihoz. Csakhogy kiderült, az algoritmus számos technikai pozíció – például szoftverfejlesztő – esetén a férfiakat előnyben részesítette a nőkkel szemben. Elsőre a dolog azért is meglepő, mert a dokumentumok nem tartalmaztak nemre vonatkozó információt. Csakhogy az MI algoritmus tanításához az Amazon korábbi felvételi anyagait használták, amelyek között sokkal több férfi szerepelt a felvettek csoportjában. Ez alapján valaki, aki nincs tisztában a történelmi nemi alapú diszkrimináció hatásával, tévesen azt gondolhatná, hogy a férfiak alkalmasabbak programozónak, mint a nők. Az MI nagyon jó a rejtett összefüggések feltárásában, és sikeresen „rátanult” olyan bonyolult korrelációkra, amelyek nem a programozási képességekkel, hanem a jelentkező nemével voltak kapcsolatban. Bizonyos szavak használata, jellegzetes sportok, hobbik említése erősen korrelál a nemmel, az pedig ugyebár a történelmi tanító adatokban nagyon is összefüggésben állt a felvételi sikerrel. Tehát az MI alapú algoritmus tovább örökítette a saját előítéleteinket. A fejlesztők minden igyekezete ellenére ezt a torzítást nem sikerült teljesen kiküszöbölni, ezért az alkalmazást 2018-ban gyakorlatilag kivezették a HR-es folyamatokból.

Ezzel kapcsolatban még egy érdekes jelenségre mutatott rá 2019-ben egy kutatócsoport. Elemzésük szerint egy mégannyira uniszex módon megfogalmazott online álláshirdetés is jóval kevesebb nőhöz jut el, mint férfihoz. Ennek oka nem is olyan rejtélyes. A potenciális célpontnak tekinthető fiatal nők adják az online vásárlók 70-80 százalékát (vajon nem egy másik rejtett torzítás eredménye ez is?). Ezért a közösségi média platformok simán kereslet-kínálat megfontolásból drágábban számolták fel az ennek a célcsoportnak megjelentetett hirdetéseket. Mivel pedig a HR hirdető algoritmusok célja a sikeres felvételek mellett a költségek optimalizálása, nem csoda, ha azok meg azt tanulták meg, hogy költséghatékonyabb a férfiakat megcélozni, mint a nőket.

Nem kevésbé problematikus az amerikai bíróságokon használt COMPAS nevű MI alkalmazás esete sem. A bíróságok ezt a programot annak eldöntésére használják például, hogy egy adott elkövető esetében várható-e a visszaesés, ismétlődő bűnelkövetés. Egy nagyon részletes 2016-os elemzés azonban azt a megérzést igazolta, hogy az algoritmus rassz alapján torzított eredményt ad. Az alapvető probléma – és ezt sokan félreértik – nem az, hogy átlagosan nagyobb rizikót ad fekete bőrű emberekre, mint fehér bőrűekre; az elemzők azt vizsgálták, hogy mi igazolódott be az algoritmus előrejelzéséből: azaz, hogy a szabadulók milyen arányban követtek el ténylegesen újabb bűntényeket. Ebből az derül ki, hogy a kétéves követési periódus alatt a vissza nem eső fekete bőrű emberek 45, a fehér bőrűek csupán 23 százalékát ítélte korábban potenciális visszaesőnek a szoftver; viszont a ténylegesen visszaeső fehér bőrű emberek 48, a fekete bőrűek 28 százalékát tévesen alacsony rizikójúaknak ítélte előzetesen. Egy jó algoritmusnak rassz semlegesnek kellene lennie, amikor a végleges eredményekkel, a tényekkel vetjük össze az előrejelzéseit, függetlenül attól, hogy esetleg a bűnelkövetés gyakorisága nem egyenlően oszlik meg a csoportok közt!

A fenti példák azt mutatják, hogy egy MI algoritmust általában hatékonynak minősítünk, ha jobb eredményt ad, mint amelyet általában értelmes erőforrásbefektetéssel – emberekkel – érhetünk el. A hatékonyság ilyen értelmezése azonban nem zárja ki, hogy az algoritmus adott csoportokra diszkriminatív legyen.

Az eddigiekben vázolt problémák miatt sokan azt a következtést vonják le, hogy az MI ilyen feladatok elvégzésére használhatatlan, mivel – bizonyos helyzetekben – elfogadhatatlanul igazságtalan. Azt gondoljuk, hogy a „matematikai” módon hozott döntések majd igazságosak, nálunk igazságosabbak lesznek, csakhogy ehhez matematikailag kellene tudnunk megfogalmazni az igazságosság fogalmát. A felvételi procedúra során társadalmilag talán a legigazságosabb az lenne, ha száz jelentkezőből véletlenszerűen választanánk ki az öt alkalmazandó embert. Egyéni szempontból ez viszont nagyon igazságtalan, hiszen figyelmen kívül hagyja a képességeket, a befektetett energiát. A nem és a rassz esetében kialakulóban van az egyetértés a megkülönböztetés elkerülésére, de más esetekben ez még ennél is sokkal bonyolultabb lehet. Az MI-t tanító adathalmazaink pedig már magukban tartalmazzák az igazságtalanságainkat, előítéleteinket. Fontos lenne, hogy ezek a tanító adatok ne a jelenlegi helyzetet, hanem az igazságosnak ítélt elvárásainkat reprezentálják!

Az eddigi példák olyan eseteket tárgyalnak, ahol az MI-t kontrollált adatokkal tanítottuk, ilyen módon felügyeltük a tanítás folyamatát. Azonban vannak olyan technológiák, amikor a tanítást a környezetre bízzuk. Ezek a módszerek nagyon fontosak azokban a helyzetekben, amikor nem áll rendelkezésre nagy mennyiségű, már felcímkézett historikus adat. Azonban ilyenkor is felmerül a torzítás lehetősége, csak nem a régi adatokban, hanem a környezetben. Erre riasztó példát adott a Microsoft 2016-ban Twitteren bevezetett Tay nevű beszélgető robotja. Tay a beszélgetések alapján tanult, bővítette ismereteit, és nem telt bele egy napba, hogy a naiv Tay szabadszájú rasszistává váljon. A Microsoft gyorsan le is kapcsolta.

Hogy mi a tanulság? Talán az, hogy piszok nehéz lesz a robotika asimovi első törvényét megvalósítani, ha még mi magunk sem tudjuk egyértelműen megfogalmazni, hogy mi a jó és mi a rossz:

„A robotnak nem szabad kárt okoznia emberi lényben, vagy tétlenül tűrnie, hogy emberi lény bármilyen kárt szenvedjen.”

Szerző: Hraskó Gábor, az INNObyte CCS Üzletágvezetője