Vraťme se letos ještě jednou k festivalu dokumentárních filmů o lidských právech Jeden svět, který byl uveden on-line v čase 20. května – 6. června 2021.
Tentokrát bychom našim čtenářům rádi přiblížili vysoce aktuální film Digitalizovaný předsudek (Coded Bias). V kostce jde o to, že umělá inteligence, která je využívána mj. k vytváření bodového systému, hodnotícího jednotlivce (který na jeho základě např. dosáhne či nedosáhne na hypotéku, získá či nezíská určité zaměstnání atd.), je předpojatá, netransparentní a nekontrolovaná. Nebezpečí potencionální nespravedlnosti je tak velké. Společenský dopad umělé inteligence je přitom obrovský.
Zdroj: wikipedia
Nejprve informace o filmu poskytnuté přímo festivalem Jeden svět:
Digitalizovaný předsudek
Coded Bias
Režie: Shalini Kantayya
Čína, Jihoafrická republika, Velká Británie, USA | 2020 | 90 min.
KATEGORIE: Vypadáváš
Joy je afroamerická počítačová expertka. Když program na rozpoznávání obličejů ignoruje její tvář, otestuje Joy jeho předpojatost. Nasadí si bílou masku – a program rázem funguje.
Příslušný software byl vytrénován hlavně na fotkách bílých mužů, takže nebělošské ženské tváře rozlišuje mnohem hůře. Vloudil se do něj skrytý předsudek, který v praxi může vést třeba k mylné identifikaci podezřelých z trestné činnosti. Spektrum digitalizovaných předsudků i jejich dopadů však sahá mnohem dál. Předpojatá umělá inteligence může žadatelům upřít nárok na hypotéku, dát vyhazov zaměstnancům nebo vystavit občany daného státu mocenské zvůli. Skupina aktivistek, odbornic i přímých obětí algoritmické šikany ukazuje, jak předsudky z analogového světa nejenže s digitalizací nemizejí, ale nabírají skrytě na rozsahu a závažnosti.
https://www.jedensvet.cz/2021/filmy-a-z/43128-digitalizovany-predsudek
Joy Buolamwini studovala informatiku na Massachusettském technologickém institutu (Massachusetts Institute of Technology, MIT), kde v rámci studijního úkolu pracovala se softwarem pro rozpoznávání tváří, načež narazila na zajímavý problém: software nerozpoznal její tvář. Problém byl „vyřešen“ v okamžiku, kdy si nasadila bílou masku. Bez bílé masky však zůstávala „neviditelná“.
Důvod, odkrývaný v úvodu filmu, spočívá v tom, že lidé, kteří kódovali algoritmus, nevzali v úvahu širokou škálu barev kůže a obličejových struktur. J. Buolamwini je žena tmavé barvy pleti. Rozpoznávací algoritmus je ovšem "vytrénovaný" na fotografiích bílých mužů.
J. Buolamwini to vysvětluje takto: „Stroje často učíme vidět tak, že jim poskytneme trénovací sady nebo příklady toho, co se mají naučit. Takže pokud chci, aby stroj viděl obličej, poskytnu mu hodně příkladů tváří, ale i věcí, které tvářemi nejsou. Začala jsem zkoumat datové soubory a zjistila, že mnohé z nich obsahují především muže, a převážně lidi světlejší pleti. Ty systémy tudíž nebyly zvyklé na tváře, jako je ta moje. A tak jsem začala zkoumat předpojatost, která se může do technologií vloudit.“
J. Buolamwini následně otestovala algoritmy společností IMB, Microsoft, Face++, Kairos a Google. Ukázalo se, že všechny tyto systémy měly lepší výsledky u mužských tváří než u ženských, a u světlejších tváří oproti těm tmavším.
Meredith Broussard, autorka knihy Artificial Unintelligence (Umělá neinteligence), zdůrazňuje, že ačkoli máme všichni představu umělé inteligence formovanou Hollywoodem, který zobrazuje stroje jako plnohodnotně myslící polidštěné bytosti, ve skutečnosti nyní máme pouze „úzkou umělou inteligenci“ (AI) – a úzká umělá inteligence je jen matematika.
Máme algoritmy, které se prezentují jako objektivní pravda, tou však ve skutečnosti nejsou. „Každý má nevědomky předsudky, a lidé své předsudky vtělují do technologie.“ Pokud se ale systémy učí na zkreslených souborech dat, mohou mít i zkreslené výsledky. Umělá inteligence hledí do budoucnosti, ale vychází z dat, která jsou odrazem historie, přetrvává v nich minulost, která byla často rasistická a sexistická.
Data stále zrcadlí přetrvávající nerovnost, tudíž mají tendenci znevýhodňovat menšiny. Umělá inteligence přitom naše životy čím dál víc ovládá a všechny předsudky tím vlastně upevňuje.
Cathy O'Neil, autorka knihy Weapons of Math Destruction (Zbraně matematického ničení; zjevně variace na „weapons of mass destruction“ – zbraně hromadného ničení), rovněž vnímá, jak AI ovlivňuje naše životy. Její definice algoritmu zní: „Využívání informací z historie pro předpovídání budoucnosti“. A pokračuje: „Strojové učení je bodový systém, který hodnotí pravděpodobnost toho, co uděláte. Splatíte tuhle půjčku? Vyhodí vás z téhle práce?“ Každý proces je proto třeba neustále kontrolovat z hlediska předpojatosti a společnost potřebuje jasně stanovenou kontrolu.
Zeynep Tüfekçi, PhD, autorka knihy Twitter and Tear Gas (Twitter a slzný plyn), varuje: „Počítač lze programovat dvěma způsoby. Jeden připomíná recept. Řeknete počítači 'udělej tohle, tohle a tohle'. Tak jsme programovali počítače skoro od začátku. Ale jde to i jinak. Nakrmíme počítač spoustou dat a počítač ta data 'stráví' a tím se je naučí třídit. Tahle metoda se ujala až v poslední době, protože předtím nebylo dat dost. Ale teď máme všichni chytré telefony, které o nás data sbírají, miliardy lidí jsou on-line, a všechny ty Googly a Facebooky sedí na obřích balících dat. Najednou se ukázalo, že stačí algoritmy strojového učení nacpat daty a říct 'roztřiď to', a funguje to přímo zázračně. Ale příliš nechápeme, proč to funguje. Má to chyby, kterým moc nerozumíme. Děsivé je, že strojové učení je černou skříňkou i pro programátory.“
M. Broussard připomíná, jak Microsoft spustil na Twitteru chatbota (počítačový program určený k automatizované komunikaci s lidmi); tato technologie se jmenovala Tay.ai. V kódu byla slabá místa a bezpečnostní díry, a Tay se začala ze svého okolí učit. „Tay se naučila chovat jako rasistická, mysogynní kráva,“ konstatuje lakonicky M. Broussard. Internetoví trollové Tay zkazili, po 16 hodinách on-line horlila pro Hitlera a o ženách hovořila jako o podřadných bytostech. Microsoft projekt zastavil.
Film se průběžně věnuje několika oblastem ve světě, neboť „použití technologie rozpoznávání tváří v různých koutech světa ukazuje různé varianty budoucnosti“.
Velká Británie
V Londýně existují oblasti, které policie sleduje systémem rozpoznávání tváří.
Systém na rozpoznávání tváře (či systém pro rozpoznávání obličeje) je počítačový program na identifikaci osob. Rozpoznávání tváří se provádí podle geometrických charakteristik obličeje a porovnává se s databází biometrických fotografií. Automatické rozpoznávání tváří však není spolehlivé.
Silkie Carlo, ředitelka společnosti Big Brother Watch UK, vysvětluje, že když lidé kolem takových kamer projdou, systém policii upozorní na ty, u nichž nalezne shodu. Systém je přitom extrémně nepřesný a spojuje nevinného člověka s hledanou osobou v 98 % případů. Sama policie uznává, že jí využívané algoritmy jsou předpojaté. Dle aktivistů začala britská policie používat systém rozpoznávání tváří bez jakéhokoli právního rámce. Film dokumentuje, že londýnská policie navzdory těmto skutečnostem ukládá pokuty těm, kdo prošli kolem označeného kamerového systému a zakryli si obličej, protože si chtěli uchovat soukromí.
Čína
V Číně se nově používá systém sociálního kreditu.
Systém sociálního kreditu či systém společenského kreditu je státní systém hodnocení obyvatel Čínské lidové republiky dle různých aspektů jejich ekonomického a společenského chování (společenské důvěryhodnosti), na jehož základě je jim poskytována různá úroveň přístupu k veřejným službám. Jedná se o projekt sociálního inženýrství, majícího za cíl udržení stávajícího společenského řádu; obyvatelstvo je automaticky označováno a kategorizováno.
Dle mnoha kritiků představuje systém velké nebezpečí z hlediska svobody jednotlivce a vytváří komplexní a mimořádně sofistikovaný systém masového dohledu s politickým přesahem, který lze přirovnat k dystopické vizi Velkého bratra, jež vytvořil George Orwell v románu 1984. Důsledkem může být mj. i zvyšování sociální izolace nízce hodnocených občanů (občanů s nízkým společenským kreditem).
Pokud chce čínský občan přístup k internetu, musí se podrobit systému rozpoznání tváře. Vlastním obličejem lze vybírat hotovost z některých bankomatů či platit v restauracích typu KFC a McDonald’s, lze si v automatu zakoupit pití apod.
Čína rovněž využila systém k rozpoznávání tváří k sledování demonstrantů v Hongkongu. Obyvatelé se však naučili aktivně bránit – např. laserovými ukazovátky mátli a ochromovali rozpoznávací technologii nebo nosili masky (v době před pandemií onemocnění covid-19). Jiným účinným postupem bylo rozbíjení kamer či jejich přestříkání barvou.
USA
J. Buolamwini uvádí: „Přes 117 milionů obyvatel USA má obličej zaznamenaný v databázi systému rozpoznávání tváří, kterou může používat policie. Bez oprávnění a s použitím algoritmů, jejichž přesnost nebyla ověřena. Bez pojistek a bez regulace můžete snadno vytvořit stát s masovým dohledem, a to pomocí nástrojů, které už máme.“ Software Amazonu, používaný FBI, je však – jak jinak – nepřesný.
Vše, co děláme na internetu, je zaznamenáno a analyzováno. J. Buolamwini říká: „Umělá inteligence ovlivňuje automatické rozhodování všeho druhu. Výběr příspěvků, které se vám zobrazí a zvýrazní, reklamy, které se vám objeví, to všechno vychází z algoritmů založených na umělé inteligenci. A tak váš pohled na svět řídí umělá inteligence“.
Nejen to. Z. Tüfekçi připomíná „volební pokus“ Facebooku z roku 2010 na 61 milionech lidí. Buď byl zobrazen text „DNES JSOU VOLBY“, nebo stejný text, ale navíc s malými profilovými fotkami přítel, kteří klikli na „byl jsem volit“. Jména lidí se propojily se seznamy voličů. Ta zpráva se zobrazila pouze jednou, ale díky této drobné změně vzrostla volební účast o 300 000 osob. Americké volby v roce 2016 přitom rozhodlo asi 100 000 hlasů.
Amy Webb, futuristka, autorka knihy The Big Nine (Velká devítka), uvádí, že v současnosti existuje devět firem, které určují budoucnost umělé inteligence – šest amerických (Facebook, Apple, Amazon, IBM, Google, Microsoft), tři čínské (Alibaba, Tencent, Baidu). Vývoj jde dvěma směry. Čína má neomezený přístup ke všem datům, na jejichž základě lidé dostávají povolení k něčemu nebo je jim naopak něco odepřeno, viz výše. V USA se umělá inteligence vyvíjí ke komerčnímu využití, jde o zdroj zisku.
Ravi Naik, britský právník pro lidská práva, natvrdo hovoří: „Dobrovolně poskytujete informace o všech aspektech svého života, a to velmi malé skupině společností. A ta data se neustále doplňují. Informace z různých vašich profilů se postupně skládají dohromady. … Firma dokáže předvídat, co si myslíte.“
Virginia Eubanks, PhD, autorka knihy Automating Inequality (Automatizace nerovnosti), uvádí: „Známý sci-fi citát říká 'Budoucnost už je tu, jen není rovnoměrně rozložená'. Tím je myšleno, že bohatí se dostanou k různým vymoženostem dřív, chudí až mnohem později. Ale ve skutečnosti je to úplně naopak. Ty nejvíce represivní, invazivní nástroje, nejvíce zaměřené na sledování, pronikají nejdříve mezi chudé. A pokud fungují – po otestování v tomto prostředí, kde se neočekává velký respekt k lidským právům – se rozšíří i mezi další vrstvy.“
Reklamy soupeří hlavně o oči bohatých, o oči chudých soupeří predátoři, nabízející rychlé půjčky, on-line univerzity, kasina v Las Vegas. Algoritmy dokážou vytipovat lidi se sklonem k hazardu, zorganizovat na ně zacílené on-line slevové akce do Las Vegas, vystihnout chvíli, kdy jsou zranitelní a nalákat je na to, pro co mají slabost. Strojové učení dokáže tyto lidi najít jednotlivě.
Safiya Umoja Noble, PhD, autorka knihy Algorithms of Oppression (Algoritmy útlaku), upozorňuje na praktiky pojišťoven či bank, které si pomocí algoritmů cíleně vytipovávají klienty, u nichž je vysoká pravděpodobnost, že v budoucnu nebudou schopni splácet. Jejich systém byl optimalizován na insolvenci tak, aby vyhledával profily lidí, kteří dostanou rizikovou hypotéku. Společnost se pojistí proti jejich insolvenci a pak jim zabaví majetek pro nesplácení.
Další algoritmy, o nichž nevíme, mohou být určující pro přijetí na vysokou školu, jiné zjišťují, zda je člověk bonitní klient, další vytipují vhodného uchazeče o zaměstnání. Poslední případ se týkal i Amazonu, a ukázalo se, že jejich AI systém při náboru znevýhodňoval ženy – v reálném životě je žen na nejvyšších pozicích velmi málo, tak je systém úměrně tomu automaticky eliminoval; firma následně nástroj AI opustila.
Ve filmu je také zmíněn hojně využívaný model přidané hodnoty učitelů; dle C. O'Neil byl přitom tento algoritmus „jen o trochu lepší než náhoda“. Film uvádí konkrétní příklad středoškolského učitele Daniela Santose, který dřív v dlouhodobém horizontu při všech hodnoceních dosahoval vynikajících výsledků a v průběhu 10 let získal dvakrát ocenění „Učitel roku“ i řadu dalších. Bodovací systém založený na algoritmu jej však z neznámých důvodů označil za špatného, podprůměrného učitele.
Závěr filmu zaznamenává dílčí vítězství: San Francisco jako první město USA zakázalo technologie rozpoznávání tváří. Druhým bylo Somerville v Massachusetts, třetím Oakland. Tlak na vytvoření federální regulace pokračuje.
10. června 2020 Amazon na rok přerušil policejní využívání svého systému pro rozpoznávání tváří.
25. června 2020 američtí zákonodárci předložili návrh zákona zakazujícího používání systému rozpoznávání tváří na federální úrovni.
Regulace algoritmů na federální úrovni však zatím neexistuje.
5. dubna 2021 byl dokument Digitalizovaný předsudek (Coded Bias) zpřístupněn streamování na Netflixu (je umožněno aktivovat české titulky):
https://www.netflix.com/cz-en/title/81328723
Lenka Burešová
- ZPĚT -
