Probleme cu cutiile negre în inteligența artificială

Compas, deținut de Northpointe Inc., este un model predictiv al riscului de recidivă penală, folosit până de curând de diferite curți de justiție din SUA în sprijinul deciziilor judecătorilor cu privire la cererile de eliberare. Jurnaliștii de la Propublica.org au colectat mii de cazuri de utilizare ale modelului și au arătat că are o puternică părtinire rasistă: negrii care nu vor mai comite o crimă vor primi un risc dublu comparativ cu albii în aceleași condiții 4. Modelul, dezvoltat cu tehnici de învățare automată (Machine Learning), probabil a moștenit părtinirea prezentă în sentințele istorice și este afectat de faptul că populația penitenciară americană reprezintă mult mai mult negrii decât albii;

Primele trei agenții de risc de credit din Statele Unite, Experian, TransUnion și Equifax sunt adesea discordante. Într-un studiu de 500.000 de cazuri, 29% dintre solicitanții de credit au avut o evaluare a riscurilor cu diferențe de peste 50 de puncte între cele trei companii, ceea ce poate însemna diferențe de zeci de mii de dolari în interesele generale. O astfel de variabilitate largă sugerează ipoteze de evaluare foarte diferite, precum și opace, sau un arbitrar puternic 5;

În anii 1970 și 1980, Școala de Medicină a Spitalului St. George din Londra a folosit software pentru a filtra cererile de locuri de muncă, care s-a dovedit ulterior a fi extrem de discriminatoriu față de femei și minoritățile etnice, deduse prin prenume și locul nașterii. Discriminarea algoritmică nu este un fenomen nou și nu se datorează neapărat învățătii automate 6;

Un clasificator bazat pe învățarea profundă (Deep Learning) poate fi foarte precis în ceea ce privește datele de antrenament și, în același timp, complet nefiabil, de exemplu, dacă a învățat din date de calitate proastă. Într-un caz de recunoaștere a imaginilor menite să distingă lupii husky într-un set mare de date, cutia neagră rezultată a fost disecată de cercetători doar pentru a afla că decizia de a clasifica o imagine ca „lup” s-a bazat exclusiv pe zăpada din fundal 7 ! Vina, desigur, nu este a învățării profunde, ci a alegerii accidentale a exemplelor de antrenament în care, evident, fiecare lup fusese fotografiat pe zăpadă. Deci, un husky în zăpadă este clasificat automat ca lup. Transmutând acest exemplu asupra sistemului de viziune al mașinii noastre cu conducere automată: cum putem fi siguri că va putea recunoaște corect fiecare obiect din jurul nostru?

Diverse studii, precum cel menționat în nota 8, arată că textele de pe web (dar și de pe media în general) conțin părtiniri și prejudecăți, precum faptul că numele albilor sunt mai des asociate cu cuvinte cu o sarcină emoțională pozitivă, în timp ce numele persoanelor de culoare sunt mai des asociate cu cuvinte cu o sarcină emoțională negativă. Prin urmare, modelele instruite pe texte pentru analiza sentimentelor și opiniilor sunt foarte susceptibile de a moșteni aceleași prejudecăți;

Jurnaliștii de date Bloomberg 9 au arătat cum modelul automat, utilizat de Amazon pentru a selecta cartierele orașelor americane pentru a oferi „livrare în aceeași zi” gratuit, are o prejudecată etnică. Software-ul, fără știrea companiei, exclude în mod sistematic din ofertă zonele locuite de minorități etnice în multe orașe, inclusiv în vecinătate. Amazon a răspuns la ancheta jurnalistică că nu era la curent cu această practică, deoarece modelul de învățare automată era total autonom și își baza alegerile pe activitatea anterioară a clienților. Pe scurt, este vina algoritmului.

Note

4 Machine Bias https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing [19-4-2020].

5 R. Carter – H.V. Auken., Small firm bankruptcy, Journal of Small Business Management 2006, 44: pp. 493-512

6 S. Lowry – G. Macpherson, A blot on the profession, British medical journal (Clinical research ed.) 1988, pp. 657

7 M.T. Ribeiro et al., „Why should I trust you?” Explaining the predictions of any classifier, Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining 2016, pp. 1135-1144

8 A. Caliskan Islam et al., Semantics derived automatically from language corpora necessarily contain human biases, arXiv preprint arXiv:1608.07187 2016

9 Amazon Doesn’t Consider the Race of Its Customers. Should It? https://www.bloomberg.com/graphics/2016-amazon-same-day/ [19-4-2020].

Sursa: Pedreschi, D., Artificial Intelligence (AI): new developments and innovations applied to e-commerce, Study for the committee on the Internal Market and Consumer Protection, Policy Department for Economic, Scientific and Quality of Life Policies, European Parliament, Luxembourg, 2020. © European Union, 2020. Traducere și adaptare independentă: Nicolae Sfetcu