Ciclul de viață al inteligenței artificiale

Securizarea inteligenței artificiale (AI) este baza oricărei lucrări despre AI. Numai atunci când AI în sine este sigură, o putem folosi într-o manieră de încredere și o putem folosi în continuare pentru operațiuni suplimentare de securitate cibernetică. Etica AI a fost unul dintre domeniile de interes ale Grupului de experți la nivel înalt al CE privind AI (AI HLEG) (19).

Potrivit AI HLEG, „ca disciplină științifică, AI include mai multe abordări și tehnici, cum ar fi învățarea automată (din care învățarea profundă și învățarea prin consolidare sunt exemple specifice), raționamentul automat (care include planificarea, programarea, reprezentarea cunoștințelor și raționamentul, căutare și optimizare) și robotică (incluzând control, percepție, senzori și actuatori, precum și integrarea tuturor celorlalte tehnici în sistemele ciberfizice). Prin urmare, este evident că domeniul AI este vast, și acesta este motivul pentru necesitatea de a extinde activitatea în contextul peisajului amenințărilor.

Având în vedere că forța motrice în ceea ce privește tehnologiile în prezent este cea a învățării automate (Machine LearningML), accentul principal aici este pe aceste tehnologii. Cu toate acestea, se iau în considerare și aspecte mai largi ale AI (de exemplu, date, infrastructură, algoritmi, platforme etc.) care sunt mult mai generice decât ML și, în acest sens, sunt reprezentative pentru ecosistemul AI mai larg.

Abordările sectoriale ale AI vor trebui dezvoltate în viitor pentru a evalua probabilitatea și impactul amenințărilor pentru aplicații specifice și pentru a identifica riscurile care sunt specifice contextului de utilizare.

Ciclul de viață

Pentru a încadra în mod corespunzător domeniul AI, este esențial să se urmeze o abordare structurată și metodică pentru a înțelege diferitele sale fațete. Din acest motiv, se poate opta pentru a obține o viziune funcțională a ciclului de viață a sistemelor AI tipice. În consecință,activele implicate (de exemplu, actori, procese, artefacte, hardware etc.), se pot constitui ca bază pentru identificarea amenințărilor (32). Trebuie să se acorde o atenție specială la protecția datelor în contextul AI, o preocupare orizontală în toate etapele ciclului de viață al AI.

Ciclul de viață al unui sistem AI include mai multe faze interdependente, de la proiectarea și dezvoltarea acestuia (inclusiv subfaze precum analiza cerințelor, colectarea datelor, instruire, testare, integrare), instalare, implementare, operare, întreținere și eliminare. Având în vedere complexitatea sistemelor AI (și în general cele de informații), se pot defini mai multe modele și metodologii pentru a gestiona această complexitate, în special în fazele de proiectare și dezvoltare, cum ar fi dezvoltare de software agilă, cascadă sau spirală, prototipare rapidă și incrementală (33). Ciclul de viață AI definește fazele pe care ar trebui să le urmeze o organizație pentru a profita de tehnicile AI și în special de modelele de învățare automată (ML) pentru a obține valoare practică de afaceri. În scopul acestui document, modelele ML sunt utilizate pentru a reprezenta o transformare matematică a datelor de intrare într-un rezultat nou, de ex. utilizați datele de intrare ale imaginii pentru a recunoaște fețele. În schimb, algoritmii sunt utilizați pentru a actualiza parametrii modelului (antrenament) sau pentru a descoperi modele și relații în datele nou furnizate și pentru a deduce rezultatul (34).

Având în vedere gama largă și complexitatea tehnicilor, tehnologiilor, algoritmilor și modelelor implicate în sistemele AI, maparea integrală a acestora într-un singur model de ciclu de viață AI nu este posibilă. Particularitățile sistemelor AI și numeroasele subdomenii ale AI (de exemplu, sisteme de raționament, robotică, AI coecționistă vs simbolică etc.) ar necesita generarea de modele de referință țintite bazate pe tehnologia utilizată. Având în vedere importanța actuală a învățării automate (ML) în utilizarea și implementarea sistemelor AI, am optat pentru a orienta modelul de referință al ciclului de viață AI către ML, pentru a-l face pe de o parte specific și detaliat și, pe de altă parte, abordăm majoritatea sistemelor AI actuale. ML a fost vârful de lance a exploziei AI în ultimii zece ani în ceea ce privește identificarea imaginilor și a vocii.

Pe baza cercetării de birou (35), a fost elaborat un model de referință generic al diferitelor componente găsite în sistemele AI comune, prezentat în Figura 1. Scopul existenței unui model de referință este de a stabili un cadru conceptual care să asigure înțelegerea comună a activelor care compun un sistem AI și relațiile lor semnificative. Acest lucru facilitează alocarea proprietarilor la diferite active pe de o parte și, pe de altă parte, oferă o modalitate sistematică și structurată de analiză a amenințărilor de securitate relevante. Cu condiția ca activele să fi fost definite, amenințările la adresa sistemelor AI pot fi mapate împotriva acestor active și, în urma acestora, pot fi furnizate măsuri de securitate direcționate către proprietarii de active corespunzători.

(Model de referință generic pentru ciclul de viață AI)

Datele sunt unul dintre cele mai valoroase active din inteligența artificială; sunt în continuă transformare de-a lungul ciclului de viață AI (36). Figura 2 ilustrează transformarea datelor de-a lungul diferitelor etape ale ciclului de viață: Ingestia datelot, Explorarea datelor, Preprocesarea datelor, Evidențierea caracteristicilor, Instruire, Testare și Evaluare. Transformarea datelor de-a lungul ciclului de viață AI implică mai multe alte tipuri de active, cum ar fi actorii implicați, resursele de calcul, software-ul etc., și chiar unele active netangibile, cum ar fi procesele, cultura și modul în care experiența și cunoștințele actorilor pot determina amenințări potențial neintenționale (de exemplu părtinire neintenționată).

(Transformarea datelor de-a lungul etapelor de dezvoltare a ciclului de viață al AI)

Diferitele etape ale ciclului de viață AI se pot descrie punând accent pe diferitele active, procese și actori implicați (37), precum și analizând transformările relevante ale datelor.

Note

(19) A se vedea https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines, aprilie 2019

(32) Aici considerăm că sursele de date pentru AI au fost protejate și sunt considerate a fi sigure. În abordarea noastră, ciclul de viață al aplicației AI este considerat un model generic pentru fundamentul identificării activelor și amenințărilor, și nu este conceput ca o declarație. Buclele de feedback prezentate nu sunt exhaustive, deoarece cazuri de utilizare diferite pot urma drumuri diferite și omite unele dintre fazele ciclului de viață generic. Hărțile mentale au fost incluse ca un prim pas către un model de referință complet.

(33) A se vedea https://ec.europa.eu/digital-single-market/en/news/assessment-list-trustworthy-artificial-intelligence-altai-self-assessment

(34) Peisajul amenințărilor presupune înțelegerea de bază a terminologiei și conceptelor AI.

(35) Inclusiv lucrările deja menționate de la EC JRC, EC AI HLEG, EDA, ETSI ISG SAI, NIST, Stiftung Neue Verantwortung, Mcrosoft (https://docs.microsoft.com/en-us/security/engineering/threat-modeling-aiml ), Berryville Institute of Machine Learning (https://berryvilleiml.com/) și BSI (https://doi.org/10.3389/fdata.2020.00023).

(36) În ceea ce privește categoriile de date și proveniența datelor, distingem între următoarele.

Date auto-raportate, furnizate voluntar de un operator „de încredere” (de exemplu, AIS pentru o navă sau ADS-B pentru o aeronavă, date cooperative și guvernamentale).
Datele observate colectate de sisteme „securizate” active sau pasive (de exemplu IDS, senzori, RFID, camere, IoT în general, radare), integritatea datelor depinde de o varietate de parametri (rezoluție, interval, reîmprospătare, latență, condiții de mediu, dimensiune, orientare, caracteristici electromagnetice).
Registre de informații și baze de date: conțin informații care leagă date (ID-uri aeronave sau nave, ID-uri umane din sistemele moștenite civile, ID-uri obiecte inteligente din industrii) cu detalii despre structura acesteora, construcție, aspect, istoric și interacțiuni, activitate, social media din sursele de internet libere și deschise (ex. Twitter, Youtube, Facebook, WhatsApp, Media, Open DB) sunt de asemenea incluse în această categorie.

(37) Modelul de referință detaliază fazele tipice, diferite ale ciclului de viață AI. O referire demnă de remarcat trebuie făcută la soluțiile automate de învățare automată (oferite de mai mulți furnizori) care cuprind marea majoritate a etapelor ciclului de viață AI pentru a facilita dezvoltatorii de produse. În ciuda numeroaselor inițiative de cercetare și comerciale pentru dezvoltarea unor mecanisme și instrumente automate eficiente de învățare automată, au fost identificate multe provocări, inclusiv probleme de transparență (funcționare în cutie neagră), reproductibilitate limitată etc.

Sursa: ENISA, AI Cybersecurity Challenges – Threat Landscape for Artificial Intelligence, December 2020. Editora: Apostolos Malatras, Georgia Dede – European Union Agency for Cybersecurity. © European Union Agency for Cybersecurity (ENISA), 2020. Traducere și adaptare independentă: Nicolae Sfetcu