Modele ale inteligenței artificiale

Selectarea/construirea modelului

Această etapă realizează selecția/construirea celui mai bun model sau algoritm AI (45) pentru analiza datelor. Este o sarcină dificilă, adesea supusă încercărilor și erorilor. Pe baza obiectivului de afaceri și a tipului de date disponibile, pot fi utilizate diferite tipuri de tehnici AI. Cele trei categorii majore identificate în mod obișnuit sunt învățarea supravegheată, învățarea nesupravegheată și modelele de învățare prin întărire. Tehnicile supravegheate tratează datele etichetate: modelul AI este folosit pentru a învăța maparea dintre exemplele de intrare și ieșirile țintă.

Modelele supravegheate pot fi proiectate ca Clasificatori, al căror scop este să prezică o etichetă de clasă, și Regresori, al căror scop este să prezică o funcție de valoare numerică a intrărilor. Aici, câțiva algoritmi obișnuiți sunt Support Vector Machines, Naïve Bayes, Hidden Markov Model, rețele bayesiene și rețele neuronale.

Tehnicile nesupravegheate folosesc date de antrenament neetichetate pentru a descrie și a extrage relații din acestea, cu scopul de a le organiza în clustere, de a evidenția asocierea dintre spațiul de intrare a datelor, de a rezuma distribuția datelor și de a reduce dimensionalitatea datelor. Învățarea prin întărire mapează situații cu acțiuni, prin învățarea comportamentelor care vor maximiza o funcție de recompensă dorită.

În timp ce tipul de date de antrenament, etichetat sau nu, este esențial pentru tipul de tehnică necesar a fi utilizat și selectat, modelele pot fi, de asemenea, construite de la zero (deși acest lucru este destul de puțin probabil), cercetătorul de date proiectând și codificând modelul, cu tehnicile inerente de inginerie software; sau construind un model prin combinarea unei compoziţii de metode (46). Este important de remarcat că selecția modelului (și anume alegerea modelului adaptat la date) poate declanșa o transformare ulterioară a datelor de intrare, deoarece diferite modele AI necesită codificări numerice diferite ale vectorilor de date de intrare.

În general, selectarea unui model include și alegerea strategiei sale de antrenament. În contextul învățării supravegheate, de exemplu, antrenamentul presupune calcularea (o funcție de învățare a) diferenței dintre rezultatul modelului atunci când primește fiecare element de date din set de antrenament D ca intrare și eticheta lui D. Acest rezultat este folosit pentru a modifica modelul pentru a reduce diferența.

Sunt disponibili mulți algoritmi de antrenament pentru minimizarea erorilor, majoritatea bazați pe coborârea gradientului. Algoritmii de antrenament au proprii lor hiperparametri, inclusiv funcția (47) care trebuie utilizată pentru a calcula eroarea modelului (de exemplu, eroarea medie pătrată) și dimensiunea lotului, adică numărul de eșantioane etichetate care urmează să fie alimentate modelului pentru a acumula o valoare a erorii la să fie utilizat pentru adaptarea modelului în sine.

Selecția modelului AI pe scurt: Alegerea tipului de model AI potrivit pentru aplicație. Codificarea vectorilor de intrare a datelor pentru a se potrivi cu formatul de intrare preferat al modelului.

Instruirea modelului

După ce am selectat un model AI, care în contextul acestui model de referință se referă în principal la un model de învățare automată (ML), începe faza de instruire a sistemului AI. În contextul învățării supravegheate, modelul ML selectat trebuie să treacă printr-o fază de antrenament, în care parametrii interni ai modelului, cum ar fi ponderile și părtinirea, sunt învățați din date. Acest lucru permite modelului să înțeleagă datele utilizate și, astfel, să devină mai capabil să le analizeze. Din nou, antrenamentul presupune calcularea (o funcție a) diferenței dintre rezultatul modelului atunci când primește fiecare element de date D al setului de antrenament ca intrare și eticheta lui D. Acest rezultat este folosit pentru a modifica modelul pentru a reduce diferența dintre rezultatul dedus și rezultatul dorit și astfel duce progresiv la rezultate mai precise, așteptate.

Faza de antrenament va alimenta modelul ML cu loturi de vectori de intrare și va folosi funcția de învățare selectată pentru a adapta parametrii interni ai modelului pe baza unei măsuri (de exemplu, pierdere liniară, pătratică, log) a diferenței dintre ieșirea modelului și etichetele. Adesea, setul de date disponibil este împărțit în această etapă într-un set de antrenament, utilizat pentru setarea parametrilor modelului, și un set de testare, în care criteriile de evaluare (de exemplu rata de eroare) sunt înregistrate doar pentru a evalua performanța modelului în afara setului de antrenament. Schemele de validare încrucișată partiționează aleatoriu de mai multe ori un set de date într-un antrenament și o porțiune de testare de dimensiuni fixe (de exemplu, 80% și 20% din datele disponibile) și apoi repetă fazele de instruire și validare pe fiecare partiție.

Instruirea modelului AI pe scurt: Aplicarea algoritmului de antrenament selectat cu parametrii corespunzători pentru a modifica modelul ales în funcție de datele de antrenament. Validarea antrenamentului modelului pe setul de testare conform unei strategii de validare încrucișată.

Ajustarea modelului

Reglajul modelului se suprapune de obicei cu antrenamentul modelului, deoarece reglarea este de obicei luată în considerare în cadrul procesului de antrenament. Am optat pentru separarea celor două etape din ciclul de viață AI pentru a evidenția diferențele în ceea ce privește operarea funcțională, deși cel mai probabil este ca în majoritatea sistemelor AI să fie ambele parte a procesului de instruire.

Anumiți parametri definesc concepte de nivel înalt despre model, cum ar fi funcția sau modalitatea lor de învățare, și nu pot fi învățați din datele de intrare. Acești parametri speciali, adesea numiți hiper-parametri, trebuie configurați manual, deși în anumite circumstanțe pot fi reglați automat prin căutarea în spațiul parametrilor modelului (48). Această căutare, numită optimizare cu hiper-parametri (49), este adesea efectuată folosind tehnici clasice de optimizare, cum ar fi căutarea în grilă, dar pot fi utilizate căutarea aleatorie și optimizarea bayesiană. Este important de remarcat faptul că etapa Ajustarea modelului folosește un set de date special (numit adesea set de validare), distinct de seturile de antrenament și test utilizate în etapele anterioare. De asemenea, poate fi luată în considerare o fază de evaluare pentru a estima limitele rezultatelor și pentru a evalua modul în care modelul s-ar comporta în condiții extreme, de exemplu, prin utilizarea seturilor de date greșite/nesigure. Este important de remarcat faptul că, în funcție de numărul de hiper-parametri care trebuie ajustați, încercarea tuturor combinațiilor posibile poate să nu fie fezabilă.

Ajustarea modelului AI pe scurt: Aplicarea adaptării modelului la hiper-parametrii modelului AI antrenat folosind un set de date de validare, în funcție de condiția de implementare.

Învățarea prin transfer

În această fază, organizația utilizatorului se aprovizionează cu un model AI pre-antrenat și pre-ajustat și îl folosește ca punct de plecare pentru formarea ulterioară pentru a obține o convergență mai rapidă și mai bună. Acesta este de obicei cazul când sunt disponibile puține date pentru antrenament. Trebuie remarcat faptul că toți pașii descriși mai sus (reglare, testare etc.) se aplică și pentru învățarea prin transfer. Mai mult, deoarece în multe cazuri învățarea prin transfer este aplicată, se poate considera învățarea prin transfer ca parte a fazei de antrenament a modelului, având în vedere că învățarea prin transfer servește de obicei ca punct de plecare al algoritmului de antrenament. Pentru a asigura un domeniu mai larg, distingem învățarea prin transfer într-o fază distinctă din ciclul de viață AI prezentat aici.

Învățarea prin transfer pe scurt: Obținerea unui model AI pregătit în prealabil în același domeniu de aplicație și aplicarea instruirii suplimentare, după cum este necesar, pentru îmbunătățirea acurateții în producție.

Implementarea modelului

Un model de învățare automată va aduce cunoaștere unei organizații numai atunci când predicțiile sale devin disponibile pentru utilizatorii finali. Implementarea este procesul de preluare a unui model instruit și de punere la dispoziție utilizatorilor.

Implementarea modelului pe scurt: Generarea unei încadrări în producție a modelului ca software, firmware sau hardware. Implementarea încadrării modelului în edge sau cloud, conectând fluxurile de date din producție.

Întreținerea modelului

După implementare, modelele AI trebuie monitorizate și menținute în mod continuu pentru a gestiona schimbările de concept și potențialele devieri de concept care pot apărea în timpul funcționării lor. O schimbare de concept are loc atunci când semnificația unei intrări în model (sau a unei etichete de ieșire) se schimbă, de ex. din cauza reglementărilor modificate. O deviere a conceptului apare atunci când schimbarea nu este drastică, ci apare încet. Deriva se datorează adesea încrustării senzorului, adică evoluției lente în timp a rezoluției senzorului (cea mai mică diferență detectabilă între două valori) sau a intervalului general de reprezentare. O strategie populară pentru a gestiona întreținerea modelului este reînvățarea bazată pe ferestre, care se bazează pe puncte de date recente pentru a construi un model ML. O altă tehnică utilă pentru întreținerea modelului AI este testarea înapoi. În cele mai multe cazuri, organizația utilizatoruluir știe ce s-a întâmplat după adoptarea modelului AI și poate compara predicția modelului cu realitatea. Acest lucru evidențiază schimbările de concept: dacă un concept de bază se schimbă, organizațiile văd o scădere a performanței. O altă modalitate de a detecta aceste devieri de concept poate determina caracterizarea statistică a setului de date de intrare utilizat pentru antrenamentul modelului AI, astfel încât să fie posibil să se compare acest set de date de antrenament cu datele de intrare curente în ceea ce privește proprietățile statistice. Diferențele semnificative între seturile de date pot indica prezența unor potențiale deviații de concept care pot necesita efectuarea unui proces de reînvățare, chiar înainte ca rezultatul sistemului să fie afectat semnificativ. În acest fel, procesele de recalificare/reînvățare, care pot fi consumatoare de timp și resurse, pot fi efectuate numai atunci când este necesar și nu periodic, ca în strategiile de reînvățare bazate pe ferestre menționate mai sus. Întreținerea modelului reflectă, de asemenea, nevoia de a monitoriza obiectivele și activele de afaceri care ar putea evolua în timp și, în consecință, să influențeze modelul în sine.

Întreținerea modelului pe scurt: Monitorizarea rezultatelor inferenței ML ale modelului AI implementat, precum și datele de intrare primite de model, pentru a detecta posibile modificări sau derive ale conceptului. Reantrenarea modelului atunci când este necesar.

Înțelegerea afacerii

Construirea unui model AI este adesea costisitoare și întotdeauna necesită timp. Prezintă mai multe riscuri de afaceri, inclusiv nerespectarea unui impact semnificativ asupra organizației utilizatorului, precum și lipsa termenelor limită în producție după finalizare. Înțelegerea afacerii este etapa în care companiile care implementează modele AI obțin o perspectivă asupra impactului AI asupra afacerii lor și încearcă să maximizeze probabilitatea de succes.

Înțelegerea afacerii pe scurt: Evaluarea propunerilor de valoare a modelului AI implementat. Estimarea (înainte de implementare) și verificarea (după implementare) a impactului său asupra afacerii.

Note

(45) Stuart J. Russell și Peter Norvig, „Artificial Intelligence: A Modern Approach”, Prentice Hall Press. ISBN:978-0-13-604259-4

(46) Prin combinare de metode ne referim la ansamblu de modele care constă în combinarea rezultatelor mai multor modele pentru a profita de avantajele diferitelor abordări, cu prețul unei complexități mai mari.

(47) În învățarea profundă, unde sunt concepute funcții de pierdere posibil extrem de complexe și sunt un element cheie al procesului de formare.

(48) Reglarea hiper-paratametrelor este adesea o sarcină dificilă, având în vedere că spațiul hiper-parametrilor este de obicei imens, iar procesul necesită o cantitate mare de timp și resurse de calcul. Mai mult, trebuie remarcat faptul că acest tip de reglare necesită o reinstruire frecventă a modelului.

(49) Trebuie remarcat faptul că acest proces este foarte costisitor din punct de vedere computațional și tinde să fie limitat, în special în aplicațiile de învățare profundă, unde antrenamentul poate dura zile sau săptămâni.

Sursa: ENISA, AI Cybersecurity Challenges – Threat Landscape for Artificial Intelligence, December 2020. Editora: Apostolos Malatras, Georgia Dede – European Union Agency for Cybersecurity. © European Union Agency for Cybersecurity (ENISA), 2020. Traducere și adaptare independentă: Nicolae Sfetcu