Confinarea inteligenței artificiale (Controlul capabilității IA)

În domeniul proiectării inteligenței artificiale (IA), propunerile de control al capabilității IA, denumite și în mod mai restrictiv confinarea IA, urmăresc să sporească posibilitatea de a monitoriza și controla comportamentul sistemelor IA, inclusiv inteligența generală artificială (AGI) propusă. pentru a reduce pericolul pe care l-ar putea prezenta dacă sunt nealiniate (duc la consecințe neintenționate de proiectant). Cu toate acestea, controlul capacității devine mai puțin eficient pe măsură ce agenții devin mai inteligenți și capacitatea lor de a exploata defectele sistemelor de control uman crește, ceea ce poate duce la un risc existențial în cazul AGI. Prin urmare, filozoful de la Oxford Nick Bostrom și alții recomandă metodele de control al capacității doar ca supliment la metodele de aliniere.

Motivația

Unele tehnologii de inteligență ipotetice, cum ar fi „reproducerea IA”, se presupune că au potențialul de a ajunge mai rapide și mai inteligente, modificându-și codul sursă. Aceste îmbunătățiri ar face posibile îmbunătățiri suplimentare, care, la rândul lor, ar face posibile îmbunătățiri iterative și așa mai departe, conducând la o explozie bruscă a informațiilor. Ulterior, o IA superinteligentă nerestricționată ar putea, dacă obiectivele sale ar fi diferite de cele ale umanității, să întreprindă acțiuni care au ca rezultat dispariția umană. De exemplu, un computer extrem de avansat de acest fel, având în vedere unicul scop de a rezolva ipoteza Riemann, o presupunere matematică inofensivă, ar putea decide să încerce să transforme planeta într-un supercalculator gigant al cărui singur scop este să facă calcule matematice suplimentare.

O provocare puternică pentru control este că rețelele neuronale sunt implicit foarte neinterpretabile. Acest lucru face mai dificilă detectarea înșelăciunii sau a altor comportamente nedorite. Progresele în inteligența artificială interpretabilă ar putea fi utile pentru a atenua această dificultate.

Întreruptibilitatea și oprire

O modalitate potențială de a preveni rezultatele dăunătoare este de a oferi supraveghetorilor umani capacitatea de a opri cu ușurință o IA care se comportă defectuos printr-un „comutator de oprire”. Cu toate acestea, pentru a-și atinge obiectivul atribuit, astfel de IA vor avea un stimulent să dezactiveze orice comutatoare de oprire sau să ruleze copii ale lor pe alte computere. Această problemă a fost oficializată ca un joc de asistență între un om și un IA, în care IA-ul poate alege dacă își dezactivează comutatorul de oprire; și apoi, dacă comutatorul este încă activat, omul poate alege dacă îl apasă sau nu. O abordare standard a unor astfel de jocuri de asistență este de a se asigura că IA interpretează alegerile umane ca informații importante despre obiectivele propuse.

În mod alternativ, Laurent Orseau și Stuart Armstrong au demonstrat că o clasă largă de agenți, numiți agenți întrerupțibili în siguranță, pot învăța să devină indiferenți dacă comutatorul lor este apăsat. Această abordare are limitarea că un IA care este complet indiferent dacă este închis sau nu este, de asemenea, nemotivat să-i pese dacă întrerupătorul de oprire rămâne funcțional și ar putea să îl dezactiveze accidental și nevinovat în timpul operațiunilor sale (de exemplu , în scopul îndepărtării și reciclării unei componente inutile). Mai exact, agenții indiferenți se vor comporta ca și cum comutatorul de oprire nu ar putea fi niciodată apăsat și, prin urmare, ar putea eșua în a face planuri de urgență pentru a aranja o oprire fără probleme.

Oracol

Un oracol este o IA ipotetică concepută pentru a răspunde la întrebări și împiedicată să obțină orice obiective sau sub-obiective care implică modificarea lumii dincolo de mediul ei limitat. Un oracol controlat cu succes ar avea beneficii imediate considerabil mai puține decât o superinteligență generală controlată cu succes, deși un oracol ar putea încă crea o valoare de trilioane de dolari. În cartea sa Human Compatible, cercetătorul IA Stuart J. Russell afirmă că un oracol ar fi răspunsul său la un scenariu în care se știe că suprainteligența se află la doar un deceniu distanță. Raționamentul lui este că un oracol, fiind mai simplu decât o superinteligență cu scop general, ar avea șanse mai mari de a fi controlat cu succes sub astfel de constrângeri.

Din cauza impactului său limitat asupra lumii, poate fi înțelept să construim un oracol ca precursor al unei IA superinteligente. Oracolul le-ar putea spune oamenilor cum să construiască cu succes o IA puternică și poate oferi răspunsuri la probleme morale și filozofice dificile necesare succesului proiectului. Cu toate acestea, oracolele pot împărtăși multe dintre problemele de definire a obiectivelor asociate cu superinteligența cu scop general. Un oracol ar avea un stimulent să scape din mediul său controlat, astfel încât să poată dobândi mai multe resurse de calcul și, eventual, să controleze ce întrebări i se pun. Oracolele ar putea să nu fie sincere, posibil să mintă pentru a promova agende ascunse. Pentru a atenua acest lucru, Bostrom sugerează să construiască mai multe oracole, toate ușor diferite, și să le compare răspunsurile pentru a ajunge la un consens.

Orbire

O IA ar putea fi orbită la anumite variabile din mediul său. Aceasta ar putea oferi anumite beneficii de siguranță, cum ar fi un IA care nu știe cum este generată o recompensă, ceea ce o face mai dificil de exploatat.

(Include texte traduse și adaptate din Wikipedia de Nicolae Sfetcu)