Medii Big Data – Arhitectura Big Data

Termenul Big Data (17) descrie cantitatea mare de date din lumea noastră bazată pe informații. Într-un raport de cercetare din 2001 (18) și prelegeri conexe, grupul META (acum Gartner) a definit provocările și oportunitățile de creștere a datelor ca fiind tridimensionale, respectiv creșterea volumului (cantitatea de date), a vitezei (viteza de intrare și ieșire a datelor) , și a varietății (gama de tipuri și surse de date). Gartner, și apoi industria, au folosit acest model „3V” pentru a descrie Big Data: „Big data este un volum mare, o viteză mare și / sau o varietate mare de informații care necesită noi forme de procesare pentru a permite luarea de decizii îmbunătățite, descoperirea de informații și optimizarea procesului. (19) ”. În plus, unele V-uri noi au fost adăugate de unele organizații pentru a defini în continuare Big Data:„ Veracitatea ”(autenticitatea datelor, deoarece calitatea datelor capturate poate varia foarte mult și o analiză precisă depinde de veridicitatea sursei date), „Variabilitatea” (semnificația datelor se schimbă adesea, iar datele pot prezenta uneori inconsecvență, ceea ce poate împiedica procesul de manipulare și gestionare eficientă a datelor) și „Valoarea” (venitul potențial al Big Data). Acest fiind un domeniu în curs de dezvoltare, au fost propuse mai multe alte alternative sau definiții complementare, într-un efort de a surprinde diferite nuanțe atribuite Big Data; cum ar fi natura sa evolutivă: „seturi de date a căror dimensiune depășește capacitatea instrumentelor software pentru baze de date tipice de a capta, stoca, gestiona și analiza.” (sic) (20) Având în vedere că domeniul încă nu este matur, luăm în considerare diferitele moduri de definire a Big Data.

Deși există o mare oportunitate științifică cu Big Data, această creștere depășește progresele tehnologice în puterea de calcul, stocare, analiză și analitice. În plus, apare o adevărată îngrijorare cu privire la securitatea acestei cantități masive de informații digitale, problemele legate de protecția datelor și de confidențialitate (4,21) și protecția infrastructurii (critice) care o susține (22).

Arhitectura Big Data

Arhitectura în Error! Reference source not found. este un model conceptual la nivel înalt care facilitează discutarea cerințelor de securitate în Big Data și introduce terminologia utilizată aici. Nu reprezintă arhitectura de sistem a unui sistem Big Data specific și nici nu este legată de produse, servicii sau implementări de referință specifice ale furnizorilor, ci mai degrabă este un instrument pentru descrierea unor componente Big Data comune; adică mediul Big Data. În viziunea de aici, noțiunea de arhitectură Big Data poate fi detaliată în cinci straturi: „Surse de date”, „Proces de integrare”, „Stocare de date”, „Modele de analiză și calcul”, „Prezentare”.

(Arhitectura stratificată a sistemelor Big Data)

Funcția fiecărui strat este următoarea:

Stratul „Surse de date” constă din surse de date disparate, variind de la transmiterea de senzori de date, la informații structurate, cum ar fi baze de date relaționale, și la orice fel de date nestructurate și semi-structurate.

Stratul „Proces de integrare” se referă la achiziționarea de date și integrarea seturilor de date într-o formă unificată cu operațiunile necesare de pre-procesare a datelor.

Stratul „Stocare de date” constă dintr-un grup de resurse, cum ar fi sisteme de fișiere distribuite, stocări RDF, baze de date NoSQL și NewSQL, care sunt potrivite pentru stocarea persistentă a unui număr mare de seturi de date.

Stratul „Modele de analiză și calcul” încapsulează diverse instrumente de date, cum ar fi Map Reduce, care rulează peste resurse de stocare și includ modelul de gestionare și programare a datelor (23).

Stratul „Prezentare” permite tehnologiile de vizualizare.

Cloud computing poate fi implementat ca strat de infrastructură pentru sistemele Big Data pentru a îndeplini anumite cerințe de infrastructură, cum ar fi rentabilitatea, elasticitatea și capacitatea de a mări sau micșora (24).

Note

(4) https://www.enisa.europa.eu/activities/identity-and-trust/library/deliverables/big-data-protection/at_download/fullReport, accesat în decembrie 2015.

(17) O scurtă istorie a acestui termen poate fi găsită în “A Very Short History of Big Data”. Primul articol din biblioteca digitală ACM care a folosit termenul „Big Data” a fost “Application-controlled demand paging for out-of-core visualization”, scris de Michael Cox și David Ellsworth și publicat în Proceedings of the IEEE 8th conference on Visualization (1997).

(18) Laney, Douglas. „3D Data Management: Controlling Data Volume, Velocity and Variety” (PDF). Gartner. Issued: 6 February 2001.

(19) A se vedea glosarul Gartner IT accesat în decembrie 2015.

(20) J. Manyika “Big data: The Next Frontier for Innovation, Competition, and Productivity”. McKinsey Global Institute, pp. 1-137 (2011)

(21) Un sondaj al Comisiei Europene a constatat recent că protecția datelor rămâne o preocupare majoră pentru cetățenii UE (iulie 2015), accesat în decembrie 2015.

(22) https://www.enisa.europa.eu/activities/Resilience-and-CIIP/cloud-computing/big-data-security, accesat în ianuarie 2016.

(23) Map Reduce este un cadru de programare care a obținut un mare succes în procesarea sarcinilor de agregare de grup. Hadoop este un instrument open source care implementează cadrul Map Reduce. Hadoop integrează stocarea datelor, procesarea datelor, gestionarea sistemului și alte module pentru a forma o soluție la nivel de sistem, care devine pilonul în gestionarea provocărilor Big Data, accesat în decembrie 2015.

(24) Hu, H. (School of Computing, National University of Singapore), Wen, Y., Chua, T.-S. & Li, X. “Toward Scalable Systems for Big Data Analytics: A Technology Tutorial”. IEEE Access 2, 652–687 (2014).

Sursa: European Union Agency For Network And Information Security: Ernesto Damiani, Claudio Agostino Ardagna, Francesco Zavatarelli, Evangelos Rekleitis, Louis Marinos (2016). Big Data Threat Landscape and Good Practice Guide. © European Union Agency for Network and Information Security (ENISA). Traducere și adaptare independentă: Nicolae Sfetcu

© MultiMedia Publishing, Big Data – Ghid practic, Volumul 1