Go to English translation

Introduzione alle Tecnologie Big Data – “Big data è come il sesso adolescenziale: tutti ne parlano, nessuno sa davvero come farlo, tutti pensano che gli altri lo stiano facendo, quindi ognuno afferma di farlo…” (Peter Sondergaard, Ex Vicepresidente Senior della Ricerca Gartner)

Se consideriamo l’ultimo decennio di evoluzione in ambito IT, i Big Data rappresentano sicuramente una pietra miliare che ha rivoluzionato il modo in cui le organizzazioni raccolgono, archiviano, elaborano e traggono valore dai dati.

Definizione e Caratteristiche dei Big Data

I Big Data rappresentano un concetto in costante evoluzione, caratterizzato da cinque principi fondamentali noti come “Le 5 V“: Volume, Velocità, Varietà, Veridicità e Valore.

Cosa identificano questi principi?

• Volume: I Big Data sono, per definizione, noti per le loro vaste dimensioni. Queste enormi quantità di dati possono derivare da una vasta gamma di fonti, come sensori che monitorano l’ambiente, interazioni su social media, registrazioni di transazioni aziendali e molto altro. Il volume di dati spesso supera di gran lunga, ormai, la capacità dei tradizionali database relazionali, sfidando le capacità prestazionali l’infrastruttura e le strategie di gestione dati.
• Velocità: La velocità con cui i dati vengono generati è sempre più elevata: spesso, i Big Data richiedono elaborazioni in tempo reale o quasi reale (real time/near real time) per mantenere la loro rilevanza. Questo significa che l’acquisizione, l’elaborazione e l’analisi dei dati devono essere effettuate in modo ancora più rapido ed efficiente.
• Varietà: I Big Data non si limitano a numeri o testo strutturato. Questa caratteristica è una delle discriminanti fondamentali: i dati possono essere strutturati, semi-strutturati o completamente non strutturati. Questa diversità di formati è uno dei principali tratti distintivi dei Big Data: possono comprendere testi, immagini, audio, video, dati da reti sociali, e molti altri tipi di informazioni
• Veridicità: L’accuratezza e l’affidabilità dei dati sono imperativi. La veridicità si riferisce alla certezza che i dati siano corretti e rappresentino in modo accurato la realtà. L’uso di dati non veritieri o troppo datati può portare a decisioni errate e analisi fuorvianti. Pertanto, garantire la qualità e l’integrità dei dati è un aspetto cruciale nella gestione dei Big Data.
• Valore: La raccolta e l’analisi dei Big Data mirano a creare valore, sia per le organizzazioni che per la società nel suo complesso. Il valore dei dati risiede nella capacità di estrarre informazioni utili, prendere decisioni informate e ottenere vantaggi competitivi. I Big Data offrono opportunità di creare valore in vari settori: dall’ottimizzazione operativa all’innovazione dei prodotti e servizi, fino alla risoluzione di problemi complessi su scala globale.

Storia ed evoluzione dei Big Data

L’evoluzione dei Big Data è stata plasmata da una combinazione di innovazione tecnologica e dalla crescente centralità dei dati nella società moderna. Questo viaggio attraverso le decadi ci porterà a comprendere meglio come siamo giunti all’attuale epoca dei Big Data.

Anni ’60 – Dati per il Programma Apollo:

Negli anni ’60, la NASA si trovò di fronte a una delle sfide più straordinarie della storia umana: portare l’uomo sulla Luna nel programma Apollo. Questa impresa richiese una gestione meticolosa dei dati, compresi i calcoli delle traiettorie delle navicelle spaziali e i dati biometrici degli astronauti. Nonostante la quantità di dati fosse relativamente modesta rispetto agli standard odierni, questo rappresentò uno dei primi esempi di gestione avanzata dei dati.

Oltre ai dati di traiettoria e biometrici, il programma Apollo generò una ricca quantità di dati scientifici, tra cui immagini e dati atmosferici. Questi dati contribuirono in modo significativo alla nostra comprensione del sistema solare e al miglioramento delle tecnologie spaziali.

Il volume dei dati gestiti in questa fase, misurato in byte, era limitato ma cruciale per la riuscita della missione. Le tipologie di dati includevano non solo informazioni di navigazione, ma anche dati scientifici fondamentali che hanno influenzato il nostro sapere sulla Luna e oltre.

Anni ’70 – Nascita dei Database Relazionali:

Negli anni ’70, Edgar F. Codd sviluppò il modello di database relazionale, un passo fondamentale verso la gestione strutturata dei dati. Questo modello si basa sul concetto di relazioni tra tabelle di dati, consentendo la gestione efficiente e coerente di grandi quantità di informazioni. In questo periodo, il volume di dati in gioco aumentò leggermente (da Byte a KiloByte ~10^3 Byte), ma la strutturazione dei database preparò il terreno per una gestione più complessa dei dati aziendali.

Anni ’90 – Crescita dei Dati Aziendali:

Gli anni ’90 videro le aziende iniziare a raccogliere enormi quantità di dati aziendali (da KiloByte a MegaByte/ 1MB= 10^6 Byte), sebbene la gestione fosse principalmente limitata a database relazionali. La crescita era costante ma ancora lontana dalla sfida rappresentata dai Big Data contemporanei. Questo incremento dei dati aziendali fu guidato dalla digitalizzazione dei processi aziendali, dall’emergere di nuovi canali di vendita e dall’adozione crescente di tecnologie come i sistemi di gestione dei rapporti con i clienti (CRM).

Il volume di dati aziendali cresceva, misurato in Gigabyte e Terabyte (Da Megabyte a Gigabyte a Terabyte / 1GB ~10^9 Byte /1TB ~ 10^12 Byte), sottolineando la necessità di affrontare le sfide emergenti nella gestione di dati di dimensioni sempre più considerevoli e complessi.

Anni 2000 – Nascita del Termine “Big Data”:

Il termine “Big Data” fu coniato nel 1999 da Doug Laney, analista di IDC. Laney definì i Big Data come dati caratterizzati da “volume, velocità e variabilità”. Questa nuova nomenclatura fu necessaria a causa della crescente difficoltà di gestire quantità di dati in costante crescita, spesso non strutturati o semi-strutturati. Emergono tecnologie come Hadoop e MapReduce per affrontare questa sfida in rapida evoluzione.

Il volume dei dati, misurato ora in terabyte e petabyte (da TeraByte a PetaByte/ 1PB= 10^15 Byte), testimoniava l’espansione vertiginosa del panorama dei dati, spingendo le organizzazioni a cercare soluzioni innovative per l’analisi e la gestione.

Anni 2010 – Crescita Esplosiva dei Dati:

Nel decennio successivo, assistiamo ad una crescita esplosiva dei dati, guidata dalla diffusione di Internet, dall’espansione dell’Internet delle cose (IoT) e dalla digitalizzazione dei processi aziendali. Le interazioni online, che spaziavano dai social media alle transazioni online, generarono quantità imponenti di dati.
Il volume dei dati raggiunse dimensioni ExaByte (da PetaByte a ExaByte/ 1EB= 10^18 Byte), con una varietà di tipologie che spaziava da dati strutturati a quelli non strutturati. La gestione dei Big Data divenne una sfida cruciale, richiedendo nuove strategie e tecnologie per estrarre valore da questo vasto oceano di informazioni.

Oggi – Big Data e Machine Learning:

Attualmente, il concetto di Big Data è onnipresente: i dati sono diventati la risorsa più preziosa per molte organizzazioni. L’evoluzione dei Big Data ha portato all’adozione diffusa di tecnologie come il machine learning e l’analisi dei dati in tempo reale. Queste tecnologie hanno rivoluzionato settori come l’analisi predittiva, la personalizzazione dei servizi, la sicurezza informatica e molto altro.

Il volume dei dati, misurato in zettabyte (da ExaByte a ZettaByte/ 1ZB= 10^21 Byte), sottolinea la necessità di affrontare la complessità di gestire e analizzare dati di dimensioni mastodontiche.

Il machine learning, una branca dell’intelligenza artificiale, è diventato fondamentale per l’analisi dei Big Data, consentendo di identificare modelli e tendenze nei dati che sarebbero altrimenti impossibili da rilevare. Il mondo dei Big Data è in continua evoluzione, e le tecnologie emergenti continuano a ridefinire come acquisiamo, gestiamo ed estraiamo valore dai dati.

Importanza dei Big Data nell’industria e nella società

L’importanza dei Big Data è profondamente radicata in una vasta gamma di settori e ha un impatto trasversale sia a livello aziendale che sociale. Attraverso questa sezione, esploreremo l’ampio impatto dei Big Data, rivelando come abbiano rivoluzionato l’ambiente aziendale e la società nel suo complesso.

L’Impatto Aziendale dei Big Data:

I Big Data sono diventati un alleato fondamentale per le aziende. Le organizzazioni che abbracciano questa risorsa preziosa possono cogliere numerosi vantaggi, tra cui:

• Comprendere a Fondo i Clienti: Grazie all’analisi dei Big Data, le aziende possono ottenere una visione più profonda dei loro clienti. Oltre a comprendere le preferenze dei consumatori, possono anticipare esigenze e desideri, permettendo la personalizzazione avanzata di servizi e prodotti. L’era dell’esperienza personalizzata si fonda sull’approfondita comprensione dei dati generati dagli utenti.
• Ottimizzazione Operativa: L’analisi dei dati non solo consente alle aziende di ottimizzare le proprie operazioni, ma rappresenta il cuore pulsante dell’efficienza aziendale. Dalla catena di approvvigionamento alla gestione dell’inventario e alla pianificazione della produzione, i Big Data guidano l’ottimizzazione, creando un ambiente operativo agile e competitivo.
• Tendenze di Mercato: La rilevazione in tempo reale delle tendenze di mercato attraverso i Big Data consente alle aziende di adattarsi con celerità alle oscillazioni del mercato. L’anticipazione delle esigenze dei consumatori diventa una realtà, garantendo alle imprese la capacità di rimanere rilevanti e competitive in un ambiente in continua evoluzione.
• Decisioni Basate sui Dati: L’era delle decisioni basate sull’esperienza e sull’intuizione è superata dai Big Data. L’analisi avanzata fornisce un robusto supporto per le decisioni strategiche, riducendo i rischi e aumentando le prospettive di successo aziendale. L’approccio empirico alla pianificazione e all’esecuzione delle strategie è fondamentale per affrontare le sfide di un mondo sempre più complesso.

L’Impatto Sociale dei Big Data:

L’importanza dei Big Data si estende ben oltre il mero contesto aziendale, contribuendo in modo significativo a risolvere sfide sociali e a migliorare la qualità della vita.

La loro continua evoluzione promette ulteriori progressi e innovazioni, modellando il futuro delle imprese e della società:

• Affrontare Sfide Globali: I Big Data sono impiegati per affrontare sfide globali come il cambiamento climatico. L’analisi dei dati può contribuire a prevedere e mitigare i cambiamenti climatici, migliorare l’efficienza energetica e sostenere lo sviluppo sostenibile.
• Migliorare la Salute Pubblica: L’analisi avanzata dei Big Data è essenziale per la prevenzione e la gestione delle epidemie. L’identificazione precoce dei focolai e la tracciabilità dei contagi sono solo alcune delle applicazioni che dimostrano il valore dei Big Data nella gestione della salute pubblica. La capacità di reagire tempestivamente a minacce alla salute pubblica è potenziata dalla raccolta e dall’analisi intelligente dei dati.
• Sicurezza Informatica: Nell’era digitale, la sicurezza informatica è un elemento critico. I Big Data giocano un ruolo chiave nella rilevazione delle minacce cibernetiche e nella protezione dei dati sensibili. L’analisi costante dei modelli anomali consente di prevenire attacchi e di garantire la sicurezza dei dati in un contesto sempre più interconnesso.

Pubblicazione di: Fabrizio Zuccari ICT MANAGER – HEAD OF GLOBAL COMPETENCY CENTRE/VP

Read in English

Introduction to Big Data Technologies

“Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it…” (Peter Sondergaard, Former Senior Vice President of Gartner Research)

If we consider the last decade of evolution in the IT field, Big Data certainly represents a milestone that has revolutionized the way organizations collect, store, process, and derive value from data.

Definition and Characteristics of Big Data

Big Data represents a concept in constant evolution, characterized by five fundamental principles known as “The 5 V’s”: Volume, Velocity, Variety, Veracity, and Value.

What do these principles identify?

Volume: Big Data is, by definition, known for its vast dimensions. These enormous quantities of data can come from a wide range of sources, such as sensors monitoring the environment, interactions on social media, records of business transactions, and much more. The volume of data often far exceeds the capacity of traditional relational databases, challenging infrastructure performance capabilities and data management strategies.

• Velocity: The speed at which data is generated is ever-increasing: often, Big Data requires real-time or near-real-time processing to maintain its relevance. This means that data acquisition, processing, and analysis must be done even more rapidly and efficiently.
• Variety: Big Data is not limited to numbers or structured text. This characteristic is one of the fundamental distinguishing features: data can be structured, semi-structured, or completely unstructured. This diversity of formats is one of the main distinctive traits of Big Data: it can include text, images, audio, video, social network data, and many other types of information.
• Veracity: The accuracy and reliability of data are imperative. Veracity refers to the certainty that data is correct and accurately represents reality. The use of unreliable or outdated data can lead to incorrect decisions and misleading analyses. Therefore, ensuring the quality and integrity of data is a crucial aspect in Big Data management.
• Value: The collection and analysis of Big Data aim to create value, both for organizations and for society as a whole. The value of data lies in the ability to extract useful information, make informed decisions, and gain competitive advantages. Big Data offers opportunities to create value in various sectors: from operational optimization to innovation of products and services, to solving complex global problems.

History and Evolution of Big Data

The evolution of Big Data has been shaped by a combination of technological innovation and the increasing centrality of data in modern society. This journey through the decades will help us better understand how we have arrived at the current era of Big Data.

1960s – Data for the Apollo Program:

In the 1960s, NASA faced one of the most extraordinary challenges in human history: to land a man on the Moon in the Apollo program. This endeavor required meticulous data management, including calculations of spacecraft trajectories and astronauts’ biometric data. Despite the quantity of data being relatively modest compared to today’s standards, this represented one of the earliest examples of advanced data management.

In addition to trajectory and biometric data, the Apollo program generated a rich quantity of scientific data, including images and atmospheric data. These data significantly contributed to our understanding of the solar system and the improvement of space technologies.

The volume of data managed in this phase, measured in bytes, was limited but crucial for the success of the mission. The types of data included not only navigation information but also fundamental scientific data that influenced our knowledge of the Moon and beyond.

1970s – Birth of Relational Databases:

In the 1970s, Edgar F. Codd developed the relational database model, a fundamental step towards structured data management. This model is based on the concept of relationships between data tables, enabling efficient and consistent management of large amounts of information. During this period, the volume of data at play increased slightly (from Byte to Kilobyte ~10^3 Byte), but the structuring of databases laid the groundwork for more complex management of business data.

1990s – Growth of Business Data:

The 1990s saw companies beginning to collect huge amounts of business data (from Kilobyte to Megabyte/ 1MB= 10^6 Byte), although management was mainly limited to relational databases. The growth was steady but still far from the challenge posed by contemporary Big Data. This increase in business data was driven by the digitization of business processes, the emergence of new sales channels, and the increasing adoption of technologies such as customer relationship management (CRM) systems.

The volume of business data was growing, measured in Gigabytes and Terabytes (From Megabyte to Gigabyte to Terabyte / 1GB ~10^9 Byte /1TB ~ 10^12 Byte), highlighting the need to address emerging challenges in managing increasingly large and complex data.

2000s – Birth of the Term “Big Data”:

The term “Big Data” was coined in 1999 by Doug Laney, an IDC analyst. Laney defined Big Data as data characterized by “volume, velocity, and variety.” This new nomenclature was necessary due to the increasing difficulty of managing constantly growing amounts of data, often unstructured or semi-structured. Technologies such as Hadoop and MapReduce emerged to address this rapidly evolving challenge.

The volume of data, now measured in terabytes and petabytes (from Terabyte to Petabyte/ 1PB= 10^15 Byte), testified to the dizzying expansion of the data landscape, prompting organizations to seek innovative solutions for analysis and management.

2010s – Explosive Data Growth:

2010s – Explosive Data Growth: In the following decade, we witnessed explosive data growth driven by the proliferation of the Internet, the expansion of the Internet of Things (IoT), and the digitalization of business processes. Online interactions, ranging from social media to online transactions, generated massive amounts of data. The volume of data reached Exabyte dimensions (from Petabyte to Exabyte/ 1EB= 10^18 Byte), with a variety of types ranging from structured to unstructured data. Managing Big Data became a crucial challenge, requiring new strategies and technologies to extract value from this vast ocean of information.

Today – Big Data and Machine Learning:

Currently, the concept of Big Data is ubiquitous: data has become the most valuable resource for many organizations. The evolution of Big Data has led to widespread adoption of technologies such as machine learning and real-time data analysis. These technologies have revolutionized sectors such as predictive analytics, service personalization, cybersecurity, and much more. The volume of data, measured in zettabytes (from Exabyte to Zettabyte/ 1ZB= 10^21 Byte), underscores the need to address the complexity of managing and analyzing mammoth-sized data. Machine learning, a branch of artificial intelligence, has become essential for Big Data analysis, enabling the identification of patterns and trends in data that would otherwise be impossible to detect. The world of Big Data is constantly evolving, and emerging technologies continue to redefine how we acquire, manage, and extract value from data.

Importance of Big Data in Industry and Society:

The importance of Big Data is deeply rooted in a wide range of sectors and has a cross-cutting impact at both the corporate and social levels. Through this section, we will explore the broad impact of Big Data, revealing how it has revolutionized the business environment and society as a whole.

The Business Impact of Big Data:

Big Data has become a fundamental ally for businesses. Organizations that embrace this valuable resource can reap numerous benefits, including:

• Deep Understanding of Customers: Through Big Data analysis, companies can gain a deeper understanding of their customers. In addition to understanding consumer preferences, they can anticipate needs and desires, enabling advanced customization of services and products. The era of personalized experience is based on the in-depth understanding of user-generated data.
• Operational Optimization: Data analysis not only allows companies to optimize their operations but also represents the beating heart of business efficiency. From supply chain to inventory management and production planning, Big Data drives optimization, creating an agile and competitive operational environment.
• Market Trends: Real-time detection of market trends through Big Data enables companies to adapt quickly to market fluctuations. Anticipating consumer needs becomes a reality, ensuring companies the ability to remain relevant and competitive in an ever-evolving environment.
• Data-Driven Decisions: The era of decisions based on experience and intuition is surpassed by Big Data. Advanced analysis provides robust support for strategic decisions, reducing risks and increasing prospects for business success. The empirical approach to planning and executing strategies is essential for addressing the challenges of an increasingly complex world.

The Social Impact of Big Data:

The importance of Big Data extends far beyond the mere business context, significantly contributing to addressing social challenges and improving quality of life. Its ongoing evolution promises further progress and innovations, shaping the future of businesses and society:

• Addressing Global Challenges: Big Data is employed to tackle global challenges such as climate change. Data analysis can contribute to predicting and mitigating climate change, improving energy efficiency, and supporting sustainable development.
• Improving Public Health: Advanced Big Data analysis is essential for the prevention and management of epidemics. Early identification of outbreaks and tracing of contagion are just some of the applications that demonstrate the value of Big Data in managing public health. The ability to respond promptly to public health threats is enhanced by the collection and intelligent analysis of data.
• Cybersecurity: In the digital age, cybersecurity is a critical element. Big Data plays a key role in detecting cyber threats and protecting sensitive data. Constant analysis of anomalous patterns enables the prevention of attacks and ensures data security in an increasingly interconnected context.