Che cosa sono i Big Data? Cos’è la Big Data analytics?
Sono domande che oggi si sentono sempre più spesso, soprattutto in Italia, dove da poco i big data sono diventati un must per tutte le aziende italiane che puntano a trasformarsi in una data-driven company, per prendere decisioni consapevoli basate su dati pertinenti. Vediamo quindi nel dettaglio di dare una definizione e una spiegazione semplice al concetto di Big Data.
Indice degli argomenti
Cosa sono i Big Data e cos’è la Big Data analysis
I big data (grandi dati) sono una quantità crescente di informazioni che la trasformazione digitale del business sta creando e facendo circolare dentro alle aziende e fuori alle aziende. I Big Data, ad esempio, vengono dai sensori integrati in migliaia di oggetti che, collegati alla Rete, oggi chiamiamo Internet of Things; secondo il McKinsey Global Institute oggi sono già più di 30 milioni, collegati in rete e utilizzati nel settore automobilistico, industriale, nei servizi pubblici, o nella vendita al dettaglio e il numero ogni anno lievita del 30%.
Al di là dei flussi di dati prodotti dai sistemi informatici e dalle infrastrutture a supporto della produzione, della distribuzione e dell’erogazione dei servizi, i big data sono un fenomeno associato a un’evoluzione massiva degli usi e delle abitudini della gente. Ogni volta che usiamo un computer, accendiamo lo smartphone o apriamo una app sul tablet, sempre e comunque lasciamo una nostra impronta digitale fatta di dati.
Nel 2001, Doug Laney (oggi vice president and distinguished analyst del Gartner Chief Data Officer Research and Advisory Team) descrisse in un report il Modello che descrive in modo sintetico i Big Data con 3V: Volume, Velocità e Varietà. Un modello semplice per definire i nuovi dati generati dell’aumento delle fonti informative e più in generale dall’evoluzione delle tecnologie. Oggi il paradigma di Laney è stato arricchito dalle variabili di Veridicità e Variabilità e per questo si parla di 5V.
Big Data Analytics: dai browser ai social qual è il significato
I Big Data, infatti, vengono anche dalla multimedialità sempre più spinta che ha origine dal proliferare di dispositivi fissi e mobili che usiamo per vivere e per lavorare. La familiarità con il videosharing e una cultura dell’immagine che porta le persone a condividere ogni tipo di scatto fotografico aiuterà chi saprà gestire questa mole di dati a capire ancora meglio gusti e tendenze, orientando meglio le decisioni.
I Big Data vengono anche dai social media, e da tutto il traffico di informazioni che transita dai vari sistemi di CRM, dalla cassa di un supermercato che striscia una carta fedeltà a una telefonata che arriva a un call center.
A differenza di molte mode tecnologiche, infatti, i Big Data non sono un trend ma una necessità gestionale. E lo sono per qualsiasi tipo di organizzazione. Quei data set crescenti che sembrano far esplodere i database aziendali saranno le chiavi della competitività, della crescita del business e dell’innovazione. In che modo?
- aiutando a capire le reazioni dei mercati e la percezione che questi hanno dei brand
- identificando i fattori chiave che muovono le persone ad acquistare un certo servizio o un determinato prodotto
- segmentando la popolazione per personalizzare quanto più possibile le strategie d’azione
- abilitando nuove sperimentazioni consentite dalla disponibilità di dati inediti
- guadagnando in predittività, grazie a uno storico di informazioni talmente ad ampio raggio e puntuale da consentire simulazioni molto più che verosimili
- abilitando nuovi modelli di business
L’uso dei Big Data nell’emergenza Covid-19
La pandemia causata dal Covid-19 ha evidenziato l’importanza di valorizzare i dati per prendere decisioni rapidamente e garantire continuità di business nei momenti di crisi, ma ha anche obbligato molte imprese a ripensare i piani di investimento. Si è allargato così il gap tra le aziende più innovative, che hanno razionalizzato gli investimenti riuscendo a reinventare o accelerare la strategia data-driven, e quelle più conservative, che hanno interrotto o posticipato gli investimenti. Il risultato è stato un rallentamento della crescita del mercato Analytics, che nel 2020 in Italia ha raggiunto 1,815 miliardi di euro, mostrando un +6% rispetto al 2019, in frenata rispetto al +23% registrato nel 2018 e al +26% nel 2019. (Fonte: Osservatorio Big Data Analytics & Business Intelligence – Politecnico di Milano). Il business, dunque, ha rallentato ma non si è fermato soprattutto all’interno delle grandi aziende che per il 96% non ha interrotto le attività per migliorare la raccolta e valorizzazione dei dati e il 42% si è mosso, in termini di sperimentazioni e competenze, in ambito Advanced Analytics.
“La pandemia ha portato a ripensare alcune attività di analisi dei dati, ponendo maggior attenzione all’efficienza, alla presenza di competenze interne e alla governance dei dati e della Data Science. – ha spiegato Alessandro Piva, responsabile della ricerca dell’Osservatorio Big Data & Business Analytics – Il Covid è stato uno stress test: mentre le aziende più immature hanno visto una riduzione dell’interesse al tema, quelle orientate all’approccio data-driven hanno saputo reinventarsi”.
Altri trend rilevanti registrati nel primo anno di pandemia hanno riguardato l’applicazione del Machine Learning nell’intero ciclo di vita dei dati, l’industrializzazione degli Advanced Analytics e una maggiore maturità organizzativa. Sempre secondo il Polimi, ha iniziato ad affermarsi anche l’analisi in real time (fast data): significa che vengono integrate in tempo reale diverse fonti informative in streaming, soprattutto in ambito IoT: tra queste ricordiamo real-time advertising (il programmatic), fraud detection (rilevamento delle frodi), predictive maintenance (manutenzione preventiva), new product development.
Dopo i rallentamenti, riparte ora il mercato Analytics
Nel 2021 però, dopo il forte rallentamento degli investimenti in ambito gestione e analisi dei dati registrato durante la pandemia, stando agli ultimi dati rilevati dall’Osservatorio Big Data & Business Analytics, il mercato Analytics ha ripreso vigore raggiungendo un valore stimato superiore ai 2 miliardi di euro, in crescita del 13%. Quasi otto grandi aziende su dieci lavorano all’integrazione di dati provenienti da diverse fonti interne o esterne e il 54% ha avviato almeno una sperimentazione in ambito Advanced Analytics (era il 46% nel 2020).
Quali sono le tecnologie per i Big Data Analitycs?
Come per l’anno precedente, nel 2021 la crescita del mercato analytics è trainata soprattutto dalla componente software, che registra un incremento del 17% (con punte di oltre il 30% per le piattaforme di Data Governance e Data Science & AI), e dai servizi di consulenza e personalizzazione tecnologica, che crescono in doppia cifra, mentre la spesa in risorse infrastrutturali aumenta meno della media del mercato. La ripresa coinvolge tutti i settori merceologici, con investimenti in Data Management & Analytics in aumento di oltre il 10%. Assicurazioni, manifatturiero e telco & media sono i comparti che segnano la crescita più marcata. Un quinto degli investimenti in soluzioni di Analytics passa da servizi in Public & Hybrid Cloud, +21% rispetto al 2020.
Esempi e stato dell’arte dei Big Data
La maggior parte delle persone ha solo una vaga idea di quanto Google abbia una conoscenza profonda di tutto quello che cerchiamo on line, oppure di quanto Facebook conosca (di tutto e di più) su amici, sentimenti, preferenze, sogni e bisogni della sua grande community?
Anche se non glielo abbiamo mai detto, Google sa riconoscere le nostre generalità, profilandoci in base alle nostre modalità di navigazione per proporci pubblicità assolutamente mirate da rasentare la personalizzazione su misura. Per tutta quella metà del cielo che ha scelto Android, MountainView sa sempre dove siamo stati, dove abbiamo viaggiato, sostato, mangiato o pernottato.
Facebook, invece, con il suo miliardo di iscritti, sa persino quando una storia d’amore è arrivata a un punto critico. Sulla base degli aggiornamenti di stato delle bacheche (ogni minuto sono pubblicati 3,3 milioni di post), l’azienda può prevedere se un rapporto è destinato a durare, con una precisione inquietante. Per non parlare di Twitter che ogni 60 secondi movimenta 347mila tweet e che, come le altre Big Tech ha sviluppato una API (Application Program Interface) che consente a terze parti di accedere a ognuno di questi (per definizione tutti pubblici): si tratta di dati non strutturati, scandagliati da nuove tecniche di sentiment analysis che riescono a capire le emozioni contenute nelle informazioni testuali, aiutando i decisori (aziendali e politici) a capire dove va il vento dell’opinione pubblica.
Esempi nel mondo: il lato analitico delle smart city
Passando all’ordine pubblico, le smart city stanno diventando un fulgido esempio di Big Data Management e dei Big Data Analyst. Grazie ai lampioni sensorizzati, la PA riesce a gestire meglio i picchi del traffico e a monitorare l’inquinamento. La polizia può ricostruire i percorsi automobilistici sospetti analizzando le telecamere a circuito chiuso (CCTV) sempre più onnipresenti fuori dai locali e dalle banche. Per la raccolta differenziata si usano tag RFID che rendono cassonetti, mastelli e sacchetti connessi e comunicanti.
Secondo gli analisti di McKinsey, in Europa le amministrazioni pubbliche da una buona gestione dei Big Data possono ottenere risparmi nell’ordine di 100 miliardi di euro, incrementando l’efficienza operativa. Una cifra che potrebbe aumentare a dismisura se i Big Data fossero utilizzati anche per ridurre le frodi e gli errori, traguardando la trasparenza fiscale.
Esempi di Big Data in Italia: Big Data Analysis anche nel retail
Sono molte le aziende che hanno avviato una strategia data driven, come ad esempio Leroy Merlin e Cattolica Assicurazioni.
Analizzando i comportamenti di acquisto, ovvero lo scontrino, associato alla carta fedeltà e alle varie interazioni con le promozioni, gli annunci, l’e-mail marketing, le eventuali newsletter che si ricevono periodicamente e periodicamente si aprono, il retail sta approfondendo la conoscenza dei clienti. Tutto questo rappresenta una montagna di informazioni da collezionare e da analizzare per definire un’offerta sempre più a misura di cliente. Dal punto di vista dei servizi associati alla geomarketing e geolocalizzazione (beacon, NFC, app, touch point interattivi), le opportunità sono significative.
Big Data Management significa andare oltre l’elaborazione degli ordini, implementando nuovi sistemi a supporto delle campagne di marketing arrivando a gestire meglio i programmi fedeltà attraverso un monitoraggio dei feed back registrati da ogni singola promozione, lancio di prodotto, iniziativa ma anche potendo gestire le richieste di garanzia o i reclami, arrivando a raggiungere una visione a 360 gradi dei clienti, dei prodotti e di qualsiasi operazione commerciale.
Le nuove professioni dei Big Data
La questione con i Big Data non è tanto la loro quantità, quanto la capacità delle aziende di riuscire ad analizzare nel modo corretto i dati disponibili. La formula è di tipo conversazionale e si sviluppa in tre tempi: interrogazione, risposta e visione di dettaglio. Algoritmi sempre più sofisticati consentono di intercettare e interpretare ogni flusso digitale. È questo il progresso tecnologico che sta rivoluzionando i modelli di business.
Così, nel 2021 insieme ai progetti cresce anche il fabbisogno di competenze: complessivamente il numero di Data Scientist è aumentato nel 28% delle grandi imprese con il 49% delle grandi aziende ha in organico almeno un Data Scientist e il 59% almeno un Data Engineer, ma questa crescita riguarda le aziende che già avevano investito negli scorsi anni. Non aumenta in modo trasversale la diffusione di figure professionali dedicate. Inoltre, nonostante i progressi dell’ultimo anno, soltanto il 27% delle realtà può definirsi un’azienda data science driven, ovvero un’impresa con competenze diffuse e numerose sperimentazioni e progetti a regime in tutta l’organizzazione.
A tal fine, il report di McKinsey, “The age of analytics”, identifica quattro tipologie di profili che saranno sempre più richiesti dalle aziende:
- i data architect, cioè coloro che progettano i sistemi di dati e i relativi workflow
- i data engineer, in grado di identificare le soluzioni basate sui dati e di sviluppare prodotti di scouting e di analisi mirati
- i data scientist, che analizzano i dati grazie ad algoritmi sempre più sofisticati
- i business translator, figure bimodali che dispongono di conoscenze tecniche e di competenze relative al business
I trend tecnologici
I ricercatori del Politecnico hanno individuato le tendenze che stanno trasformando lo scenario dell’analisi dei dati nelle organizzazioni. Ecco i trend da conoscere.
È ora dei Real Time Analytics
La velocità emerge oggi come una delle principali fonti di vantaggio competitivo. Svolgere analisi in tempo reale permette di avere visibilità interna dei processi e azioni automatizzate e permette lo sviluppo di nuovi prodotti e servizi, dai wearable devices alle auto a guida autonoma.
Oltre Hadoop
Hadoop, piattaforma software open source per l’elaborazione di elevate moli di dati in modalità parallela, si è affermato negli ultimi anni come standard tecnologico. Oggi però l’ecosistema open source si è arricchito di tecnologie e complessità, al fine di gestire al meglio analisi in tempo reale e Machine Learning. Si affermano così nuovi standard tecnologici, come Apache Spark (motore di elaborazione nel cluster Hadoop) e Apache Kafka (sistema di stream processing). Competenze di questo tipo sono ancora rare nelle grandi aziende italiane.
Hybrid Cloud
Il Cloud ibrido, ovvero la possibilità di connettere il proprio ambiente privato con uno o più sistemi di Public Cloud, crea una flessibilità maggiore, limita i movimenti dei dati e consente l’esecuzione degli Analytics dove i dati sono memorizzati. Ne derivano numerosi benefici: riduzione dei costi, d maggiore agilità e migliore gestione dei requisiti legali in termini di privacy e confidenzialità dei dati.
Inoltre assume crescente interesse il tema dell’Edge Computing, ovvero un’architettura con risorse distribuite che avvicina specifiche elaborazioni ed analisi al luogo dove le informazioni vengono effettivamente raccolte, in particolare dai sensori.
La rivoluzione del Machine Learning
Sviluppare algoritmi di Machine Learning significa sia estrarre valore dai dati sia utilizzare fonti tradizionali in un modo nuovo. Ad esempio, Utilizzare il Machine Learning può portare ad anticipare il comportamento dei clienti, aumentare l’efficacia del sistema di prevenzione delle frodi; analizzare in maniera intelligente immagini o video.
Queste soluzioni grazie ai Big del web svolgono già un ruolo di primo piano nella nostra vita quotidiana, ma sono agli albori nelle organizzazioni.
Monetizzare i dati
Dataset Search è un motore di ricerca creato da Google per aggregare e indicizzare le banche dati presenti sul web. La mossa riflette la volontà di mettere a disposizione i dati a pagamento, fornendo così la materia prima necessaria per sviluppare e addestrare gli algoritmi più innovativi.
Si parla quindi di Data as a Service, e di una nuova figura emergente nel mercato, gli Information Provider.
Data Literacy
Data Literacy, o information literacy, significa saper interpretare correttamente i dati e raccontare un fenomeno attraverso di essi.
L’importanza di questa competenza è sempre più chiara alle aziende, in particolar modo ai ruoli manageriali, ai quali viene richiesto di costruire un processo decisionale data-driven. La diffusione della Data Literacy passa attraverso una maggiore diffusione delle figure professionali legate ai dati e dei corsi di studio per formarli. Si diffondono anche strumenti che permettono all’utente di business di gestire in autonomia il processo d’interrogazione dei dati (Self-Service Data Analytics).
