big dive into big data at startu saturday europe

StartupSaturday / 13 dic 2014

TRAINING DATA-DRIVEN PROFESSIONALS

!Leonardo Camiciotti

!@top_ix

@bigdive_eu

MISSION/ GESTIONE IX NORD-OVEST ITALIA / SUPPORTARE L’INNOVAZIONE VALORIZZANDO GLI ASSET TECNOLOGICI E INFRASTRUTTURALI

80+ MEMBRI

CONSORZIO NON PROFIT

PARTECIPAZIONE PUBBLICA & PRIVATA

#TOP-IX StartupSaturday / 13 dic 2014

ATTIVITÀ “CORE”

#TOP-IX

GESTIONE E SVILUPPO DEL

SVILUPPO DI PROGETTI E STRUMENTI VOLTI A PROMUOVERE INNOVAZIONE, IMPRENDITORIALITÀ, COMPETENZE E IMPATTO SOCIALE !

SVILUPPO E VALORIZZAZIONE DI NEUTRAL

ACCESS POINT (INTERNET

EXCAHNGE)

DEVELOPMENT PROGRAM

PER LO SCAMBIO DI TRAFFICO INTERNET

IAAS & CLOUD

TECNOLOGIE E INFRASTRUTTURE

(E.G. CLOUD, STORAGE, BANDA, STREAMING, COLOCATION …)


IL DNA DI TOP-IX

#TOP-IX StartupSaturday / 13 dic 2014

NEUTRALITYSHARING

Values

COLLABORATION

MEASURABILITYHANDS ON / BITS ON

Approaches DISSEMINATION

INCLUSIONINNOVATION

Objectives

GROWTH

0100111010

BIT CONOSCENZA PERSONE

“INFRASTRUTTURA”

VALORI

OBIETTIVI

APPROCCIO

DATI

OPEN DATA

Organizzazione OPEN DATA CONFERENCE

Partecipazione alla DIGITAL AGENDA ITALIANA

1° LEGGE REGIONALE OPEN DATA

2011 DIC 2012 OTT

APPS4ITALY 1° CONTEST OPEN DATA

2011 NOV

PIEMONTE VISUAL CONTEST 2

2014 NOV

Sviluppo 1° PORTALE OPEN DATA

2010 DIC

BIG DATA

2° edizione BIG DIVE


2010 MAG

2011 DIC 2012 OTT 2013 GIUOrganizzazione BIG DATA CONFERENCE

IMPARARE DALL’ESPERIENZA

#TOP-IX


2014 GIU


PIEMONTE VISUAL CONTEST

2013 OTT

PARLIAMO DI BIG DATA QUANDO IL VOLUME, LA VARIETÀ E LA VELOCITÀ DEI DATI SONO TALI DA NON POTER ESSERE GESTITI CON NORMALI STRUMENTI, TECNICHE E PC …

#DEFINITION

DEFINIZIONE DI BIG DATA


SI AVVERTE LA NECESSITÀ DI ULTERIORI DATI PER COMPRENDERE DINAMICHE E COMPORTAMENTI DI SISTEMI E FENOMENI COMPLESSI. !

#DEFINITION StartupSaturday / 13 dic 2014

MA ALLO STESSO TEMPO

!

LEVE SORGENTI

CONNESSIONI ALWAYS-ON !SOCIAL NETWORK !IL MOVIMENTO OPEN DATA !LE SMART CITY !IL PROCESSO DI DIGITALIZZAZIONE DELLA CONOSCENZA

HPC / HIGH PERFORMANCE COMPUTING !CLOUD !OPEN SOURCE !LA RIDUZIONE DEL COSTO DELLO STORAGE !LA NASCITA DELLA DATA-SCIENCE E DELL’ INFONOMICS

#BIGDATA StartupSaturday / 13 dic 2014

ESTRARRE VALORE DAI (BIG) DATA

#USE-CASES

DATI MODELLI DECISIONI

DAI DATI ALL’ IMPATTO


#LOGISTICA #MONITORAGGIO #SENSORI

TESCO PREVEDE DI RISPARMIARE OLTRE 20M€ GRAZIE ALLA RAZIONALIZZAZIONE DEGLI IMPIANTI DI REFRIGERAZIONE.

IMPATTO

StartupSaturday / 13 dic 2014 #USE-CASES

“ZHANGBEI NATIONAL WIND AND SOLAR ENERGY” PREVEDE DI SERVIRE 14.000 UTENZE AGGIUNTIVE USANDO FONTI RINNOVABILI.

IMPATTO


#ENERGIA #RISORSE

MAGGIOR COINVOLGIMENTO E SENSIBILIZZAZIONE DEGLI UTENTI RIDUZIONE DEI CONSUMI SU BASE STAGIONALE E GIORNALIERA.

IMPATTO


#ENERGIA #DATA-VIZ #TRASPARENZA #RIDUZIONE DI CONSUMI E SPRECHI !!

#MOBILITÀ #MONITORAGGIO #EFFICIENZA #MIX DATI UTENTE+ VEICOLO !!!

MAGGIOR COINVOLGIMENTO E SENSIBILIZZAZIONE DEGLI UTENTI, MIGLIORAMENTO DEL SERVIZIO.

IMPATTO

#USE-CASES StartupSaturday / 13 dic 2014

#MOBILITÀ #MONITORAGGIO #PREVISIONE !!!

RIDUZIONE DELLE INEFFICIENZE E DEFINIZIONE DI POLIZZE ASSICURATIVE SU MISURA.

IMPATTO


#SMARTCITY #MONITORAGGIO !!!

IMPATTO

#USE-CASES

COINVOLGIMENTO DEI CITTADINI, MAGGIORE CONSAPEVOLEZZA, IMPATTO SUL LOCAL POLICY MAKING.


#USE-CASES

RIDUZIONE DEI COSTI, SEGMENTAZIONE DELLE COPERTURE SANITARIE, MIGLIORAMENTO DELLE DIAGNOSI.


#SANITÀ #TRACKING #PREVISIONE #PREVIDENZA !

!!!

IMPATTO

#FINANZA #BANCHE !!!

IMPATTO

#USE-CASES

ONE-TO-ONE MARKETING, SEGMENTAZIONE DEGLI UTENTI, SCOPERTA DELLE FRODI, “GESTIONE” DEL RISCHIO.


#SOCIAL IMPACT !!!


WARNING

LE STORIE DI SUCCESSO SONO ANCORA CASI ISOLATI.


LA SEMPLICE RACCOLTA DEI DATI NON SIGNIFICA ATTIVARE PROCESSI DI BIG DATA.

WARNING


I BIG DATA NON COSTITUISCONO DA SOLI UN MODELLO DI BUSINESS CHE, INVECE, DEVE ESSERE SVILUPPATO.

WARNING


I BIG DATA RICHIEDONO:

/ PROTOCOLLI E FORMATI STANDARD / COLLABORAZIONE E CONDIVISIONE / TEORIE E MODELLI (SCIENTIFICI) / IL SUPPORTO DELLE ISTITUZIONI / LA PRESENZA DI START-UP / FIGURE PROFESSIONALI DATA-ORIENTED


1° EDIZIONE OTT 2012 2° EDIZIONE GIU 2013 3° EDIZIONE GIU 2014

4° EDIZIONE coming soon

StartupSaturday / 13 dic 2014 #BIGDIVE

BIG DIVE È UN PROGRAMMA DI FORMAZIONE DI CINQUE SETTIMANE VOLTO AL TRAINING DI FIGURE PROFESSIONALI CAPACI DI VALORIZZARE I BIG DATA.


MA DI UN APPROCCIO “STREET FIGHTING”

NON ABBIAMO BISOGNO DI UN’UNIVERSITÀ


IL TEAM DI BIG DIVE


DEVELOPMENT

!/ PYTHON !/ TurboGears2 web framework

/ Hadoop & Mapreduce !/ Introduzione a NO-SQL DB

!

LE DISCIPLINE


VISUALIZATION

!/ Basi teoriche di data-visualization !/ Introduzione a Javascript e ProcessingJS !/ D3.JS !/ Workshop intensivo di data-visualization !

LE DISCIPLINE


DATA SCIENCE

!/ Network science

/ Basi di statistica !/ Data analysis / Machine learning

!


LE DISCIPLINE

#BIGDIVE

BIG DIVE 1 4 SETTIMANE 20 PARTECIPANTI 8 NAZIONALITÀ

#BIGDIVE




#BIGDATA_PROCESS

una storia…

BIG DATA IN PRATICA


Ho grandi volumi di dati e/o i miei competitor hanno appena acquisito una soluzione BIG DATA

#BIGDATA_PROCESS StartupSaturday / 13 dic 2014

I dati sono realmente BIG?

#BIGDATA_PROCESS



È stato identificato un obiettivo chiaro ?

#BIGDATA_PROCESS




MisurabileBusiness-drivenImpact-driven

#BIGDATA_PROCESS

È stato identificato un obiettivo chiaro?




MisurabileBusiness-drivenImpact-driven

if not

Probabilmente si stanno sprecando tempo e risorse.

#BIGDATA_PROCESS





Business-drivenImpact-driven

if not

if yes


Probabilmente si stanno sprecando tempo e risorse.


Misurabile



Il Team ICT interno come risolve il problema al momento?




É necessario coinvolgere competenze specifiche, Data Scientist (eventualmente da acquisire sul mercato).

Qual è il grado di “bontà” dei dati raccolti?



Sono pronti per essere processati da un tool software? I Data Scientist NON sono maghi o veggenti!




Metadata?Documentazione chiara?Regole per le operazioni manuali?



Esplorazione e pulizia dei

dati


Metadata?Documentazione chiara?


Regole per le operazioni manuali?

#time-consuming #costoso





dati


dopo…





dati


#time-consuming #costoso

I dati sono pronti per essere processati… ma

è necessaria una pipeline per gestire il processo.


Richiede conoscenze di software development




La PIPELINE è pronta!




Richiede conoscenze di software development


La PIPELINE richiede una validazione

Solo quando il modello è accurato i Data Scientist iniziano realmente il loro lavoro.



Algoritmi Machine learning Multivariate analysis …




Forse a questo punto sono necessari un upgrade dell’infrastruttura e nuove skill.



Algoritmi Machine learning Multivariate analysis …


Ed infine il risultato è

42!


42! Che si auspica non sia un valore ovvio!



42!

#BIGDATA_PROCESS

E’ possibile trasformare tale processo in un modello decisionale?


Che si auspica non sia un valore ovvio!


42!

Sicuramente si avrà ora una maggiore conoscenza dello spazio-dati.


E’ possibile trasformare tale processo in un modello decisionale?



42!

#BIGDATA_PROCESS

L’ “iterazione” e la consapevolezza rendono perfetti.





NON SOLO DATA SCIENTIST…

#BIGDIVE

IMPACT

DATA-DRIVEN MANAGER

DATA-DRIVEN POLICY MAKER

DATA-DRIVEN DEVELOPER

DATA-DRIVEN ENTREPRENEUR

DATA-DRIVEN DESIGNER

….

GRAZIE !

[email protected] [email protected] !www.top-ix.org www.bigdive.eu !@top_ix @bigdive_eu


big dive into big data at startu saturday europe

Data & Analytics

big data startupsaturday

ix startupsaturday

cases startupsaturday

contest open data

training data

nascita della data

bigdata startupsaturday

colocation startupsaturday