tendencias en big data (2015-2016)
TRANSCRIPT
![Page 1: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/1.jpg)
Marzo, 2016
Universidad Central de Venezuela
Escuela de Computación - Facultad de Ciencias
Introducción a Ciencia de los Datos
¿Qué se está haciendo en el mundo del Big Data
y hacia dónde vamos?...
![Page 2: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/2.jpg)
Manuel Carrero Daniel Romero Jean Akchar
Data Science Team
![Page 3: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/3.jpg)
Agenda
Salarios
Mejores empleadores
¿Panorama Actual?
Big Data Week Iniciativa
Ediciones anteriores
Big Data en Números
● Futbol y Big Data
● Fórmula 1 y Big Data
Deportes y Big
Data
● IBM WatsonRedes Sociales
10 Tendencias(2015-2016)
Un recorrido por 10 Tendencias
● Oportunidades
● Barreras
● Estado actual
Sector Financiero
● Contribuyentes
● BeneficiosSector Salud
● Sistema de Gestión Sector Educativo
Big Data y las
Naciones Unidas
● Cómo mejorar la calidad de vida
● 5 reglas para mejorar los
servicios públicos
Gobiernos y Big
Data
● Definición
● ¿Qué necesita pasar y
qué se necesita hacer?
Internet de las
Cosas (IoT)
Preguntas
![Page 4: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/4.jpg)
4
Big Data en Números
![Page 5: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/5.jpg)
5
La cantidad de datos generados en el planeta Tierra está creciendo de
manera exponencial
01010101010101011010101010101010101010101011010
1010101010101010101010101010101
1010101010110100
![Page 6: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/6.jpg)
6
![Page 7: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/7.jpg)
$8 millonesPromedio estimado empleado por los negocios durante 2015, para proyectos de
Big Data y relacionados, según ATKearney (consultora con oficinas en más de 40
países de América, Europa, Asia, Oriente Medio y África).
4.4 millonesPuestos de trabajo para la Tecnología de la Información (TI) estimados en 2012,
que serían creados en todo el mundo para el 2015, (1,9 millones solo en los
Estados Unidos) con el fin de apoyar las operaciones de Big Data, según Gartner
(compañía líder en TI a nivel mundial).
7
![Page 8: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/8.jpg)
$48.6 mil millonesInversión estimada a finales del 2015, para el mercado del Big Data en el 2019,
según International Data Corporation (IDC, consultora y principal proveedor mundial
de inteligencia de mercado, con oficinas en más de 70 países en América Latina,
Oriente Medio y África, América Central y Europa del Este, Europa, Asia / Pacífico y
el U.S, incluyendo Venezuela).
$144 millonesInversión destinada para movilidad, cloud y Big Data en el 2015, de un total de
$455 millones para TI en España, según un informe de IDC, en donde además se
indica que de ser así, se pasará de representar el 25 % del gasto TI en 2015 a
cerca del 30% en 2019.
8
![Page 9: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/9.jpg)
$13 mil millonesInversión de Big Data en América Latina estimada para 2014.
$820 millonesInversión estimada por parte de México y Brasil para 2014, quienes lideraban el
crecimiento de la inversión en la región.
Cifras suministradas por César Longa, Gerente de Programa de Software para IDC
Latinoamérica, en el marco del evento Big Data & Analytics de IDC 2014
9
![Page 10: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/10.jpg)
¿Cuánto gana un Científico de Datos?
10
![Page 11: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/11.jpg)
Salario promedio para un científico de datos
11Herramientas Utilizadas, Experiencia y Tipo de Compañía
$140.000Anuales en Estados
Unidos (2015)
€50-60.000Anuales en España, según
la Universitat Oberta de
Catalunya (2016)
$7-10.000Mensuales en América
Latina (México, Brasil,
Colombia, Ecuador),
según SAS (2015)
Promedios
![Page 12: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/12.jpg)
¿Quiénes son los mejores empleadores de datos de hoy en día?
12
![Page 13: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/13.jpg)
Top 10: Empleadores de datos y el número de puestos de trabajo de Big Data añadidos durante el último año
13A la fecha del 16 de Noviembre de 2015
![Page 14: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/14.jpg)
¿Panorama actual?
14
![Page 15: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/15.jpg)
15
![Page 16: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/16.jpg)
16
Big Data Week
![Page 17: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/17.jpg)
Big Data Week
17
Algunos Patrocinadores
Es una iniciativa creada por Stewart Townsend y Andrew Gregson en el 2011
como un modo de unir las comunidades de datos globales a través de una serie
de eventos y reuniones.
![Page 18: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/18.jpg)
Big Data Week
18
Edición 2013
3.000 Participantes
Edición 2015
30.000 Participantes
Ciudades principales de este año: Londres, Barcelona y Madrid
![Page 19: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/19.jpg)
19
10 Tendencias en Big Data (2015-2016)
![Page 20: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/20.jpg)
Tendencias
20
![Page 21: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/21.jpg)
Big Data + Cloud Computing
Big data está impulsando gran parte del
crecimiento de la nube: los ingresos de
los 50 principales proveedores de nube
públicos se dispararon un 47% en el
último trimestre del 2013 alcanzando
los $6,2 mil millones según
Technology Business Research.
1. Se consolida el
big data en la
nube
21
![Page 22: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/22.jpg)
2. Los ETL se
vuelven
personales
22
![Page 23: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/23.jpg)
23
2. Los ETL se vuelven personales: Alterys
![Page 24: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/24.jpg)
24
2. Los ETL se vuelven personales: Alterys
![Page 25: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/25.jpg)
25
2. Los ETL se vuelven personales: Trifacta y Paxata
![Page 26: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/26.jpg)
26
2. Los ETL se vuelven personales: Trifacta y Paxata
![Page 27: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/27.jpg)
3. ¿NoSQL o
NewSQL?
NewSQL: Sistemas de bases de datos
relacionales capaces de escalar de la
misma manera que un NoSQL pero
manteniendo las propiedades ACID de
sistemas tradicionales.
27
![Page 28: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/28.jpg)
3. ¿NoSQL o NewSQL?
Context
SQL NoSQL NewSQL
Relational
SQL
Transacciones
ACID
Escalabilidad
Horizontal
Grandes
volúmenes de
datos
Sin Esquema28
![Page 29: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/29.jpg)
¿Panorama
actual?
29
![Page 30: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/30.jpg)
30
Bases de Datos No
Relacionales
Bases de Datos Relacionales
![Page 31: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/31.jpg)
4. Hadoop: parte
de la nueva
norma en
almacenamiento
de datos
31
![Page 32: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/32.jpg)
5. Spark:
evolución
tecnológica
32
![Page 33: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/33.jpg)
Hadoop Map Reduce vs Spark
33
![Page 34: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/34.jpg)
Hadoop vs Spark: Velocidad y Tiempo Real
34
Un programa en Spark se ejecuta
hasta 100 veces más rápido que
Hadoop en memoria y 10 veces
más rápido si el acceso es desde
disco.
Equivalentes en Hadoop
Hive Storm Mahout Giraph
Hadoop inicialmente estuvo orientado a procesos batchs. Spark permite trabajar tanto en
modo batch como en modo stream-tiempo real (Spark Streaming). Un mismo framework para
unificar 2 mundos.
![Page 35: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/35.jpg)
Es un repositorio de almacenamiento
masivo que puede almacenar todo tipo de
datos en su formato nativo, hasta que se
necesite para el análisis de negocios o
minería de datos y además es relativamente
barato.
EMC Elastic
Cloud Storage
6. Data lakes
35
EMC Isilon
![Page 36: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/36.jpg)
6. Data Lakes vs Dwh
36
![Page 37: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/37.jpg)
Snowflake: proporciona la potencia de almacenamiento de
datos, la flexibilidad de las plataformas de Big Data y la
elasticidad de la nube a un costo más bajo que otros
almacenes de datos (ganador Strata + Hadoop 2015).
BigQuery: servicio de
análisis de datos
completamente gestionado
en la nube.
Almacenamiento ilimitado.
Análisis interactivo en
conjunto de datos de
múltiples terabytes.
7. El gran ecosistema
de datos comenzará a
cambiar de forma
37
Amazon RedShift:
plataforma de
almacenamiento de datos en
la nube más grande de
Amazon Web Services.
Capaz de manejar grandes
volúmenes de datos,
haciendo uso del
procesamiento paralelo
masivo (MPP).
Procesamiento Paralelo Masivo (MPP)
![Page 38: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/38.jpg)
8. Más exigencia
del Tiempo Real
38
![Page 39: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/39.jpg)
39
8. Más exigencia del Tiempo Real
![Page 40: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/40.jpg)
9. La seguridad se
complementará
con Data Masking
40
“ Para el año 2017 la organización de
TI típica gastará hasta el 30% de su
presupuesto en riesgo, la seguridad y el
cumplimiento, y destinará el 10% de su
población a estas funciones de
seguridad. Eso es el triple de los
niveles de 2011.”Gartner Symposium/ITxpo (5 de Octubre de 2015), la
reunión más importante del mundo de los CIOs (director de
TI) y ejecutivos de alto nivel de TI .
![Page 41: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/41.jpg)
9. La seguridad se complementará con Data Masking
41
● Usada por IBM
● Funciona con Hadoop, Spark
entre otros.
● Información de Identificación
Personal (PII siglas en inglés)
Ej: Nombre completo, dirección,
correo, código postal, pasaporte,
números de tarjeta de crédito, etc.
![Page 42: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/42.jpg)
10. El Internet de las
cosas (IoT):
continuará creciendo
e impulsando
nuevas soluciones
de datos
42
“IoT será un mercado de $ 400 mil
millones para el año 2019. Cisco
ha dicho que será mucho más
grande, un mercado de $ 19 de
billones de dólares en una
década.”CEO de IBM, Ginni Rometty (25 de Febrero de 2016)
![Page 43: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/43.jpg)
43
Internet de las Cosas (IoT)
![Page 44: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/44.jpg)
Internet de las Cosas (IoT)
Definición
Es la interconexión de objetos, personas, ubicaciones y el Internet. Objetos
inanimados apoyados con Big Data se vuelven inteligentes y pueden ‘hablar’ entre sí y
al consumidor.
44
![Page 45: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/45.jpg)
¿Qué necesita pasar primero?
45
Todos deben jugar bajo las reglas
Todas las cosas deberán volverse inteligentes
![Page 46: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/46.jpg)
¿Qué se necesita hacer?
46
Mejorar la recolección y guardado de datos
Educar a los empleados
![Page 47: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/47.jpg)
Grandes
posibilidades
47
![Page 48: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/48.jpg)
Crecimiento exponencial de datos
48
![Page 49: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/49.jpg)
49
Ver Video
https://www.youtube.com/watch?v=6AQMMx4OkjM&feature=youtu.be
![Page 50: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/50.jpg)
50
Deportes y Big Data
![Page 51: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/51.jpg)
Fútbol y Big
Data
51
![Page 52: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/52.jpg)
Copa mundial
de Brasil
52
![Page 53: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/53.jpg)
Fórmula 1
53
![Page 55: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/55.jpg)
Redes Sociales
![Page 56: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/56.jpg)
IBM Watson
56
Analiza data no estructurada
Entiende preguntas complejas
Presenta respuestas y soluciones
![Page 57: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/57.jpg)
57
Gobiernos y Big Data
![Page 58: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/58.jpg)
58
¿Cómo los poderes públicos pueden
utilizar la información para
mejorar la calidad de vida de los
ciudadanos?
![Page 59: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/59.jpg)
5 Reglas para mejorar los servicios públicos
59
2. Utilizar
información no
estructurada
3. Centrarse en la
información
4. Servicios
Transparentes
5. Registros de
usuario
1. Conocer la
información que se
tiene
![Page 60: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/60.jpg)
60
Big data y el sector financiero español
![Page 61: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/61.jpg)
Oportunidades
61
Segmentación
de clientes
Fidelización
de clientesOmnicanalidad
![Page 62: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/62.jpg)
Falta de
conocimiento
sobre Big
Data
Procesar
data no
estructurada
Falta de
presupuesto
Falta de
capacidad
tecnológica
Barreras
62
![Page 63: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/63.jpg)
Estado Actual
63
![Page 64: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/64.jpg)
64
Big data y el sector salud de Corea del Sur
![Page 65: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/65.jpg)
Contribuyentes
65
![Page 66: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/66.jpg)
Beneficios
66
Pacientes Industria médica
![Page 67: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/67.jpg)
67
Big data y el sector educativo de Estados Unidos
![Page 68: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/68.jpg)
Sistema de Gestión del Aprendizaje en Línea
68
![Page 69: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/69.jpg)
69
Big data y las Naciones Unidas
![Page 70: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/70.jpg)
Global Pulse: Big Data Climate Challenge 2014
70
![Page 71: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/71.jpg)
Gracias!¿Alguna Pregunta...?
71
![Page 72: Tendencias en Big Data (2015-2016)](https://reader034.vdocument.in/reader034/viewer/2022052117/58ee18e01a28abef368b45df/html5/thumbnails/72.jpg)
Marzo, 2016
Universidad Central de Venezuela
Escuela de Computación - Facultad de Ciencias
Introducción a Ciencia de los Datos
¿Qué se está haciendo en el mundo del Big Data
y hacia dónde vamos?...