tendencias actuales en el mundo big data
Post on 04-Oct-2021
3 Views
Preview:
TRANSCRIPT
24 de marzo de 2017
Tendencias actuales en el mundo Big Data
Álvaro Barbero – Chief Data Scientist
www.iic.uam.es
www.iic.uam.es 2www.iic.uam.es
www.iic.uam.es 3www.iic.uam.es
www.iic.uam.es 4www.iic.uam.es
Data is growing
www.iic.uam.es 5www.iic.uam.es
Datos
www.iic.uam.es 6www.iic.uam.es
Variedad de datos
www.iic.uam.es 7www.iic.uam.es
The 4 V´s of Big Data
www.iic.uam.es 8www.iic.uam.es
Big Data
www.iic.uam.es 9www.iic.uam.es
Data Scientist
www.iic.uam.es 10www.iic.uam.es
www.iic.uam.es 11www.iic.uam.es
Data Scientist
www.iic.uam.es 12www.iic.uam.es
Data Scientist
www.iic.uam.es 13www.iic.uam.es Source: O’Reilly Data Science Salary Survey 2016
www.iic.uam.es 14www.iic.uam.es
www.iic.uam.es 15www.iic.uam.es
Duda siempre de timismo, hasta que losdatos no dejen lugar a dudas
Louis Pasteur, 1822-1895
www.iic.uam.es 16www.iic.uam.es
Datos
www.iic.uam.es 17www.iic.uam.es
Acción
Datos Analítica
Kaizen
Mejora continua
Acción
www.iic.uam.es 18www.iic.uam.es
IIC Big Data
ANALIZAR
PROCESAR
ALMACENAR
HARDWARE
VALOR
www.iic.uam.es 19www.iic.uam.es
Analítica
Niveles de analítica
Analítica prescriptiva
Cuál es la mejor estrategia
Analítica predictiva
Qué va a pasar
Analítica descriptiva
Qué pasa ahora
www.iic.uam.es 20www.iic.uam.es
Analítica descriptiva
Analíticadescriptiva
Qué pasa ahora
Describir los datos para
sacar información útil
-KPIs-Dashboards-Visualizaciones
www.iic.uam.es 21www.iic.uam.es
Analítica descriptiva
Analíticadescriptiva
Qué pasa ahora
www.iic.uam.es 22www.iic.uam.es
Analítica descriptiva
Analíticadescriptiva
Qué pasa ahora
www.iic.uam.es 23www.iic.uam.es
Analítica predictiva
Estimar datos que no
tenemos
Analítica predictiva
Qué va a pasar
www.iic.uam.es 24www.iic.uam.es
Analítica predictiva
Analítica predictiva
Qué va a pasar
www.iic.uam.es 25www.iic.uam.es
Analítica predictiva
Analítica predictiva
Qué va a pasar
www.iic.uam.es 26www.iic.uam.es
Uso de niveles de analítica en las organizaciones
www.iic.uam.es 27www.iic.uam.es
Analítica prescriptiva
Analíticaprescriptica:
Cuál es la mejor estrategia
www.iic.uam.es 28www.iic.uam.es
Analítica prescriptiva
Analíticaprescriptica:
Cuál es la mejor estrategia
www.iic.uam.es 29www.iic.uam.es
Analítica prescriptiva
Analíticaprescriptica:
Cuál es la mejor estrategia
www.iic.uam.es 30www.iic.uam.es
Analítica prescriptiva
Analíticaprescriptica:
Cuál es la mejor estrategia
www.iic.uam.es 31www.iic.uam.es
Analítica prescriptiva
Analíticaprescriptica:
Cuál es la mejor estrategia
www.iic.uam.es 32www.iic.uam.es
Analítica prescriptiva
Analíticaprescriptica:
Cuál es la mejor estrategia
www.iic.uam.es 33www.iic.uam.es
www.iic.uam.es 34www.iic.uam.es
Nuestras herramientas y su evolución
UNIVAC I5000 tubos de vacío
Procesador 30386275.000 transistors
(x55)
Core i7731.000.000 transistores
(x146.200)
(1951) (1985) (2008)
www.iic.uam.es 35www.iic.uam.es
Nuestras herramientas y su evolución
Cerebro Homo Sapiens Sapiens50.000.000.000 neuronas
(x10.000.000)
Computadora actual
(195.000 A.C)
www.iic.uam.es 36www.iic.uam.es
Cognición vs cálculo
?
www.iic.uam.es 37www.iic.uam.es
Cuestión de números
www.iic.uam.es 38www.iic.uam.es
La música son números
C
A
E
C
E
D
B
[
[
3
5
4
2
[
[
5
1
3
www.iic.uam.es 39www.iic.uam.es
La música son números
[ 1, 4, 5, 2, 3, 4, 2, …]
www.iic.uam.es 40www.iic.uam.es
Las palabras sonnúmeros
www.iic.uam.es 41www.iic.uam.es
Las palabras también pueden ser números
cat chills on a mat
cat chills mushroom a mat
Socher et al (2013)
www.iic.uam.es 42www.iic.uam.es
Cálculos con palabras
king – man + woman ≈ queen
Obama – USA + Russia ≈ Putin
human – animal ≈ ethics
paella – Spain + Italy risotto
Cristiano – Madrid + Barcelona Messi
www.iic.uam.es 43www.iic.uam.es
Relaciones de palabras entre lenguajes
WordSpace
WzhWen
EnglishWords
MandarinWords
Socher et al (2013)
www.iic.uam.es 44www.iic.uam.es
Los textos también son números
High dimensional representation of a sequence
0.1
0.5
1.0
0.0
2.4
The lazy brown fox
Sutskever et al - Sequence to Sequence Learning with neural networks
www.iic.uam.es 45www.iic.uam.es
Los textos también son números
Traducción automática
0.1
0.5
1.0
0.0
2.4
The quick brown fox jumped over the…
Le renard brun rapide saute par dessus…
www.iic.uam.es 46www.iic.uam.es
0.1
0.5
1.0
0.0
2.4
En un lugar de la Mancha
está en su amada,
Generación de lenguaje
Neurocervanteshttp://www.iic.uam.es/digital/inteligencia-artificial-escribe-el-quijote/
www.iic.uam.es 47www.iic.uam.es
Aplicaciones para análisis de texto
Clasificación automáticade documentos
Recuperación dedocumentos similares
Perfilado deautores
www.iic.uam.es 48www.iic.uam.es
Clasificación automática de patentes y búsqueda de patentes similares
Pliego del Ministerio de Industria, Secretaría de Estado de Telecomunicaciones y Sociedad de la Información.
Investigadora: desarrollo de nuevos algoritmos de procesamiento del lenguaje natural con aplicación a la clasificación automática de solicitudes de patentes, en español e inglés.
Industrial: requisitos de funcionamiento en tiempo real, despliegue en entornos desconocidos a priori, sistema autocontenido, escalable, de fácil uso.
Componente:
Nuevos algoritmos desarrollados basados en tecnología de DeepLearning y cálculo en GPU.
Últimas tecnologías de almacenamiento de datos: ElasticSearch, S3.
Despliegue modular, escalable y multiplataforma: Docker, en local o encloud de Amazon.
Solución completa desde la fase de investigación hasta el despliegue.
- Muy alta satisfacción por parte del cliente
Resultados:
www.iic.uam.es 49www.iic.uam.es
- Escucha - - Responde-- Analiza -
01. Análisis del contexto
02. Análisis léxico-semántico
03. Análisis gramatical
04. Algoritmos propios
Conversaciones
Términos
Marcas
Cuentas
Muros
Vídeos
Foros
Blogs
Lynguo es una herramienta de monitorización en tiempo real que analiza el contenido de las redes sociales y proporciona una valoración sobre las opiniones y emociones de los consumidores.
www.iic.uam.es 50www.iic.uam.es
Compara patrones y tendencias a partir de
información en tiempo real
¿Cuáles son los usuarios y temas estrella sobre los que se está
hablando en la red?
¿Y las opiniones más presentes? ¿Los tuits están altamente cargados emocionalmente? ¿De manera
positiva, negativa?
Engagement
- Responde -
KPIs
Opinión
www.iic.uam.es 51www.iic.uam.es
Las imágenes sonnúmeros
www.iic.uam.es 52www.iic.uam.es
El cortex visual (simplificado)
www.iic.uam.es 53www.iic.uam.es
Neuronas auto-aprendidas en una red neuronal artificial de varias capas
Faces Cars Elephants Chairs
www.iic.uam.es 54www.iic.uam.es
Ejemplos en reconocimiento de imágenes
https://www.microsoft.com/cognitive-services/en-us/emotion-api
www.iic.uam.es 55www.iic.uam.es
Extrayendo el estilo artístico de una imagen
Gatys et al – A Neural Algorithm of Artistic StyleBottou et al - Optimization Methods for Large-Scale Machine Learning
Low levelobservations
Styleembedding
www.iic.uam.es 56www.iic.uam.es
Generando imágenes que combinan contenido y estilo
www.iic.uam.es 57www.iic.uam.es
Combinación de estilos artísticos
www.iic.uam.es 58www.iic.uam.es
Combinación de estilos artísticos
www.iic.uam.es 59www.iic.uam.es
Combinación de estilos artísticos
www.iic.uam.es 60www.iic.uam.es
Combinación de estilos artísticos
www.iic.uam.es 61www.iic.uam.es
Galería
www.iic.uam.es 62www.iic.uam.es
Galería
www.iic.uam.es 63www.iic.uam.es
Buscando productos parecidos
Bell and Bala - Learning visual similarity for product design with convolutional neural networks
www.iic.uam.es 64www.iic.uam.es
Operaciones con imágenes
Restando ventanas Modificando caras
Alec Radford, Luke Metz, Soumith Chintala - Unsupervised Representation Learning with Deep Convolutional Generative Adversarial NetworksAntipov et al – Face Aging with Conditional Generative Adversarial Networks
Sumando años
www.iic.uam.es 65www.iic.uam.es
Modificación de imágenes con redes profundas
Nguyen et al - Plug & Play Generative Networks: Conditional Iterative Generation of Images in Latent Space, http://demos.algorithmia.com/colorize-photos/
Coloreando fotos
www.iic.uam.es 66www.iic.uam.es
Volcano
Modificación de imágenes con redes profundas
Nguyen et al - Plug & Play Generative Networks: Conditional Iterative Generation of Images in Latent Space, http://demos.algorithmia.com/colorize-photos/
Creando imágenes sintéticas
www.iic.uam.es 67www.iic.uam.es
Modificación de imágenes con redes profundas
Redshank I Ant I Monastery
Nguyen et al - Plug & Play Generative Networks: Conditional Iterative Generation of Images in Latent Space, http://demos.algorithmia.com/colorize-photos/
Creando imágenes sintéticas
www.iic.uam.es 68www.iic.uam.es
Mezclando números
www.iic.uam.es 69www.iic.uam.es
Descripción de imágenes
0.1
0.5
1.0
0.0
2.4
“A close up of a child holding a stuffed animal”
www.iic.uam.es 70www.iic.uam.es
Generación de descripciones en texto para imágenes
Deep Visual-Semantic Alignments for Generating Image Descriptions http://cs.stanford.edu/people/karpathy/deepimagesent/
www.iic.uam.es 71www.iic.uam.es
Detección de objetos y relaciones en imágenes
Deep Visual-Semantic Alignments for Generating Image Descriptions http://cs.stanford.edu/people/karpathy/deepimagesent/
www.iic.uam.es 72www.iic.uam.es
Generación de imágenes en base a textos
Nguyen et al - Plug & Play Generative Networks: Conditional Iterative Generation of Images in Latent Space
www.iic.uam.es 73www.iic.uam.es
Las personas sonnúmeros
www.iic.uam.es 74www.iic.uam.es
Personas como números
Una persona no es un número…
¡Son muchos números!
42
www.iic.uam.es 75www.iic.uam.es
Análisis de comportamiento de clientes y detección de fraude
Objetivo:
Operaciones no financieras:
- Consulta de saldo
- Cambio de PIN
- Consulta de movimientos, etc.
Operaciones financieras:
- Compras
- Retirada de efectivo
- Transferencias
Banca por internet
Banca telefónica Cajeros
OficinasComercios
perfilado completo del cliente y detección de comportamientos fraudulentos
- Recibos
- Recarga de móviles
- Préstamos, etc.
www.iic.uam.es 76www.iic.uam.es
Análisis de personal: HR Analytics
Criba cv
LlamadaTfonica.
PruebasPsicométricas
Foco Modelo Azar Modelo Propuesto
Sólo puedo revisar 160 CVs 5 Aptos 10 Aptos
Seleccionar 10 Aptos Reviso 320 CVs Reviso 160 CVs
Breveentrevista
Dinámica
www.iic.uam.es 77www.iic.uam.es
Grupos de personas como números
Grupos de personas y relaciones entre ellas
www.iic.uam.es 78www.iic.uam.es
Localizar y caracterizar las comunidades no formales
Identificar los cuellos de botella
en los procesos.
Reasignarresponsabilidades para mejorar la comunicación entre equipos.
Ubicar el talento y la experiencia.
Detectar a los innovadores y influencers.
La instalación de plataformas sociales corporativas permite canalizar e
impulsar los procesos colaborativos clave para el éxito de una organización.
Pero como medir y gestionar el impacto social de estas plataformas
colaborativas.
AROS y eAROS es un servicio de consultoría para una gestión eficaz de la red social corporativa de las empresas a través de su monitorización y análisis.
Proporcionar los indicadores clave de
desempeño social (S-KPIs)
78
www.iic.uam.es 79www.iic.uam.es
En resumen
www.iic.uam.es 80www.iic.uam.es
Visión de futuro
Solamentenecesitas los
expertosadecuados…
Integración de toda clase de
fuentes de datos, incluyendo
imágenes, textos, video, datos de
personas…
Soluciones de datosde mayor nivel de
análisis:
predictivas y prescriptivas
Nuevas tecnologíasde análisis
multimedia: practicas y efectivas
www.iic.uam.es 81www.iic.uam.es
¡Cuenta con nosotros!
www.iic.uam.es 82www.iic.uam.es
www.iic.uam.es
Álvaro Barbero Jiménez
PhD, PMP, Chief Data Scientist at Instituto de Ingeniería del Conocimiento (IIC)
Elementos gráficos de apoyo obtenidos en:
@albarjip
albarji.deviantart.com
Alvaro Barbero
top related