La place du Edge Computing dans le Big Data

Damien RouxCustomer Engineer - Google Cloud

Salon Big Data - 12 mars 2019

on the Edge

https://www.flickr.com/photos/30478819@N08/35638773731

Un terme récentet complémentaire du Cloud

Google Trend sur “Edge Computing”

2009 2012 2015 2018

IoT 8,4 milliardsC'est le nombre d'objets connectés utilisés en 2017, soit une hausse de 31 % par rapport à 2016*

Nous n'avons jamais autant généré de données

L’adoption du Cloud

● Sécurité● Fiabilité● Service Managé● Ouvrant sur un éco-système homogène● Permettant l’Open Source● Capable de Big Data, de Deep Learning

D’ici 2025, 80% des entreprises auront fermé

leur data-center, contre 10% aujourd’hui.

Gartner

*IDG Cloud Insights survey, 2018 (N=550)**Cloudability, State of Cloud 2018 report based on actual spend data ***IDC Cloud and AI adoption survey, 2018 (N=400 IT decision makers)

73%

des entreprises utilisent le cloud*

90%

des workloads sont encore on-prem**

80%

Des entreprises ont rapatriés certaines

données/ applications on-prem***

Mais l’usage on-prem reste

Certaine même y sont retournées

Public cloud utilisé

Les faiblesses du Cloud ...

Où a lieu le compute ?

Critères de décision

dans le Cloud

près ou sur les devices

IoT @ Google

● Anomaly detection accuracy ~60%; requiring additional people to check each panel

● Low processing speed, and high cost● Required several senior engineers

Before: labor intense process, for anomaly detection Now: detection fully automated

● After one week of work, by one junior engineer● Detection accuracy 99.9%● 200 images per 0.8s● Yearly saving of $1 million per line● Shingyoon Hyun, CTO/ Senior VP LG CNS [Video]

Cloud ou pas CloudSmart Reply

April 1, 2009: April Fool’s Day joke

Nov 5, 2015: Launched Real Product

Feb 1, 2016: >10% of mobile replies

May, 2017: Smart Reply Gmail

Oct, 2018: Smart Compose

© 2017 Google Inc. All rights reserved.

Higher performance per watt in its category

Low power consumption

Empowers industrial and commercial use cases

Smaller Footprint

Rapid prototyping using Edge TPU Development Board

Fully Integrated in the Cloud IoT Edge offer

Amener le ML sur les DevicesHigh performance hardware accelerator for on-device ML

Edge TPU

Training

Cloud IoT Edge

Edge TPU / GPU

DataUpdate Config

& Deploy ML model

Control

Cloud Machine Learning

Cloud IoT Core

InsightsContainer OS

Edge Appliance

Cloud Datalab

BigQuery

Xeon-classCPU

Storage

Custom applicationCustom application

Custom applications

Data Transfer

Cloud Storage

Data

Industrial-class, rackable

Google Cloud IoT Edge

NFS

Données

Nouveau Modèle

Rendre les capteurs plus capables en ML

© 2017 Google Inc. All rights reserved.

Use cases for ML at the Edge

● Running Predictive maintenance model on the edge device for preventing unplanned downtime

● Improve product quality in discrete and batch processing by fast on-device real-time computer-vision for anomaly detection

● On-device spoken language understanding or voice recognition

● Support for stronger user data privacy paradigms (user data resides strictly on-device)

● Serving ‘offline’ use cases when the device isn't connected to the internet

On retrouve les forces du Cloud, mais étendues aux Devices

Tirer les bénéfices du Big Data en combinant Device & Cloud Industry 4.0

technologies

● Sécurité

Centralisée, et homogène

● Service Managé

console centralisée

Le linux du Cloud et du Edge Computing

● Open Source

Kubernetes, Istio, …

● Éco-système homogène

Toutes les forces du Cloud

Construire des applications pour tous les environnements

Cloud Service Platform

Merci