big (sensor) data and smart city interoperability

Programmaraad Geonovum

Big Data – In a Nutshell

Erik van der ZeeGeonovum

@erikvanderzee

1. Inleiding

2. Big Data Algemene Introductie

3. Big Data binnen de Overheid

4. Big Data i.r.t. IoT / Smart Cities

5. Smart City Interoperability (“IMSC”)

6. Afsluiting

Inhoud

1. Inleiding

Erik van der Zee• Sr. Consultant GIS & Geo-ICT @Geodan• PhD kandidaat VU Amsterdam Rol van Locatie in

Smart Cities / IoT• Lid van Geonovum stuurgroep Making Sense for

Society

Inleiding

2. Big Data Algemene Introductie

Definitie Big Data

IBM’s definitie van Big Data

“Any data that cannot be captured, managed, and/or processed using traditional data

management components and techniques”

“Steeds meer” (Kwantitatief)• Steeds meer data creators (mensen + smart things “IoT”)• Steeds meer content soorten (gestructureerd en ongestructureerd)• Steeds meer variabelen (“phenomena”)• Steeds meer delen via social networks (data duplicatie)• Steeds meer bewaren (data, logfiles)• Steeds meer data combineren (“data met data maken” bvb output GIS analyse)• Steeds meer voorspellen (extrapoleren, model output, scenario’s)

Data Explosie - Kwantitatief

Rotterdam.avi

Rotterdam.avi

http://www.gigapan.com/galleries/11203/gigapans/152220

http://www.gigapan.com/galleries/11203/gigapans/152220

“Steeds beter” (Kwalitatief)• Steeds hogere resoluties

– Ruimtelijke resolutie xy(z) – Tijd(sinterval) resolutie van snapshots (“pictures”) naar continuous streams

(“movies”)– Meetspectrum (“banden”) van Multi-spectral naar Hyper-spectral (“data

cubes”)

• Denk bvb aan Foto’s/Video’s maar ook aan AHN1, AHN2, AHN3, …

Data Explosie - Kwalitatief

• Steeds minder analoge data

• Steeds meer ongestructureerde data

Trends in Big Data

• Steeds meer big data heeft een locatie component…

• Big GEO Data + Big Spatial Analytics

Locatie en Big Data

Steeds meer data leidt niet noodzakelijkerwijs tot informatie

(inzicht) …

Big Data Analyse + Visualisatie nodig

• Analyse van Verleden (historische data) Heden(real-time data) en Toekomst (model output)

Big Data Analyse

• Gestructureerde data vs Ongestructureerdedata

• Steeds meer informatie uit ongestructureerde data door slimme algoritmes (tekst / gezicht / object herkenning, ...) “convert to structured”

Big Data Analyse

Big Data Visualisatie

• Visualisatie hoort ook bij analyse

• “een kaart meer zegt dan 1000 woorden”

• Voor Big Data nieuwe visualisaties, bvb “event tunnels”, dynamische spider diagrammen (grafen) (zie bvb www.d3js.org)

http://www.d3js.org/

3. Big Data binnen de Overheid

NL Overheid en Big Data

• Rijk– Politie en Inlichtingendiensten– Diverse Landelijke Meetnetten (KNMI, RWS, RIVM, NSO/ESA)– Grote admin. gegevensverzamelingen o.a. Belastingdienst,

CBS, …– NS / ProRail projecten Virtuele Trein en Virtuele Infra– RWS NDW open sensor data + Strategische visie op Big Data

• Waterschappen (meet- en regelsystemen water management)

• Provincies (LoRaWAN Groningen, subsidieaanvragen)• Gemeenten (SMART CITY Ambities “Living Labs” in

diverse steden, parkeersensoren, tracking & tracinginformatie stad- en streekvervoer, smart bins, …)

• Onderwijs (universiteiten) / onderzoek (bvb LOFAR / LHC)• Geonovum Platform MS4S (coördinatie en standaardisatie)

Big Data binnen de Overheid

4. Big data i.r.t. IoT / Smart Cities

• Thing

• + Micro computer (Arduino / Raspberry Pi / MEMS)

• + Sensors / Actuators

• + Internet connection

• + Digital identity (avatar) (zoeken van dingen “catalogus”)

• + API (“luisteren naar en praten met dingen”)

• = Smart Thing

Smart Things

+ + + + + +

Smart Cities

SensingAnalysis andPrediction

Act(uat)ingraw events meaningful

events

Waarnemen

(data creatie)

Aansturen / notificeren /

routeren van objecten en

subjecten

Beschikbaarstelling

Open sensor data

Beschikbaarstelling

Analyses

Beschikbaarstelling

Acties

Big (Sensor) Data Millions of Smart THINGS…

Smart Cities

• Voorbeeld: Smart Bins Proces + rol van locatie

5. Smart City Interoperability

(“Informatie Model Smart City”)

• Smart Things hebben vendor specifieke datamodellen + API protocols + applicaties (“een

app voor ieder thing…”)

• Standaarden zijn er inmiddels wel… maar worden niet gebruikt

– Awareness ontbreekt bij gemeenten

– Vendor Lock-in (gaan voor de snelle oplossing)

• Lastig om een overall (city scale) geïntegreerd beeld te krijgen

• Sensor data delen met buurgemeenten

Smart City Interoperability

API1 API2 API3 API…

Syst.Vendor1

Syst.Vendor2

Syst.Vendor3

Syst.Vendor

Sensor Data 1

Sensor Data 2

Sensor Data 3

Sensor Data …

App 1 App 2 App 3 App …

Energy Water Transport Environment

API1

Syst.Vendor1

Sensor Data 1

App 1

API2

Syst.Vendor2

Sensor Data 2

App 2

API3

Syst.Vendor3

Sensor Data 3

App 3

API…

Syst.Vendor

Sensor Data …

App …

• OGC SWE / Sensor Things

Standaarden

– Bieden standaard datamodel en

API beschrijvingen voor Smart

Things

– Integratie informatie afkomstig

van verschillende vendors

– Interoperability tussen systemen

in / tussen Smart Cities mogelijk


API1 API2 API3 API…

Syst.Vendor1

Syst.Vendor2

Syst.Vendor3

Syst.Vendor

Sensor Data 1

Sensor Data 2

Sensor Data 3

Sensor Data …

Smart City Informatie

model (IMSC)

Real-Time Datamodel Transformation

Smart City SensorThings

API

Smart City SDKs

Smart City A Smart City B

Standaard APIs

Standaard APIs

City Applicaties

API1

Syst.Vendor1

Sensor Data 1

API2

Syst.Vendor2

Sensor Data 2

API3

Syst.Vendor3

Sensor Data 3

API…

Syst.Vendor

Sensor Data …

• OGC Sensor Web Enablement (SWE) standaarden

• OGC Sensor Things API (REST/JSON implementatie van de SWE standaarden)

• Probleem Slechts een selecte groep experts kent deze standaarden

• Gevolg Geen interoperability, wiel uitvinden…


Registries & Dictionaries

SensorDescription Language

PhenomenonDescription Language

Services

Observation Tasking Alerting Analysis

SensorML O&M

SOS SPS SAS WNS

CS-W

• SensorThings Data Model (eenvoudige weergave)


Aansturing Beweging, Geluid, Licht, Geur, …

• OGC Sensor Things standardized data model


A Thing has Locations and His

toricalLocations. A Thing also

can have

multipleDatastreams.

A Datastream is a collection

of Observations grouped by

the

same ObservedProperty and

Sensor. AnObservation is an

event performed by a Sensor

that produces a result whose

value is an estimate of

anObservedProperty of

the FeatureOfInterest.


• Voorbeeld: Slimme thermostaat

• Voorbeeld in de openbare ruimte


IMGEO Object

IMGEO Object locatie

Ultrasoon Sensor

23cm (= 86% Full

Distance towaste

Waste bin

Radar Sensor

Car Speed

41 KM/H

Car


IMGEO Object


Meetlus+ Radio Receiver

PressureSignalCode

Pressure +Radio signal

Car


IMGEO Object

HydraulicPump

Go/NoGoLight

Radio transmitter

GPS Sensor

Position, Time

Position

Bus


IMGEO Object

Matrix scherm

(Potentiële) smart objects in IMGEO


• IMGEO (http://imgeo.geostandaarden.nl)– Beschrijft objecten (things) in de openbare ruimte– Beschrijft soms ook smart things in sommige categorieën (bvb telpaal,

informatiebord, poller, …)– Bevat zelfs een categorie “sensors” – Categorie “actuators” ontbreekt, niet consequent (er zijn veel “things” met

actuators, bvb poller, informatiebord, slagboom, …)– Begrip “sensors” in IMGEO niet goed gebruikt (is eigenlijk een smart Thing

volgens OGC SmartThings standaard)

• Veel objecten in IMGEO kunnen ook smart zijn / worden gemaakt• IMGEO bevat heel weinig “smart” attributen OGC SensorThings

datamodel kan daarin aanvullend zijn• Inconsistenties in IMGEO i.r.t. SensorThings standaard

– Thing Smart Thing Sensor – Vastlegging van het Thing object “wat is het ding…”

• Categorie “Sensor” in IMGEO onlogisch / inconsequent, in andere IMGEO categorien zitten ook objecten die beschouwd kunnen worden als “sensor” (of beter gezegd smart thing); veel daarvan zijn eigenlijk “actuators” slagboom, poller, informatiebord, praatpaal, …


http://imgeo.geostandaarden.nl/

• IMGEO bevat heel weinig “smart” attributen OGC SensorThings datamodel kan daarin aanvullend zijn

• IMMetingen is te beperkt (bodem/water metingen)

• Informatie Model Smart City (“IMSC”) nodig! Baseren op:– ISO 37120 Thema’s voor City Services & Quality of Life– IMGEO Objectenhandboek (“Things” in openbare ruimte)– SensorThings (beschrijft de “smartness” sensors / actuators / phenomena)– Noodzakelijke aanvullende attributen en bijbehorende domeinen per smart object

bepalen per thema (o.a. uit IMMetingen)

Informatie Model Smart City (“IMSC”)

6. Afsluiting

• Voor Big Data analyse op City Scale van groot belang dat er standaardisatie komt o.h.g.v. smart things / thing data streams, anders lastig gegevens analyseren + aansturen

• Ontwikkeling van Smart Cities in Nederland actiever begeleiden en sturen– Informatie bijeenkomsten in regio’s belang van standaarden in

smart city implementaties, ook koppelen aan Open (Sensor) Data initiatieven! Smart City Informatiepakket uitdelen

– Realiseren Information Model Smart Cities (“IMSC”)– Reference Implementatie (bvb Kop van Zuid zoals bij 3D Pilot)– Delen van kennis en best practices Whitepaper “Smart Cities en

Open Standaarden” voor alle gemeenten die smart city willen worden en vendor lock-in willen voorkomen / beperken

– Geonovum platform MS4S in de lead om bovenstaande in gang te zetten

– Als niet, dan wildgroei aan vendor specifieke oplossingen die niet open en interoperabel zijn

• Evaluatie / Herdefinitie van IMGEO en IMMetingen i.r.t. nieuwe OGC SensorThings Datamodel en het concept “smart thing”

Afsluiting

Vragen of meer informatie

[email protected] | www.geonovum.nl | @geonovum / #labms4s

Eind

Colofon

Drs. Erik van der ZeePlatform making sense for society

T +31 (0)20 5711 311M +31 (0) 6 1009 9691E [email protected] www.geonovum.nlT @erikvanderzee

Barchman Wuytierslaan 103818 LH AmersfoortP.O. Box 5083800 AM AmersfoortThe Netherlands

http://www.geonovum.nl/

big (sensor) data and smart city interoperability

Data & Analytics