The Data Information and Management System (DIMS)

Wilhelm Wildegger, DLR, DFDVersion 2007-10-15

Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum

Folie 2

DFD, W. Wildegger 2007-10-15

Viewgraph 2

Earth Observation from Space

Distribution Archiving Product Generation

Application

Data Acquisition

Calibration

Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum

Folie 3

DFD, W. Wildegger 2007-10-15

Viewgraph 3

Support for Numerous Missions

Mission Examples

SRTM

CHAMP

Terra & Aqua

Airborne Imaging

ENVISAT

METOP

EnMAP

TerraSAR-X

TanDEM-X

National MissionsEuropean MissionsInternational Missions

Product Examples

Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum

Folie 4

DFD, W. Wildegger 2007-10-15

Viewgraph 4

DIMS

Specific and General Tasks

Product Library

ArchiveInventory

Users

User Information ServicesEOWEB®

Production Control

Order Manage-

ment

Online/Offline

Delivery

Atmospheric

ProcessingSystems

RadarRadarOptical

Specific tasks:Processing of data

General tasks,common to allmissions and sensors

Data Informationand ManagementSystem (DIMS)

Multi-MissionSystem

Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum

Folie 5

DFD, W. Wildegger 2007-10-15

Viewgraph 5

DIMS Facility

Ordering Control

Product Library

Processing System

UIS Loader/Interface

Ingestion System Post-Processing

ProductionControl

EOWEB® User InformationService

PickupPoint

User Systems

PickupPoint

Online/OfflineProd. Gen.& Delivery

OperatingTool

Monitoring& Alarm

DIMS

Data Flow

Control Flow

Short, Medium andLong Term Archiving

Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum

Folie 6

DFD, W. Wildegger 2007-10-15

Viewgraph 6

DIMS, some numbers

Today (Oberpfaffenhofen and Neustrelitz)

ca. 50 processing systems connected to DIMS

ca. 60.000 product transfers per month

ca. 100 product types

ca. 1,000,000 products

ca. 6.7 Mio. files

ca. 200 TByte of data

Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum

Folie 7

DFD, W. Wildegger 2007-10-15

Viewgraph 7

Use

r In

form

.S

ervi

ces

Ord

eri

ng

Con

tro

l DIMS

UISServer

Nam

e/W

eb

/S

W S

erv

ice

DIMS Operations

Server

Pro

du

ctio

nC

ontr

ol

ProductionControlServer

AMU

SANStorageSystem

25 TByte

OrderingControlServer

New DIMS Hardware

C-AFProduction

NetworkCAF Firewall

to DLR Backbone Switch

Pos

tP

roce

ssin

g

PostProcessing

Server

Onl

ine

/Off

line

Pro

du

ct G

en

.&

De

live

ry

Online/ OfflineProduct Gen.

Server

CD/ DVDWritingSystem

Pro

du

ctL

ibra

ry Product Library/ Inventory

Server

ArchiveServer

FCSwitch

FC Sw.

FCSwitch

FC Sw.

Hig

h A

vaila

bili

ty

High AvailabilityServer

MSGProc. System(s)

ERS-2GOME L2/L3

Proc. System(s)

SRTMX-SAR

Proc. Systems

Terra/AquaMODIS

Proc. Systems

AIR OSProc. System(s) ...

TerraSAR-XTVSP

Proc. SystemProcessing

Systems

Secondary CopyRobot Library

(remote)

Primary CopyRobot Library

13*9940B

2*LTO-2

8*LTO-3

...

...

FC Sw.

FC Sw.

Sun Cluster

Disk SANTapeSAN

LX fiber links

Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum

Folie 8

DFD, W. Wildegger 2007-10-15

Viewgraph 8

Hierarchical Storage Management

read

write

Disk Cache

2nd Copy(remote)

1st Copy

stage

migrate

Online Nearline

Quantum AML-2

Quantum i2000

2200 TByte archiving capacity, 10 TByte disk cache

Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum

Folie 9

DFD, W. Wildegger 2007-10-15

Viewgraph 9

New versus Old DIMS HardwareArchive Tape Drives and Media

Type Native Capacity

Total Capacity ofRobot Library

Read / Write Speed

Connec-tion

old primary copy SonyAIT-2

50 GByte ca. 6000 slots300 TByte

5 MByte/s SCSI

new primary copy Sun / STK9940B

200 GByte ca. 10,000 slots2 PByte

30 MByte/s SAN

old secondary copy DLT7000 35 GByte ca. 1000 slots35 TByte

+ off robot storage

3 MByte/s SCSI

new secondary copy IBMLTO-3

400 GByte ca. 1000 slots400 TByte

up to80 MByte/s

SAN

Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum

Folie 10

DFD, W. Wildegger 2007-10-15

Viewgraph 10

Archive C-AF Oberpfaffenhofen, Data Volume [TByte]

0

10

20

30

40

50

60

70

80

90

100

110

120

13019

96.0

6

1996

.12

1997

.06

1997

.12

1998

.06

1998

.12

1999

.06

1999

.12

2000

.06

2000

.12

2001

.06

2001

.12

2002

.06

2002

.12

2003

.06

2003

.12

2004

.06

2004

.12

2005

.6

2005

.12

2006

.6

2006

.12

2007

.6

AIR_RS

TerraSAR-X

GEMOS

SRTM

XSAR_2

XSAR_1

ERS_SAR

SEASAT

ENV_SCIA

ENV_MIPAS

ENV-AATSR

HyMAP

ROSIS

DAIS

ZKI

MODIS

NOAA

GOME

METOP-GOME2

MSG

METEOSAT (SOLEMI)

METEOSAT

ERS_GOME

ERS_ORB

Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum

Folie 11

DFD, W. Wildegger 2007-10-15

Viewgraph 11

C-AF DIMS Archive OberpfaffenhofenData Volume [TByte]

0

500

1.000

1.500

2.000

2.500

1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012

TanDEM-XTerraSAR-X, L1bTerraSAR-X, L0, DACsTerraSAR-X, L0ERS-SAR-WaveERS-SARSRTMGEMOSXSAR-2XSAR-1AIR-RSRapid Eye DLR-Data-PoolStereo Camera (airborne)ARESROSISDAISHyMAPWDCEnMAPMODIS VAMODIS (Terra, Aqua)GOME (ERS und METOP VA)METOP-GOME2ENVISOLAR/MSGMSGMETEOSAT ENVISAT-VA-AtmosENVISAT SCIAMACHYENVISAT MIPASENVISAT AATSRERS-SARNOAAMETEOSATERS-GOMEZKI