best practice - business intelligence mit oracle und open ......jasperreport, jfreechart jdbc apache...

08.11.2006 Business Intelligence mit Oracle und Open Source 1

Projektbericht

Business Intelligencemit Oracle und Open Source

Praxisbeispiel LBS-Vertriebscontrolling

Dario Sanna (IT-Architekt)


● Kunde

● Vertriebscontrolling

● Neues System

● Projektaufbau und Ablauf

● Systemarchitektur

● Fazit

Agenda


Motivation


● 2,1 Millionen Kunden der LBS West in NRW

● 2,6 Millionen Bausparverträge

● Bausparsumme im Bestand 57 Milliarden €

● Neugeschäft 2005: 450.000 Verträge, 10 Milliarden € Bausparsumme

● Nutzung überwiegend für die Immobilienfinanzierung

Kunde

Die LBS-West ist eine der größten Bausparkassen Deutschlands


Kunde (Vertrieb)

● VertriebsmannschaftSteuerung durch den LBS-Innendienst

Eigener Außendienst (ca. 1500 User)

120 Sparkassen (ca. 500 User)

700 Bezirke

● BesonderheitenZwei sich überlagernde, feingliedrige Vertriebshierarchien

Historien (Sparkassenfusionen, Umstrukturierung von Gebieten, etc.)

Komplexität durch große Vertriebsmannschaft und Vertriebshierarchien


Altanwendung wurde den Anforderungen nicht mehr gerecht

● 25 Jahre altes HostsystemListenausgaben

Papierflut

Mangelnde Flexibilität

● KriterienDatenqualität

Aktualität

Berichtsarten

Systemintegration

Wartbarkeit

Office Anbindung

Vertriebcontrolling (Altanwendung)


Neues, modernes, zukunftssicheres System für alle Benutzergruppen

● AnforderungenBrowser basiert, mit einfacher, intuitiver Bedienung

Viele fachlich hoch komplexe, vordefinierte Berichte mit Varianten

Office Anbindung (PDF und Excel Weiterverarbeitung)

Hohe Performance am Frontend

● SicherheitSehr detailliertes Berechtigungssystem

Rollenkonzept

Datenschutz

● Effiziente Entwicklung, zukunftssicher, kostengünstig, revisionsfähig

Vertriebcontrolling (Zielsetzung)


Neues System (Startseite)


Neues System (Beispielbericht 1)


Neues System (Beispielbericht 2)


Neues System (Beispielbericht PDF)


Vorstudie zur Analyse der Anforderungen

● Entscheidende Kriterien für eine angemessene LösungSkill und Erfahrung der beteiligten MA

Verfügbarkeit und Reifegrad der Tools

Abdeckungsgrad der Anforderungen

Anschaffungskosten, Lizenzkosten, Eigenentwicklungskosten

Integrationsfähigkeit in die LBS-Infrastrukturen

Flexibilität, Austauschbarkeit, Wartbarkeit

Beherrschbarkeit, Anpassungs- und Erweiterungsfähigkeit

● Betrachtung / EvaluierungEinige ausgewählte kommerzielle BI-Lösungen

Kombination Open Source und Oracle

Projekt (Vorstudie)


Empfehlungen aus der Vorstudie

● Drei ProjektphasenBasisarchitektur und Neugeschäft, Finanzierung, Bestandsauswertungen

● AIX Hardware

● OracleOracle DB 10g Datenhaltung und PL/SQL für die Geschäftslogik

OWB zur Bewirtschaftung

Berichtserstellung und Bereitstellung mit Oracle Werkzeugen

Reports, Portal, Infrastruktur

● Java Eigenentwicklung für Navigations- und Auswahllogik

Projekt (Vorstudie)


Erarbeitung Konzeption und Prototyp durch Umsetzen Empfehlung

● Berichtsanforderungenanhand von Layoutprototypen und

existierendem Datenhaushalt

● Konzeptiondispositiver Datenhaushalt mit Modellierung als Snowflake Schema

Bewirtschaftungsprozesse von Quellsystemen bis in Zieldatenbank

● Web-Prototyp auf Basis der Vorstudienempfehlung

verarbeitet einige typische Berichte

Projekt (Konzeption)


Konzeption der fachlichen Anforderungen liefert Erkenntnisse

● ErkenntnisseKeine Notwendigkeit für Standardreportingwerkzeuge beim Endbenutzer

Grundlegende Überarbeitung der techn. Vorgaben der Vorstudie

● Konsequenzen für die BasisarchitekturOracle Portal überdimensioniert

Oracle Reports nicht unbedingt notwendig

Stattdessen Open Source + Eigenentwicklung

Oracle und PL/SQL für die Datenhaltung und die Geschäftslogik

OWB für die Bewirtschaftung




● Ausschluss von Standardsoftware und Oracle BI-LösungenZu hohe LizenzkostenUnzureichende oder zu aufwändige ErweiterungsmöglichkeitenGeforderte Performance nicht sichergestelltNicht auflösbare Abhängigkeiten (Oracle IAS, Infrastruktur, Portal, Reports) Wenig Erfahrung mit Oracle Reports, Oracle Portal, OLAP Extention

Ein großer Benutzerkreis benötigt vordefinierte, feststehende BerichteNur flache Ergebnismengen mit vereinzelten festen Navigationswegen

● Oracle PL/SQL für Berichtslogikunübertroffenen Fähigkeiten und Performance von PL/SQLhoher Verbreitungsgrad, leicht erlernbar

Entscheidende KO-Kriterien für kommerzielle Lösungen


Systemarchitektur

● AufgabenAuthentifizierung (SO/SSO)

Autorisierung

Wertebereichsprüfung, Auswahllogik, Darstellung, PDF- und Excel-Export

Berichtslogik

ETL

DataWarehouse

Systemarchitektur durch Zuschnitt der Verantwortlichkeiten


Systemarchitektur

● Definierte Zuständigkeiten

● Standardisierte Schnittstellen

● Interdisziplinäre Kommunikation

● Überdisziplinär, Gesamtarchitekt

Best Practice : Separation of Concerns (SoC)Trennung der Verantwortlichkeiten


● VorteileEindeutige, überprüfbare, testbare Verantwortlichkeiten

Zeitversetzte, parallele Entwicklung möglich

Austauschbarkeit

● BedingungenEindeutige Identifikation und Zuordnung der Verantwortlichkeiten

Definierte, standardisierte Schnittstellen

● RegelnDomänen lösen nicht Probleme anderer Domänen

Domänen vertrauen übergeordneten / vorstehenden Domänen

Basis für Revisionsfähigkeit :Einhaltung von Standards und Trennung der Verantwortlichkeiten

Systemarchitektur


Oracle 10g

PL/SQL-PackagesMaterialized-Views

DWH-Builder

WebSphere 5.1

Cockpit J2EE

STRUTS, JSP JasperReport

Apache 2.x

SO / SSOmod_kerbmod_so

Windows 2003

Active Directory

HOST

Host-Daten

Authentifizierung GUI, AutorisierungBericht-Darstellung

DWH,Bericht-Logik Datenbestand

Systemarchitektur (Hauptkomponenten)


BNB_108_GL BNB_108_BL

Fakten / Dimensionen

Vorverdichtung

BNB_108_E2

BNB_108_E1

Ausgabe Nutzdaten

Verarbeitung / Aufbereitung

GD lesen

Ergebnis in temporären Tabellen

BNB_108_GD

Neugeschäft

GL lesen BL lesen

PL/SQL-Package:

Error

Audit

Ablaufsteuerung

InitialisierungParameterverarbeitung

FehlerverarbeitungLogging

BNB_108_Geschaeftsarten

System-Tabellen

GD = Müller

Monat = 1

Tarif = Vario3

Parameter in

in

in

Systemarchitektur (Berichtslogik)


Web-Anwendung auf Open Source Basis

● Eingesetzte Open Source ToolsStruts, JSP JasperReport, JFreeChartJDBCApache Commons, AspectJEclipse, MyEclipseWeb 1.0

● Warum nicht andere Tools wie z.B.:Spring, JSFBIRT, FOPHibernateJDeveloperWeb 2.0

Systemarchitektur (J2EE Entwicklung)


Die Verteilung sicherheitsrelevanter Anforderungen auf einzelne Komponenten ist sorgfältig zu begründen

● Standard : Domäne der App-ServerAuthentifizierung, Autorisierung, Schutz von Web-Resourcen (URIs)

Bereitstellung von Ressourcen (z.B. DB-Verbindungen)

● Nicht StandardisiertBerechtigungsprüfung auf Wertemenge (Parameter)

● Mögliche LösungenPrüfung Wertemenge durch WEB-Anwendung

Oracle Virtual Private Database / Label Security

Systemarchitektur (Security)


Oracle Virtual Private Database nicht für Wertebereichsprüfung

● Fachliche GründeBerichtslogik benötigt meist uneingeschränkten Zugriff auf Einzeldaten

Z.B. Vergleichen, Rankings, Summierungen, etc.

● Technologische GründeConnection-Pooling

Ein techn. DB-User für J2EE-Anwendung

● Gewählte LösungWertebereichprüfung in der Web-Anwendung

Daher sicherheitsrelevantes Testobjekt

Systemarchitektur (Security)


Systematische Qualitätssicherung durch Automation

● Automatisierte Testverfahren mit ReferenztestsFür Wertebereichsprüfung (ca. 1000 Testfälle)

Für jedes PL/SQL-Package

Referenzdaten werden vom Fachbereich in Excel erstellt

Auf Basis von HttpUnit Tests

● Automatisierung in der EntwicklungBuild- und –Deploy-Prozesse aller Softwareartefakte

Prüfung Einhaltung von Architektur- und Coding-Conventions

Code Prüfungen

Systemarchitektur (Qualitätssicherung)


Architekturdesign für hohe Performance

● DatenbankDenormalisierungen, Materialized-Views, PL/SQL

● Cache in Web-AnwendungEigener Cache für bereits erstellte Berichte

Minimierung DB-Zugriffe, hohe Rechenkosten für PDF

Preload für unveränderliche Daten

Baumstrukturen für Vertriebshierarchien

● SonstigeFachliche Beschränkung einzelner Berichte auf wenige Seiten

http-Komprimierung bringt Durchsatz

Systemarchitektur (Performance)


Alle Ziele erreicht

● System hat sehr hohe Akzeptanz bei den BenutzernLayout, Navigation, Inhalte, Performance, Robustheit, Office-Anbindung

● Reibungsloser Betrieb

● Hohe Qualitätdurch automatisierte Tests, bei gleichzeitiger konstanter Weiterentwicklung

● Investition in ZukunftNeue Basisverfahren auch für neue Projekte der LBS-West geschaffen

● Der Einsatz der Oracle Datenbank mit PL/SQL war entscheidend

Fazit (Positiv)


Optimierungspotential

● JasperReport hat SchwächenPDF-Erzeugung skaliert unter sehr hoher Last nur begrenzt gut

Für HTML und Excel wenig geeignet

Bei Neuentwicklung BIRT in Betracht ziehen

● VerdichtungenLange nächtliche Laufzeiten

Komplizierte SQLs

Oracle-Bug: zu komplexe SQLs für Matviews

● DWBEinige Unzulänglichkeiten können Komplexität erhöhen

Fazit (Negativ)


„LBS-Cockpit –

ein Quantensprung für die Steuerung

des Vertriebs der LBS.“

Uwe Körbi, Leiter Hauptabteilung Vertrieb LBS-West

Kundenstatement


Fragen ?

Vielen Dank !


viadee UNTERNEHMENSBERATUNG GMBH

Anton-Bruchausen-Str. 8

48147 Münster

+49 251 77777 888Fax:

+49 251 77777 0Fon:

[email protected]:

www.viadee.deWeb:

Vielen Dank für Ihr Interesse!

best practice - business intelligence mit oracle und open ......jasperreport, jfreechart jdbc apache...

Documents