a nosql summer - the year after
TRANSCRIPT
![Page 1: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/1.jpg)
09.09.11
A NOSQL SUMMER THE YEAR AFTER
Christian Gügi, MeMo News AG @chrisgugi
![Page 2: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/2.jpg)
Agenda
• About me & MeMo News AG • NoSQL
• Was, warum und wie?
• Hadoop in a nutshell • NoSQL-basiertes CMS
09.09.11
2
![Page 3: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/3.jpg)
MEMO NEWS AG About
09.09.11
![Page 4: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/4.jpg)
About MeMo News AG
09.09.11
Data Crawling 1
Information Processing 2
Analyse und Personalisierung 3
Ausgabe und Weiterverarbeitung 4
Veröffentlichungen in etablierten und sozialen Medien werden laufend geladen und von Spam gereinigt.
Die Rohdaten werden kategorisiert und indiziert.
Individuelle Suchagenten filtern in Echtzeit die für den Kunden relevanten Treffer heraus.
Der Kunde greift auf die Ergebnisse zu, um sie weiter zu analysieren und zu verarbeiten.
![Page 5: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/5.jpg)
Referenzen
09.09.11
Germany / Japan
5
![Page 6: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/6.jpg)
NOSQL Zum Thema
09.09.11
![Page 7: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/7.jpg)
NOSQL Zum Thema
09.09.11
![Page 8: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/8.jpg)
Was ist NoSQL?
• Term „NoSQL“ ist erst 2 Jahre alt • kein Mainstream
• Kein Produkt, keine Firma, keine Technologie • Ist eine Bewegung, eine neu Art Datenbanken
voranzutreiben • Basiert auf nicht-relationale Ansätzen
09.09.11
![Page 9: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/9.jpg)
Warum NoSQL?
• Als Ansatz zur Lösung von (ungelösten) web scale* Problemen im Umgang mit unstrukturierten, massiven Datenmengen
• Hauptsächlich motiviert durch Web 2.0
• Es geht hauptsächlich um Scaling, Distribution und BigData
09.09.11
* Web Scale: Highly Available, Reliable, Transparent, High Performance, Scalable, Accessible, Secure, Usable, and Inexpensive
http://community.oclc.org/engineering/2009/05/what-is-web-scale.html
![Page 10: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/10.jpg)
Ansätze von NoSQL?
• Von Generalisierung zur Spezialisierung • Keine Tabellenschemas • Keine Relationen, um JOINs zu vermeiden • Horizontal skalieren
• à weg von ACID, hin zu CAP
09.09.11
Spezifische Probleme mit spezialisierten Lösungen angehen
![Page 11: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/11.jpg)
FROM ACID TO CAP Theorem
09.09.11
![Page 12: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/12.jpg)
ACID
Eigenschaften von RDMS : Atomicity – ganz oder gar nicht Consistency – gewährleistet Integrität Isolation – Kapselung gleichzeitiger T. Durability – Persistenz aller Änderungen
Skalieren vertikal -> grosse Datenbanken -> teuer
![Page 13: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/13.jpg)
CAP Theorem
![Page 14: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/14.jpg)
3 neue NoSQL Kategorien
Kategorien
09.09.11
Key value Store
• MemcacheDB • Redis • Casandra • Dynamo • Riak
Wide column Store
• BigTable • HBase • Hypertable
Graph Oriented Store
• Neo4j • Sones • Trinity • DEX
Document Store
• Jackrabbit • couchDB • MongoDB • Lotus Notes
Relational Store
• MySQL • PostgreSQL • Oracle • MS Server
Object oriented Store
• db4o • Versant • Objectivity
...
NoSQL Relational
![Page 15: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/15.jpg)
NoSQL – Future?
• Noch immer ungelöst • (Fulltext) Search & Find • Distributed Index Storage • (Structured) Query Language
09.09.11
In Zukunft gibt’s kein NoSQL mehr, nur noch spezialisierte Datenbanken.
![Page 16: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/16.jpg)
HADOOP In a nutshell
09.09.11
![Page 17: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/17.jpg)
Apache™ Hadoop™
• Apache Projekt, open-source • Software für reliable, scalable, distributed
computing • Basiert auf Google Papers /2006
• Implementiert BigTable, Chubby, GFS
• Beinhaltet NoSQL Datenbank(en)
09.09.11
„Apache Hadoop takes top prize at Media Guardian Innovation Awards. Data management software described by judges as 'Swiss army knife of the 21st century' wins innovator of the year award“ Marie Winckler, guardian.co.uk, Friday 25 March 2011
![Page 18: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/18.jpg)
Apache™ Hadoop™
09.09.11
Commodity Hardware
Operating System - Linux
JVM
Data Storage Framework Data Processing Framework
Bac
kup
& R
ecov
ery
Dep
loym
ent
Secu
rity
Man
agem
ent
MapReduce HDFS
Orchestration Framework
Zookeeper Chukwa
Data Mining Framework
Mahout
NoSQL Databases
Cassandra HBase
Data Accessing Framework
Pig Hive Avro
![Page 19: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/19.jpg)
Powered by Hadoop™
09.09.11
• Adobe • Ebay • Facebook • IBM • Joost • Last.fm • LinkedIn • Markt24 • NYT • Powerset/Microsoft • Rackspace • StumbleUpon • Twitter • Yahoo uvm.
http://wiki.apache.org/hadoop/PoweredBy
![Page 20: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/20.jpg)
MADE FOR THE AGE OF DATA Lily CMS
09.09.11
![Page 21: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/21.jpg)
The Age of Data
• Mehr & mehr Firmen adaptieren NoSQL (meist interne Verwendung)
• Vielzahl an Produkten / Distributionen • NoSQL wird Enterprise‘e ... Aber noch kein Mainstream
• Wie würde man Wikipedia im Jahr 2011 implementieren?
09.09.11
![Page 22: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/22.jpg)
Lily
• „Lily is Smart Data, at Scale, made Easy“ • Content und Data Repository • Architektur ausgelegt für BigData
• Basiert auf NoSQL Ansätzen
• Core • Store, Index und Search
• Add-On • Data usage tracking, user profiling, analytics and
audience recommendations
09.09.11 http://outaerthought.org/site/products/lily.html
![Page 23: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/23.jpg)
Hybrid Lösung • Solr • Hadoop • Lily Komponenten
Lily Architektur
09.09.11
Hadoop
MapReduce HDFS
HBase Solr
Lily CMS Core CMS Funktionaliäten: Store, Index & Serach
Add-on‘s: Data usage tracking, user profiling, analytics and audience recommendations
![Page 24: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/24.jpg)
Lily Architektur2
Hadoop
MapReduce HDFS
HBase Solr
Lily CMS
09.09.11
![Page 25: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/25.jpg)
Powered by Lily
09.09.11
• BBC • BBC Live Services: powering social web
applications (tagging, commenting, ranking, voting) for BBC websites
• Groupe Adeo • large e-commerce and web project for global
retail
• Canadian Coast Guard • e-Learning Material management system (LMS),
Competency-based Learning
http://outerthought.org/site/about/customers.html
![Page 26: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/26.jpg)
FRAGEN? FAQ
09.09.11
![Page 28: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/28.jpg)
![Page 29: A NoSQL Summer - The Year After](https://reader034.vdocument.in/reader034/viewer/2022042817/55a2bdc41a28ab54268b4607/html5/thumbnails/29.jpg)
Quellen/Links
• Web scale • http://community.oclc.org/engineering/2009/05/
what-is-web-scale.html
• NoSQL • http://nosqlsummer.org/ • http://nosql-database.org/
• Präsentation • http://www.memonews.com/blog
09.09.11