postgresql: the nosql way

PostgreSQL: The NoSQL Way

Hans-Jurgen Schonig

May 7, 2015

Hans-Jurgen SchonigMay 7, 2015

Anforderung: Unstrukturierte Daten


Strukturiert vs. Unstrukturiert

I Relationale Systeme speichern traditionell in strukturierterForm.

I Das Grundprinzip:

I “Think first”.I Erst die Struktur, dann die Daten


Unstrukturierte Daten

I Der Inhalt kann sich zur Laufzeit andern.

I Felder kommen dazu, andern sich, etc.

I Das ist relational auch moglich:

I DDLs sind auf minimales Locking optimiert


Strukturbruche

I Schwieriger wird es, wenn sich Beziehungen andern

I 1:1 auf 1:n oder m:nI Das ist nicht ganz einfach

I Spaltenanderungen und Typanderungen sind eher trivial


Der NoSQL Ansatz

I Key / Value StoresI Ein verteilter Schlussel


Die Problematik: Ein Beispiel

I Kann man ohne Struktur Software schreiben?

I Beispiel: Ein einfacher Punkt . . .

I Ein normaler Punkt: (x, y)

I GPS:

I 48 07’29.0“N 16 33’27.0”EI 48.124722, 16.557500

I Nord / Sud ist eigentlich die y-Koordinate


Struktur

I Es muss also irgendwo immer Wissen uber die Struktur geben.

I Entweder in der Applikation oder in der Database


PostgreSQL Funktionalitat


Neue Datentypen

I PostgreSQL stellt spezielle Datentypen fur generischeDatenbestande zur Verfugung:

I hstoreI jsonI jsonb

I Json folgt RFC 7159


hstore: Key / Value Store

I hstore ist der traditionelle Key / Value StoreI hstore hat ein proprietares FormatI Schon seit vielen Jahren verfugbarI hochkompaktes Format


json Dokumente

I Der json-Datentyp validiert json Daten

I Intern wird als Text gespeichert

I Spezielle Operatoren konnen direkt auf das json Dokumentlosgelassen werden

I Einsatz: Ideal fur Daten, die fast nie analysiert werden undschnell geschrieben werden mussen.


jsonb: Binares json

I PostgreSQL zerlegt das json und legt es intern binar ab.

I Dabei werden bei er Speicherung alle Register gezogen, umdas moglichst klein zu machen.

I Es muss nie wieder geparst werden.

I Einsatz: Wenn Daten oft angefasst und gelesen werden.


Wie sieht das aus?

SELECT ’5’::json;

-- Array elements (elements need not be of same type)

SELECT ’[1, 2, "foo", null]’::json;

-- Object containing pairs of keys and values

-- Note that object keys must always be quoted strings

SELECT ’{"bar": "baz", "balance": 7.77, "active": false}’::json;

-- Arrays and objects can be nested arbitrarily

SELECT ’{"foo": [true, "bar"],

"tags": {"a": 1, "b": null}}’::json;


Ordnung im Dokument (1)

SELECT ’{"bar": "baz", "balance": 7.77,

"active":false}’::json;json

-------------------------------------------------

{"bar": "baz", "balance": 7.77, "active":false}(1 row)


Ordnung im Dokument (2)

SELECT ’{"bar": "baz", "balance": 7.77,

"active":false}’::jsonb;jsonb

--------------------------------------------------

{"bar": "baz", "active": false, "balance": 7.77}(1 row)


Einfache Operationen (1)

I Auf Existenz prufen

test=# SELECT ’"foo"’::jsonb @> ’"foo"’::jsonb;

?column?

----------

t

(1 row)



I Ist “rechts” in “links” enthalten?

test=# SELECT ’[1, 2, 3]’::jsonb @> ’[1, 3]’::jsonb;

?column?

----------

t

(1 row)



I Elemente extrahieren

test=# SELECT ’[{"a":"foo"},{"b":"bar"},{"c":"baz"}]’::json->2;

?column?

-------------

{"c":"baz"}(1 row)



I Objekte uber den Key holen

test=# SELECT ’{"a": {"b":"foo"}}’::json->’a’;?column?

-------------

{"b":"foo"}(1 row)



I Auf Pfade zugreifen

test=# SELECT ’{"a": {"b":{"c": "foo"}}}’::json#>’{a,b}’;?column?

--------------

{"c": "foo"}(1 row)


JSON erzeugen und zerlegen


Relational -> Json

I Relationale Daten konnen sehr sehr einfach in ein jsontransformiert werden.


Ein Beispiel

test=# SELECT row_to_json(x)

FROM (VALUES (1, 2), (3, 4)) AS x;

row_to_json

---------------------------

{"column1":1,"column2":2}{"column1":3,"column2":4}

(2 rows)


jsons aggregieren

test=# SELECT json_agg(row_to_json(x))

FROM (VALUES (1, 2), (3, 4)) AS x;

json_agg

--------------------------------------------------------

[{"column1":1,"column2":2}, {"column1":3,"column2":4}](1 row)


Ein json als Tabelle darstellen

test=# SELECT *

FROM json_each(’{"a":"foo", "b":"bar"}’);key | value

-----+-------

a | "foo"

b | "bar"

(2 rows)


json -> record

test=# SELECT *

FROM json_to_record(’{"a":1,"b":[1,2,3],"c":"bar"}’)AS x(a int, b text, d text);

a | b | d

---+---------+---

1 | [1,2,3] |

(1 row)


Indizierung


json Indizierung

I Es ist jederzeit moglich, einzelne Elemente zu indizieren

I Funktionelle Indices sind immer moglich

I GIN Indices sind jedoch praktischer.

I GIN indiziert JEDES Feld im json


GIN: Ganz einfach ..

CREATE INDEX idx_name ON t_table USING gin (json_field);


Performance:

I Just two words: IT ROCKS !


GIN Internas

I GIN verwendet intern sehr effiziente varbit EncodingsI Der Index ist sehr kleinI Alle Felder sind indiziert


Conclusion


PostgreSQL

I Bietet gute Moglichkeiten, unstrukturierte Daten zu speichern.

I Bei Bedarf sind Erweiterungen schnell zu schreiben

I Unstrukturierte Speicherung ist in einem relationalenPowerhouse moglich

I Weitere Funktionalitat wird folgen.


Finally . . .

Gibt es Fragen?


postgresql: the nosql way

Data & Analytics

jurgen schonig may

json hans

row hans

json daten

koordinate hans

database hans

hstore json jsonb json

unstrukturierte daten