life cycle of data scientist: database architecture - bojan sovilj

Zatečena arhitektura

Koja je algoritamska kompleksnost izgradnje B Tree indexa za tabelu koja broji 17 miliona row-a?

Sta sve baza podataka (i operativni sistem ;) treba da urade da bi se insertovao jedan slog u tabelu?

Kako koristiti bazu podataka za ono sto joj je u sustini svrha? Takticka i strateska analitika.

Sistemski inzenjering, Administracija baze podataka, Tehnicka infrastruktura...

Relaciona algebra... ili ono sto smo zaboravili o bazama podataka? :|

Uvod u problem izračunljivosti!

Uvod u problem izračunljivosti!

Stao na vagu

Zaustavio

Dolivanje lepkaZaustavio

Zaustavio

Nestabilan signal

Dobar pravac

Ekspresivnost (san dobroga programera)

C# ?

Ekspresivnost (onelineR)

dcharge <- dcast(charge, FrameNumber + Timestamp ~ Sensor, value.var = "Value")

Ekspresivnost (vektorizacija)

frame timestamp lc1 lc1.1 lc1.2 ... lc1.50 lc2 lc2.1 ...

lc1dif lc1.2dif lc1.3dif ... lc1.50diff stability1 stability2 ...

Predvidjanje - 20MA smoother ili simple exponential ili Holt linear?

lc(n+1) = lc(n) + 20MA(lc.dif)

Predvidjanje - 20MA smoother ili simple exponential ili Holt linear?

lc(n+1) = (1-x)* lc(n) + x * lc.dif(n)

lc(n+1) = (1-x) * ((1-x)* lc(n-1) + x * lc.dif(n-1)) + x * (lc.dif(n))

...

lc(n+1) = p(n)*lc(1) + p(n-1)*lc.dif(1) + p(n-2)*lc.dif(2) + … p(1)*lc.dif(1)

Arhitektura

Hvala