steven le roux - kafka et storm au service de la lutte antiddos à ovh - soirée big data du...
DESCRIPTION
Kafka et Storm au service de la lutte antiDDoS à OVH Par Steven Le Roux Présentation faite à la Soirée Big Data du FinistJUG le 28/10/2014TRANSCRIPT
![Page 1: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/1.jpg)
Kafka et Storm au service de la lutte antiDDoS à OVH
Steven Le RouxInfrastructure Engineer
OVH.comFinistJUG29 Oct 2014
![Page 2: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/2.jpg)
![Page 3: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/3.jpg)
![Page 4: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/4.jpg)
![Page 5: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/5.jpg)
![Page 6: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/6.jpg)
OVH Anti-DDoS
![Page 7: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/7.jpg)
![Page 8: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/8.jpg)
VAC
![Page 9: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/9.jpg)
10
![Page 10: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/10.jpg)
![Page 11: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/11.jpg)
![Page 12: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/12.jpg)
![Page 13: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/13.jpg)
![Page 14: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/14.jpg)
3 Tbps 17 Datacenters
32 PoPs
![Page 15: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/15.jpg)
![Page 16: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/16.jpg)
![Page 17: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/17.jpg)
![Page 18: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/18.jpg)
![Page 19: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/19.jpg)
20
![Page 20: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/20.jpg)
![Page 21: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/21.jpg)
![Page 22: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/22.jpg)
![Page 23: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/23.jpg)
Data Pipeline
![Page 24: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/24.jpg)
![Page 25: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/25.jpg)
Clients
Producers
Consumers
Brokers
Topics
Partitions
Replicas
/ kafka
![Page 26: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/26.jpg)
/ kafka / topic
![Page 27: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/27.jpg)
/ kafka / topic / replicas
![Page 28: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/28.jpg)
/ kafka / topic / replicas / factor / 3
![Page 29: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/29.jpg)
/ kafka / topics
![Page 30: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/30.jpg)
/ kafka
![Page 31: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/31.jpg)
/ kafka
![Page 32: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/32.jpg)
/ kafka / producers
![Page 33: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/33.jpg)
Stream Processing
![Page 34: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/34.jpg)
![Page 35: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/35.jpg)
Topology (DAG)
Spouts
Bolts
Tuples
Fields
Cluster
Nimbus
Supervisors
Workers
/ storm
![Page 36: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/36.jpg)
/ storm / tuple
field
![Page 37: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/37.jpg)
/ storm / tuple
{field1, field2,…,fieldn}
![Page 38: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/38.jpg)
/ storm / tuple
{field1, field2,…,fieldn}Bolt Bolt
![Page 39: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/39.jpg)
/ storm / topology
![Page 40: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/40.jpg)
/ storm / topology / antiddos
![Page 41: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/41.jpg)
![Page 42: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/42.jpg)
Stream Grouping
![Page 43: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/43.jpg)
Shuffle Grouping Field Grouping
Direct Grouping Other Grouping
/ storm
![Page 44: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/44.jpg)
Attacks
Router Grouping
Scans
IP src Grouping
/ storm
![Page 45: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/45.jpg)
Attacks
≈ 1s
ScoringFiltersBurst
Scans
IP
Proto
/ storm
![Page 46: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/46.jpg)
Indexing
Prooving
Producing
/ storm / event
![Page 47: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/47.jpg)
#lifecycle
![Page 48: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/48.jpg)
#dataviz
![Page 49: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/49.jpg)
Nice speech… … so what ?
![Page 50: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/50.jpg)
False positives
Strange behaviours from customers
e.g. DB sync without connection pool
Application centric
i.e. UDP protocols
#issues
![Page 51: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/51.jpg)
Add other sources
Application Anti-DDoSGame
Half Life/SourceCS:GOTeamSpeak / MumbleGTASA:MP…
More to come (any special need ?)
#solutions
![Page 52: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/52.jpg)
![Page 53: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/53.jpg)
#datalake
![Page 54: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/54.jpg)
![Page 55: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/55.jpg)
Nodes - Hardware
CPU 16c/32t
RAM 256GB
Disks : OS : Raid 1Data : 10 disks
per node200 MB/s ~ 1,5-2 Gbps
#hardware
![Page 56: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/56.jpg)
Kafka
I/O bound
Bench (1node)1M+ msg/s
No compression
No ackers
80MB/s
Tuningnum.io.threadnum.network.threadsocket.*.buffer.*
Storm
CPU/RAM bound
M+ tuples/s
No ackers
Break SRP
Minimal workersAvoid transfer buffer
#config
![Page 57: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/57.jpg)
OpenSOC
![Page 58: Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG](https://reader034.vdocument.in/reader034/viewer/2022042816/559a7d351a28abac648b46e9/html5/thumbnails/58.jpg)
Clément Sciascia - @csciasci
Magnus Edenhill - @edenhillm
https://github.com/edenhill/librdkafka
LinkedIn - Apache Kafka
Nathan Marz - Apache Storm
#Thanks
#moreStorm basic training – Mickael G. Noll
http://fr.slideshare.net/miguno/apache-storm-09-basic-training-verisign
Kafka documentation