gridgain customers master deck

GridGain Overview

March 2021

2021 © GridGain Systems GridGain Company Confidential

Agenda

2

• The Growth of In-Memory Computing & GridGain

• The GridGain Platform

• GridGain 사례

• GridGain Services

• Q&A

GridGain Company Confidential3

The Growth of In-Memory Computing & GridGain


Gartner Strategic Planning Assumptions

• 최근클라우드네이티브애플리케이션개발의 75 %는 IMC 또는 IMC를사용하는서비스를활용하고있습니다.

• 2021 년까지대기업및글로벌기업의최소 25 %는 IMC 인프라복잡성을줄이기위해인메모리기술을결합한플랫폼을채택할것입니다.

• 2022 년까지대기업및글로벌기업의 40 %는 IMDBMS를사용하여물리적데이터저장소의급격한증가에대응할것입니다.


Top 5 Dev Mailing Lists

1.

2.

3.

4.

5.

Top 5 User Mailing Lists

1.

2.

3.

4.

5.

A Top 5 Apache Project

15M+downloads

Apache Ignite is used by tens of thousands of organizations

The Commercial Company Behind Apache Ignite


GridGain Awards & Recognition in 2017 - 2021

The 100 Companies That Matter Most in Data – 2015, 2016, 2017, 2018, 2019 &

2020

Red Herring 100 North America

Winner – 2016, 2017 & 2018

Bloor Mutable Award

2019Red Herring 100 Global Winner

2016, 2017 & 2018

San Francisco Business Times #20 Fastest Growing Private Company

in 2019, #5 in 2017 & 2018

Silicon Valley Business Journal#4 Fastest Growing Private Company

in 2019, #2 in 2017 & 20182017, 2018, 2019 & 2020

DBTA Trend-Setting Products in

Data and Information Management

2018, 2019

Best Company of the Year –Computer Software – 2020

Silver in 2019, Bronze in 2016, 2017 & 2018

50 Most Valuable Brands for 2018

The Silicon Review

Deloitte Technology Fast 500

2018, 2019 & 2020

Inc. 5000’s Fastest Growing

Companies in California – 2020


Logistics & Transportation

Major Global Brands Use GridGain

IoT

AdTech/Media/Entertainment

Pharma & Healthcare

Financial Services Software/Cloud

Telecom & Mobile

IoT

AdTech / Media / Entertainment

Logistics & Transportation

eCommerce & Retail

Pharma & Healthcare

Reliance

FinTech


The GridGain Platform


In-Memory Data Grid저장소 및 스트리밍데이터의 데이터를캐시하고 클러스터

서버에서 애플리케이션코드 실행

In-Memory Database데이터 저장소 대체, 스트리밍 데이터

수집/저장하며 클러스터서버에서 애플리케이션

코드 실행

Streaming Analytics인 메모리 클러스터로수집 된 스트리밍

데이터의 실시간 분석

Continuous ML/AI통합된 ML 및 AI

라이브러리를 사용하여인 메모리 데이터에 대한

모델 학습

Core In-Memory Data

Storage and Processing

Functionality

Integrated In-Memory

Data Analysis

Features Streaming Analytics

Continuous ML/AI

In-Memory Data Grid

In-Memory Database

The Most Comprehensive In-Memory Computing Platform


Data Layer

NoSQLRDBMS Hadoop

Application Layer

Web-Scale Apps Mobile AppsIoT Social Media

The Leading In-Memory Computing Platform

10

• 메모리 레벨의 처리 속도 향상s• 분산 ANSI-99 SQL and ACID 트랜젝션 지원• Apache Ignite 기반

다양한 기능을 갖춘 완전한 플랫폼

• 기존 인프라 구조 변경 최소화• 거의 모든 RDBMS, NoSQL and Hadoop

datastores 지원

가장 전략적이고 중단 없는 접근 방식

• Confluent/Kafka, Spark, TensorFlow

인기있는 솔루션과 통합

GridGain In-Memory Computing Platform

In-Memory Data Grid

In-Memory Database

Streaming Analytics

Continuous Learning

Framework

Transactional Persistence (Option)


GridGain 주요 기능

11

분산 In-Memory

데이터 저장소In-Memory Data Grid

or Database

• 디스크와상호작용을제거한인메모리데이터처리

• 페타바이트수준의메모리데이터에대한수평확장성을제공하는대규모분산아키텍처

• 기존앱을위한인메모리데이터그리드

• 새로운앱을위한인메모리데이터베이스또는인메모리데이터그리드

• IMDG에서 IMDB로간단한마이그레이션

Multi-Model Data

Access

• ANSI-99 SQL or key-

value 데이터저장소

• 다양한프로그램언어(Java, .NET, C++,

REST, Python, Scala,

PHP)사용하는 Client에통합된 API 제공

2021 © GridGain Systems GridGain Company Confidential12

배치 처리사용자 구성 가능한

ACID 트랜잭션

• 여러서버의분산된대량데이터의배치처리

• 데이터네트워크이동감소, 대규모병렬처리가능

• Fully distributed, ACID

transaction 지원

• 사용자가 ACID 로직을즉시구성하여트랜젝션일관성유지가능

Automatic IMDG

Integration

• 코딩없이스키마가져오기, 데이터로드및연결자동구성

• SQL integration with

RDBMSs

• Cassandra, MongoDB,

Hadoop 지원




13

Memory-Centric

Computing스트리밍 데이터 분석

• 일부데이터(0-100 %)는메모리에저장되고전체데이터는디스크에저장되는분산형하이브리드메모리데이터베이스로배포가능

• 재시작시즉각적인데이터가용가능

• Apache Kafka용Confluent 인증커넥터지원

• 이벤트기반데이터수집및처리

• Apache Spark 기반통합지원

Machine & Deep

Learning

• 내장된기계학습라이브러리를사용하여ETL 필요없는지속적인기계학습모델학습

• TensorFlow의온라인저장소역할


The GridGain 사례


Sberbank - Core Banking Services at Scale

15

• Problems

- 온라인및모바일뱅킹으로인해트랜젝션부하 100배증가- 은행전체에공통스토리지계층필요- 기존 RDBMS 시스템의높은비용

• GridGain Solution

- 10 개노드에서초당 10 억트랜잭션으로벤치마킹- 새로운핵심뱅킹시스템을위한데이터기반- 3개의데이터센터에 2,000대서버로 Scale-out 구성- 1.5 페타바이트의메모리데이터- 디스크에서즉시재시작가능(메모리워밍업없음)

16,000개 이상의 지점을 보유한 러시아 최고의 대은행(Top 20 Worldwide Bank)

Front-End APIs

SQL TXComputeService

Grid

Key /

Value

Payments SecuritiesAccounts Credits Clients


Distributed In-Memory Data Store

Distributed Persistent Store

In-Memory Data Store

Persistent Store

Server Node


Persistent Store

Server Node


Persistent Store

Server Node


RBC Article and interview with German Gref

“Sberbank 새로운 IT 계획은 은행이 몇 주가 아닌 몇 시간 내에신제품을 소개할 수 있는 플랫폼을 만드는 것입니다. 이플랫폼은 사실상 무제한의 성능과 매우 높은 안정성을제공합니다. 훨씬 저렴하고 고객 거래 중 운영자의 작업을 크게줄일 수 있습니다. 이 시스템은 기계 학습, 유연한 가격 책정 및인공 지능을 사용합니다.” German Gref, head of Sberbank.

“새로운 시스템은 Oracle, IBM 등의 입찰에서 승리한GridGain의 기술을 사용하여 대기업보다 훨씬 높은 성능을제공합니다” he added.

German Gref

CEO & Chairman

Sberbank


ING Commercial and Investment Banks

17

• Problem

- 경쟁력있는새로운고객서비스를빠르게제공- ING의소매및투자은행모두에서더빠른속도와규모달성

• GridGain Solution

- 리스크와성능측면에서속도및확장목표달성.

- 다양한소스 API에서대한데이터집계- ING의소매금융을위한모바일트래픽의연간 25 % 성장지원- End-to-end 지연시간을 100ms 미만으로감소- ING가 PSD2, SEPA, STET 시장에처음으로진출하도록지원

암스테르담에 본사를 둔 네덜란드 다국적 은행

Front-End APIs

Payments SecuritiesAccounts Credits Clients


In-Memory

Data Grid

In-Memory

Database

Streaming

Analytics

Continuous

Learning Framework

Mainframe Cassandra

Multi-Datacenter Infrastructure

RDBMS


American Express

18

Leading multinational financial services company

with nearly 60M cardholders worldwide

• Problem– 판매자 지불 시간을 며칠에서 몇 시간으로 단축– 메인 프레임에서 현대적이고 확장 가능한 아키텍처로

마이그레이션– 여러 영역에 필요한 수 테라 바이트 메모리 솔루션

• GridGain Solution– 이기종 기술을 연결하는 통합 API 제공– 다단계 마이그레이션 작업 가능– 마이그레이션 준비가 되면 그리드에 포함되지 않은

애플리케이션을 위한 새 노드 추가– 판매자 결제 서비스의 배치 작업 성능 향상

PDSPDS PDS

VSAM

CobolApp

JavaApp

Client

JCICS API

JCICS API

Ignite API

Ignite

Streaming

API

Use for

Disaster

Recovery

DB2


Citi group Inc. ( CITI )

19

• Citigroup Inc. (CITI) is an American Multinational Investment Bank

• Headquarters , New York City

• Revenue is $72,854 Billion US Dollars

• Total Assets $1,917 Trillion US Dollars

• Citi는 GridGain Enterprise Edition을사용하여지불및신용승인을위해전세계 350,000 개이상의개별고객에서비스제공

• Citi는처음으로배치프로세스가아닌실시간으로정보를고객에게제공

• GridGain은실시간결제및승인시스템의고객을 3 배로늘리기위해작업중


GridGain Products & Services

2021 © GridGain Systems GridGain Company Confidential21

GridGain Enterprise & Ultimate Edition Features

GridGain Enterprise Edition GridGain Ultimate Edition

Management & Monitoring

Rolling Upgrades

Segmentation Protection

GoldenGateSupport

Data Center Replication

Enterprise-grade Security

Kafka Connector

Full, Incremental and Continuous Backups

Point-in-Time Recovery

HeterogenousRecovery

Network Backups

In-MemoryData Grid

In-MemoryDatabase

StreamingAnalytics

ContinuousLearning

Framework

Transactional Persistence

In-MemoryData Grid

In-MemoryDatabase

StreamingAnalytics

ContinuousLearning

Framework

Transactional Persistence

Data Lake Accelerator

Management & Monitoring

Rolling Upgrades

Segmentation Protection

GoldenGateSupport

Data Center Replication

Enterprise-grade Security

Kafka Connector

Data Lake Accelerator

Enterprise

Edition Features

Ultimate Edition

Features


Software Product Versions

22

Apache Ignite

GridGain Community Edition

GridGain Enterprise Edition

GridGain Ultimate Edition

In-Memory Data Grid l l l l

In-Memory Database l l l l

In-Memory Streaming Analytics l l l l

Continuous Learning Framework (ML/DL) l l l l

In-Memory Compute Grid l l l l

In-Memory Service Grid l l l l

Distributed In-Memory File System l l l l

Advanced Clustering l l l l

Distributed Messaging l l l l

Distributed Events l l l l

Distributed Data Structures l l l l

JCache (JSR-107) Support l l l l

Auto-Loading of SQL Data l l l l

Dynamic Cache Creation l l l l

Java/.NET/C++ Interoperability l l l l

Portable Objects l l l l

Security Updates l l l

Maintenance Releases & Patches l l l

Management & Monitoring Tool l l

Enterprise-Grade Security l l

Network Segmentation Protection l l

Rolling Production Updates l l

Data Center Replication l l

In-Memory Data Lake Accelerator l l

Oracle GoldenGate Integration l l

Full, Incremental and Continuous Backups l

Network Backups l

Point-in-Time Recovery l

Heterogeneous Recovery l


GridGain Software Support Options

23

Solution Unsupported(Free)

Basic Support($)

Standard Support($$)

Premium Support($$$)

Software Apache Ignite Apache Ignite or GridGain

Community Edition

GridGain Community or

Enterprise Edition

GridGain Enterprise or Ultimate Edition

Troubleshoot Performance or Reliability Issues l l l

Identify Bugs and Product Limitations & Workarounds l l l

Support Hours 9x5 (24x7 option) 24x7 24x7

Initial Response Time 4 hours 2 hours 1 hour

Unlimited Support Incidents l l l

Named Technical Contacts 2 3 4

Initial Consultation Support 2 Hours

Maintenance Releases l l

Hot Bug Fixes l l

Enhanced Features (Enterprise & Ultimate Editions) l l

Custom Contracts l l

Login Support to Customer Environment l l

Support Channels Web/Email Web/Email/Phone Web/Email/Phone


GridGain Control Center

24

• 통합적인 관리 및 개발 솔루션• 쉽게 사용자 정의 할 수있는 드래그 앤 드롭 대시 보드• 200 개 이상의 측정 항목 모니터링• GridGain 8.7+, Apache Ignite 2.8+ 버전 지원

Cluster Management and Developer Tool

• 무료 온라인 버전• 공유 클러스터 관리를 위한 온프레미스 버전 다운로드

가능한• 2 노드 무료• 더 큰 클러스터를 위해서는 상용 버전 필요

Online and On-Premises Versions


Control Center Features for IT Admins, DevOps and Developers

25

IT Admins DevOps Developers

Cluster Management l l

Baseline Topology l l l

Performance Monitoring l l

Alerts l l

Backup & Recovery l l

Cluster Upgrades l l

Data Rebalancing l l

API Tracing l l

Query Monitoring & Analysis l l

Query Development l


Control Center Features by Product

26

Apache Ignite

GridGain Community

Edition

GridGain Enterprise Edition

GridGain Ultimate Edition

Cluster Management l l l l

Baseline Topology l l l l

Performance Monitoring l l l l

Alerts l l l l

API Tracing l l l l

Query Development l l l l

Rolling Upgrades l l

Backup & Recovery l


GridGain Nebula: Managed Services Offering

27

• 클러스터 설정, 유지 관리 및 모니터링• 24x7 관리, 모니터링 및 관리• 원격 및 온 프레미스 옵션

MSO for GridGain and Apache Ignite

• 비즈니스에 좀 더 집중 가능• 운영 비용 절감• 최고의 시스템 안정성 제공• 다중 플랫폼 지원을 통해 온-프레미스 또는 클라우드에 배포

가능• 인프라 성장 계획 지원

Key Benefits


Extensive MSO Experience Reduces Your Costs

28

• 수십 년간의 GridGain 및 Ignite 관리 형 서비스 및 지원경험을 기반으로 한 프로세스 및 도구

• 완벽한 설정 및 배포 관리 전문 지식• 백업, 인프라 확장 및 시스템 업그레이드를 포함한 고급

기능에 대한 전문 지식

Years of MSO Experience

• 운영 교육 및 도구에 대한 투자 감소• 24x7 연중 무휴 지원• 소유 비용 및 가치 창출 시간 최적화

Cost Effective

GridGain Company Confidential

Thank You

GridGain Company Confidential

Appendix



Mainframe NoSQL HadoopIgnite Persistence

Persistent Layer

RDBMS

Machine and Deep Learning

EventsStreamingMessagingTransactionsSQLKey-Value

Service GridCompute Grid

Application Layer

Web SaaS SocialMobile IoTR

olli

ng U

pgra

des

Security

& A

uditin

g

Monitoring &

Manag

em

ent

Seg

men

tation

Pro

tection

Da

ta C

ente

rR

eplic

ation

Netw

ork

Backups

Full,

Incre

menta

l, C

ontinuous B

ackups

Poin

t-in

-Tim

e R

ecovery

He

tero

gen

eo

us R

ecovery



Native SQL &JCache API

분산 파티션(Hash-Map)

In-MemoryComputing

플랫폼

In-Memory 데이터 그리드

- 32 -

SQL 포함, 광범위 하고 풍부한 Key-Value API를 제공하고 인-메모리 Data Grid로 작동합니다.전체 클러스터 노드가 전체 데이터 세트의 일부를 소유하는 분산 파티션 된 Hash Map 이며,분산 클러스터에서 ACID 트랜잭션 구현됩니다.

Java .NETMulti-language

(thin client) REST C++

SQL Key-Value ACID Transaction Scan & Text Queries JCache

Compute and Service Grid


GridGain as an In- Memory Data Grid (IMDG)

WAS

DBMS

DataStore

다양한 언어 지원


분산 Cache : Database 성능을 극대화

- 33 -

데이터베이스 Caching 및 Scale-out 확장성을 통해 Database 성능을 극대화 합니다.

DataStore

K1, V1

K1, V1

K1, V1

KeysK1, K2, K3

ValuesV1, V2, V3

Node1

Node2

Node3

In-Memory Data Grid

WriteThrough

ReadThrough

•데이터베이스 Caching- DB 시스템과 Application 사이에서 슬라이딩

•성능 향상을 위한 ‘Rip & Replace’ 없음- 메모리와 Database 시스템에 데이터 보관- 수 천 노드까지 확장

•자동 Read-Through 및 Write-Through- 단지 Key-Value 연산만

•ANSI-99 SQL- In-Memory 데이터 세트 초과


분산 SQL 지원

- 34 -

ANSI-99 호환, 수평 확장 및 Fault-tolerant 분산 SQL 데이터베이스 지원을 하며, 표준JDBC 또는 ODBC 연결을 사용하여 다른 SQL 스토리지와 마찬가지로 상호작용을 합니다.

Java .NETBinary Protocol

(Thin client) REST C++

JDBC ANSI-99 SQL ODBC

Compute and Service Grid


GridGain Distributed SQL Support

Persistent Store

다양한 언어 지원

DDL & DML 지원

RAM 또는디스크에 인덱싱

SELECT,UPDATE, INSERT,DELETE, ALTER

동적 확장성(Scaling)

* DDL : Data Definition Language* DML : Data Manipulation Language


Compute 그리드

- 35 -

계산과 같은 비즈니스 논리를 선택적으로 여러 부분으로 분할하여 다른 그리드 노드에서 병렬로 실행함으로써전체 실행시간을 감소시키고, 병렬 실행을 위한 가장 일반적인 디자인 패턴 중 하나는 MapReduce 입니다.


Server Node

Persistent Store


Server Node

Persistent Store

C = C1 + C2

R = R1 + R2

C1

R1

C2

R2

C = Compute

R = ResultIn T/2 time

사용자가 그리드에서 적절하게 조정(Round Robin / Random / Adaptive) Load Balancing

Automatic Failover

Zero Deployment

특정 작업을 실행하는데필요한 클래스 및 리소스를자동으로 배분 및 배포

작업이 자동으로 다른 노드로장애 조치되도록

자동 및 수동 Failover 구성


ACID 트랜잭션

- 36 -

Key-Value 및 SQL 조작에 대한 분산 ACID 트랜잭션을 완벽하게 지원하고 일관성 보장은 메모리 및 디스크계층 모두에서 충족됩니다. Apache Ignite의 트랜잭션은 여러 클러스터 노드, 캐시(테이블) 및 파티션으로확장 될 수 있습니다.

DataStore

K1, V1

K1, V1

K1, V1

KeysK1, K2, K3

ValuesV1, V2, V3

Node1

Node2

Node3

In-Memory Data Grid

WriteThrough

ReadThrough

•분산 ACID 트랜잭션- Pessimistic / Optimistic

•2-Phase Commit- RAM에서 디스크 까지- Failover & Recovery

•Deadlock-free 트랜잭션

•MVCC(Multi-Version Concurrency Control- SQL 트랜잭션- 스냅샷 Isolation (백업 & Recovery)


고 가용성 : Partitioned & replicated

- 37 -

Partitioned Cache Replicated Cache

ABD

ABC

ACD

ABD

A

D

Primary

BackupJVM 1 JVM 2

JVM 3 JVM 4

B

B

A

C

C

Primary

Backup

Primary

Backup

Primary

Backup

D

ACD

A

D

JVM 1

JVM 3

B

C

Primary

Backup

Primary

Backup

Primary

Backup

Primary

Backup

Local Client Local Client

1. Local Clint 조회 : A & D 는 Collocated 노드에 있음.C는 원격에서 fetch 됨

2. Remote Client 조회 : Near Cache 는 B 를 보유.클러스터에서 A, D를 fetch

ABD

RemoteClient

NearCache

RemoteClient

NearCache

CB

C

DBA

JVM 4

D

A D CA B

JVM 2

1. Local Clint 조회 : A, C, D 모두 복제된 Collocated 노드에 있음2. Remote Client 조회 : Near Cache는 B 를 보유.

클러스터에서 A, D를 fetch


Web 세션 클러스터링

- 38 -

Apache Tomcat, Eclipse Jetty, Oracle WebLogic 및 기타를 포함하여 Java Servlet 3.0 사양을 따르는모든 Java Servlet 컨테이너의 Web 세션을 캐싱하고, 웹 세션 캐싱은 어플리케이션 서버 클러스터를 실행할때 유용합니다.

고 가용성 구성 → 세션 정보 분실

LOAD BALANCER

APP SERVER 1

Session 1

APP SERVER 2

Session 2

APP SERVER 3

Session 3

failedinstance

WEB REQUEST

LOAD BALANCER

APP SERVER 1

Session 1

APP SERVER 2

Session 2

APP SERVER 3

Session 3

failedinstance

WEB REQUEST

세션 복제 전략- Replicated Cache- Partitioned Cache

(w/ Backup)APACHE IGNITE CLUSTER

Session 1 Session 2 Session 3Web.xml

WebSessionFilter 구성

Session 3


Key-Value 데이터 그리드

- 39 -

•어플리케이션 및 데이터베이스계층 간 분산 Cache

•기존 데이터베이스 성능및 확장성 향상(RDBMS, NoSQL 또는Hadoop 기반 스토리지)

Database

RAM RAM RAM

App1 App2

분산 Cache

Key-Value, JCache

Always in Sync

•Native Persistence를 활성화 하면데이터와 인덱스 모두 디스크에 저장

•디스크에서 인덱스를 유지하므로 클러스터재시작 시 다시 작성할 필요가 없으므로시스템이 매우 빠름(Instantaneous Restart)

Database

RAM RAM RAM

App1 App2

Native Persistence

Key-Value, Jcache, SQL

Disk Disk Disk

GridGain Native Persistence


In-Memory 데이터 스토리지

- 40 -

서버 Node는 인-메모리 Data Store / Persistence Store 기반으로 Clustering 구성되어 고성능 및대규모 수평 확장성(Scale-Out) 제공합니다.


Server Node

Persistent Store


Server Node

Persistent Store


Server Node

Persistent Store

Distributed In-Memory Data Store

Distributed Persistent Store

GridGain Server Cluster

메모리 사용예측 가능

전체 트랜잭션 WAL(Write Ahead Log)

즉각적인 재 시작(Instantaneous

Restart)

자동 조각 모음(Defragmentation)

Off-Heap 활용GC Pause 제거

데이터Superset 저장


GridGain 메모리 & 디스크 사용

- 41 -

4가지 방식의 Configuration 을 통해 고성능 및 대규모 Scale-Out 확장성 제공합니다.

모드 설명 장점

In-Memory Pure In-Memory 스토리지 최대 성능 가능(데이터는 디스크에 기록되지 않음)

In-Memory + 3rd Party DB Caching 레이어(일명 In-Memory 데이터 그리드)기존 데이터베이스 – RDBMS, NoSQL 등

수평적인 확장성신속한 읽기 및 쓰기

In-Memory + Full Copy on Disk 전체 데이터 세트는메모리와 디스크 모두에 저장

클러스터 장애 극복

100% on Disk + In-Memory Cache 데이터의 100%가Ignite Native Persistence에 있고하위 집합이 메모리에 있음

RAM 용량을 초과하는무제한 데이터 확장성


클러스터링

- 42 -

Durable Memory

ON-DISC

Ignite 노드들은 자동으로 서로를 발견할 수 있으므로 전체 클러스터를 다시 시작할 필요없이 필요할 때클러스터를 확장합니다.

Durable Memory

ON-DISC

Durable Memory

ON-DISC

Durable Memory

ON-DISC

Durable Memory

ON-DISC

Durable Memory

ON-DISC

IgniteCluster

•Server 노드- 데이터 및 계산을 위한 컨테이너로 동작- 일반적으로 독자적인 프로세스로 시작

•Client 노드- 작업을 실행하기 위한 클러스터 입력 지점

제공- 어플리케이션 코드에 임베디드 됨

Client Connectors

Compute &Data Nodes

Public & PrivateClouds


클러스터 그룹

- 43 -

어플리케이션 별 목적을 위해 클러스터 노드를 논리적으로 그룹화합니다.작업 실행, 서비스 배치, 메시징, 이벤트 및 기타 작업이 일부 클러스터 그룹 내에서만 실행되도록 제한합니다.

Server

ServerServer

Server

Data Cache Zone 1 Data & Compute Zone 2 Compute Grid Zone 3

Server

Server Client

Client Client

Client

Client Client Client

Data read

Data read

Data read

Data read

Map/ReduceJob

Data write

Data write

ComputeJob

GridGain / Ignite Cluster


인 메모리 Hadoop Accelerator

- 44 -

기존 Hadoop 기술을 향상시켜 기업에서 이미 사용하고 있는 도구와 기술을 사용하여 신속하게 데이터를처리하고, 인-메모리 HDFS/MapReduce는 디스크 기반 HDFS 및 기존 MapReduce를 쉽게 확장하여더 빠른 성능을 제공합니다.

HadoopClient

HadoopJobtracker

HadoopName Node

IgniteClient

HadoopJobtracker

HadoopJobtracker

UserApplication

IgniteData Node(IGFS)

IgniteData Node(IGFS)

HadoopData Node

(HDFS)

HadoopData Node

(HDFS)

•3배 더 빠른 성능•인-메모리 MapReduce•고도로 최적화 된 I—Memory 프로세싱•독립형 파일 시스템•HDFS 용 선택적 Caching 레이어•HDFS 로 Read-Through 및

Write-Through

듀얼 모드 / 고성능In-Memory 파일 시스템

Inactive Path

Ignite Execution Path

* IGFS : Ignite File System* HDFS : Hadoop Distributed File System


Spark 통합

- 45 -

Apache Ignite는 분산 메모리 중심의 데이터베이스 및 캐싱 플랫폼으로서 Apache Spark 사용자의 다양한업무 수행에 사용됩니다.

Spark Worker

SparkJob

SparkJob

Ignite Node

Spark Worker

SparkJob

SparkJob

Ignite Node

Spark Worker

SparkJob

SparkJob

Ignite Node

In-Memory Shared RDD or DataFrame

Yarn Mesos Docker HDFS

Spark 작업 간상태 및 데이터 공유

데이터 이동 없음

In-place(내부) 쿼리 실행

DataFrame 및SQL 성능 향상

RDD 상단의SQL

* RDD : Resilient Distributed Data* HDFS : Hadoop Distributed File System


머신 러닝(Machine Learning : ML)

- 46 -

값 비싼 데이터 전송없이 예측 Machine Learning(기계 학습) 모델을 구축 할 수 있는 간단하고 확장성이높으며 효율적인 도구 세트입니다.

•ML/DL 기능 추가 이유- 모델은 여러 시스템에서 교육 후 배치- ML/DL 알고리즘 증가로 인한 확장성

•ML/DL 기능 장점- Fault Tolerance 및 지속적인 학습- Zero ETL 및 방대한 확장성

Durable Memory

ON-DISC

Durable Memory

ON-DISC

Durable Memory

ON-DISC

K-Means

Partition Based Dataset

Regressions Decision Trees

Random Forest

Server Node Server Node Server Node

R C++ Python Java Scala REST

TensorFlowIntergration


ML / DL 워크플로우 간소화 – ETL 없음

- 47 -

CLF가 있는 IMC 플랫폼으로 ETL이 없는 워크플로우 간소화를 제공합니다.

App ML/DLEngine

RDBMS HADOOP테라바이트(TB) 데이터의

주기적인 ETL

주기적인모델 업데이트

모델 트레이닝및 테스트

트레이닝을 위해데이터 로딩

작업 집합저장 및 처리

App

IMC Platform

DB + ML/DL Engine

No ETL

모델 트레이닝 및 테스팅

작업 집합저장 및 처리

즉시모델 업데이트

* CLF : Continuous Leaning Framework* ML : Machine Leaning* DL : Deep Leaning

Before After(CLF 활용)


Streaming 에코 시스템

- 48 -

Kafka, Camel, Storm 또는 JMS 와 같은 주요 스트리밍 기술 및 프레임 워크와 통합되어 Ignite 기반 아키텍처에더욱 향상된 스트리밍 기능을 제공합니다.

Durable Memory

ON-DISC

Durable Memory

ON-DISC

Durable Memory

ON-DISC

Data Node

Data Node

Data Node

KafkaApache Flink

SparkStorm

•다양한 스트리밍 기술- Kafka, Spark, Flink, Storm 등- 처리(Process), 변환(Enrich), Ignite로 푸시

•Ignite는 스트리밍 데이터의 최종 저장소- Streaming Analytics

IgniteStreamers

Data

IgniteClients

SQL Queries

Data

1. Process Streamed Datain Parallel on all Nodes

2. Process SQL Queriesin Parallel on all Nodes


GridGain 중앙 집중식 모니터링 및 관리

- 49 -

GridGain 웹 콘솔•오픈 소스

- 대화형 프로젝트 구성 마법사- 모든 RDBMS에서 자동으로 SQL 메타데이터 로드- Ad-hoc SQL 쿼리

•엔터프라이즈- 클러스터 관리 및 모니터링- SQL 쿼리 모니터링 및 종료- 경고 및 알림- 데이터 센터 복제(DC Replication)- Rolling 업그레이드- 클러스터 스냅샷 및 복구


GridGain 롤링 업그레이드

- 50 -

신규 버전을 Roll-out 하는 동안 하위 버전을 가진 노드가 클러스터에 공존 할 수 있도록 하는 기능입니다.

•소프트웨어 업그레이드를 수행할 때 다운 타임 방지

•Rolling Upgrade 프로세스- 10개의 노드가 10개의 물리 서버에서 실행중인 경우

한 서버에서 신규 버전의 GridGain으로 새 노드 시작- 새 노드에 대한 데이터 Rebalancing- 데이터 Rebalancing 이 완료되면 이전 노드 종료- 모든 서버가 새 버전으로 업그레이드 될 때까지 반복


GridGain 엔터프라이즈 보안

- 51 -

•오픈 소스- In flight 데이터 암호화 – SSL/TLS- At rest 데이터 암호화

•플러그인 가능 인증 및 인가- JAAS, LDAP, Active Directory, Kerberos 등- 클러스터 노드 인증(Authentication)- 세분화 된 인가(Authorization)

•Multi-tenancy•포괄적 인 감사


Server Node

Persistent Store


Server Node

Persistent Store


Server Node

Persistent Store


Server Node

Persistent Store

Client Nodes

Server Nodes


투명한 데이터 암호화(TDE)

- 52 -

투명한 데이터 암호화(TDE : Transparent Data Encryption)를 통해 사용자가 데이터를 암호화

•민감한 개인 데이터 암호화

•디스크 상의 데이터에 대해 적용- 데이터(예 : 파티션) 파일- WAL(Write-Ahead-Log)

•Per-cache/table 암호화- 캐시 암호화 키- 시스템 캐시에 저장

•마스터 키- 캐시 키의 Persistence 및 전송에 사용- 플러그 가능한 Store – 정보 구성으로 JDK Store 사용 가능


다중 데이터 센터 복제(Replication)

- 53 -

데이터 센터 복제 (또는 단순히 DR : Disaster Recovery)는 서로 다른 지리적 위치에 있는 별개의 토폴로지의캐시간에 데이터 전송을 허용하는 GridGain 기능입니다.

•복수 데이터 센터(DC) 관리

•배치 및 비동기 처리

•Active-Active & Active-Passive

•Smart Conflict 해결

•Failover


중앙 집중식 백업 및 복구 관리

- 54 -

Native Persistent 를 사용하여 배치를 위한 스냅샷 및 복구 기능을 제공합니다. 스냅샷 수행, 스케줄링, 관리 이후, 전체 및 증분 스냅샷 조합 뿐만 아니라 연속 아카이브를 이용하여,특정 시점으로 복구 할 수 있습니다.


Server Node

Persistent Store


Server Node

Persistent Store


Server Node

Persistent Store

In-Memory Data Store – (0~100%) Data and Indexes

Persistent Store – (100%) Data and Indexes

GridGain Server Cluster

ExternalStore

(Backup)

•전체 및 증분 스냅샷•연속 아카이빙(WAL)•네트워크 백업•특정 시점(Point-in-time) 복구•이기종 복구


Recovery : WAL 및 Checkpointing

- 55 -

WAL의 목적은 단일 노드 또는 전체 클러스터가 다운되는 시나리오에 대한 복구 메커니즘을 제공하는 것이며,Crash 또는 재 시작의 경우 WAL 내용에 의존하여 클러스터가 항상 최신 커밋 된 트랜잭션으로 신속하게복구됩니다.

P 1 P 10

P 564 P N

Cache A Files

Indexes

P 1 P 10

P 564 P N

Cache B Files

Indexes

Write-Ahead Log

Write-Ahead Log(WAL)

WAL Archive

•Append only 파일•디스크로 업데이트 전파•복구 메커니즘 제공

RAM

WAL

PI FILE

PN FILE

1 UPDATE

3 ACK

2 Persist Update

4 Checkpointing

•주기적으로 Trigger•RAM 에서 디스크로 실제 데이터 Copy•WAL 사이즈 감소

Checkpointing


특정 시점(Point-in-time) 복구

- 56 -

Point-in-Time Recovery를 위한 연속 보관 기능을 사용하면 이전 시점으로 클러스터를 쉽게 복구합니다.PITR이 활성화 되면 클러스터는 데이터를 수정하는 모든 작업을 WAL에 저장합니다.

Point 1 Point 2 Point 3

Snapshot 2Snapshot 1 Snapshot 3+ WAL Archive 2

Recovery to any timeBetween point 2 and point 3


트랜잭션 Failover 및 Recovery (1/2)

- 57 -

트랜잭션 실행 중 Apache Ignite 가 Failover 및 Recovery 를 처리하는 방법입니다.분산 클러스터 심각도 : Backup 노드 장애 < Primary 노드 장애 < 트랜잭션 코디네이터 장애

Session

Transactioncoordinator

Primary Node

PrimaryNode

Backup Node

Backup Node

BackupNode

BackupNode

1 Commit

6 Ack

5 Ack

5 Ack

4 Ack2 Prepare/Commit

2 Prepare/Commit

3 Prepare/Commit

3 Prepare/Commit

Session


Primary Node

PrimaryNode

Backup Node

Backup Node

BackupNode

BackupNode

1 Commit

3 exception 5 Ack

2 Prepare

2 Prepare

3 Prepare

3 Prepare

4 Ack

4 AckException 에 대한처리 필요

Backup 노드 장애 Prepare Phase 에서 Primary 노드 장애


트랜잭션 Failover 및 Recovery (2/2)

- 58 -

트랜잭션 실행 중 Apache Ignite 가 Failover 및 Recovery 를 처리하는 방법입니다.분산 클러스터 심각도 : Backup 노드 장애 < Primary 노드 장애 < 트랜잭션 코디네이터 장애

Session


Primary Node

PrimaryNode

Backup Node

Backup Node

BackupNode

BackupNode

1 Commit

6 Ack 5 Ack

4 Ack2 Commit

2 Commit

3 Commit

Session


Primary Node

PrimaryNode

Backup Node

Backup Node

BackupNode

BackupNode

1 Commit

4 Ack

4 Ack

2 Commit

4 Ack

3 Commit

3 Commit

Have you seen?

Ignite는 Recovery 프로토콜 실행Commit 또는 Rollback

Commit Phase 에서 Primary 노드 장애 트랜잭션 코디네이터 장애

해당 Backup 노드에서ACK 수신,Commit 후 클러스터 재조정

4 Ack

4 Ack

4 Ack

3 Commit

2 Commit

3 Commit

Have you seen?

4 Ack

Have you seen?

Have you seen?

gridgain customers master deck

Documents