analyzer - mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... ·...

47
다양한 분석도구를 제공하는 분석가 편의성 중심 플랫폼 Analyzer

Upload: others

Post on 25-Aug-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

다양한 분석도구를 제공하는 분석가 편의성 중심 플랫폼

Analyzer

Page 2: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

목 차

01. 제품 개요

02. 빅데이터 분석 한계와 대응

03. 제품의 특장점

04. 제품 구성 및 아키텍처

05. 주요 기능 소개

06. 기대효과

07. 주요 적용 사례

08. 주요 고객사 및 파트너사

Page 3: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

지능형 빅데이터 분석 플랫폼

제품 개요

01

Page 4: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics

030201

01. 제품 개요

4

대용량 실시간 데이터를 다루는 복잡한 빅데이터 분석 과정과 어려운 분석 도구 사용법이라는 장애에 막혀 고객들은 빅데이터분석 시스템 도입하고도 활용하기가 어려웠습니다. 그래서 트렌드에 한 발 앞서 지난 수년간 사용자 편의성을 고려한 빅데이터분석 시스템을 연구하고 개발해 IRIS Anaylizer를 출시하였습니다.

IRIS 개발 배경 및 최신 동향 분석

상용과 오픈소스의장점만을 담은 플랫폼

IRIS개발배경

실제 사용자 중심의편리한 분석도구

다양한 분석이 가능한 고성능통합 빅데이터 분석 프레임워크 기반

IRIS개발방향

Page 5: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 01. 제품 개요

5

IRIS Analyzer - 지능형 빅데이터 분석 도구

Data Lake데이터 분석가

IRIS Analyzer

분석업무 소요시간 단축

(50% 단축)

개발자의 도움 없이분석 업무 수행

시각화 도구를 통한직관적인 데이터 해석

다양한 분석도구 통합분석도구간 자유로운 데이터 공유

로그 데이터, 운용 데이터, 머신 데이터 등

다양한 정보를 직접 접근 및 실시간 검색

머신러닝/딥러닝 지능형 고급분석 툴을

통한 신속한 인사이트 제공

오픈소스 분석도구와 상용 BI 툴 통합

분석가의 경험 및 사용성 증대

분석가 관점의 UI / UX 환경 및 워크플로우

쉽고 빠르게 인사이트 제공

다양한 형태의 고급시각화 기능을 제공하고

쉽고 자유로운 대시보드/보고서 생성

Page 6: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

지능형 빅데이터 분석 플랫폼

빅데이터 분석 플랫폼의

한계와 대응

02

Page 7: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

지능형 빅데이터 분석 플랫폼

빅데이터 분석 플랫폼의 한계

- 데이터 검색 및 샘플링을 위해 새로운 개발 언어에 익숙해져야 함

- 개발자에게 데이터 검색 및 샘플링 요청 반복으로 시간 및 비용 증가

원시데이터로부터 Insight를얻기위한과정의어려움

01

대용량저장소(Data Lake)로부터직접분석의어려움- 분석을 위한 PC로 대량의 데이터 전송 이슈 (보안, 대역폭 등)

- PC 성능의 한계로 샘플 데이터 추출 및 포맷 변경 필요02

기존분석도구의빅데이터플랫폼적용의한계- 기존에 익숙한 오픈소스 분석 툴 (RStudio, Zeppelin, Jupyter 등) 활용 어려움

- 빅데이터 분석 플랫폼 툴에 적응하는 시간과 노력이 많이 필요03

7

02. 빅데이터 분석 플랫폼의 한계와 대응

Page 8: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 02. 빅데이터 분석 플랫폼의 한계와 대응

8

IRIS 대응 방안 (1) 원시 데이터에 직접 접근하여 샘플링

문제점

• 분석가가 원시 데이터에 직접Access 못하고 있는 문제

해결 방안

• Data Browsing을 통해 데이터 직접접근하여 Insight 얻고,

• 샘플 데이터 추출하여 R 등의 오픈소스및 상용 BI 툴과 연동하여 분석 후,

• 전수 데이터 분석 및 결과 도출

Page 9: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics

9

IRIS 대응 방안 (2) 통합된 빅데이터 플랫폼에서 분석 수행

02. 빅데이터 분석 플랫폼의 한계와 대응

• 원시 데이터 전반에 대한 직관적이해 요구

• 기초 통계량 및 전반적인 분포를신속하게 제공

• 일부 데이터에 대한 정밀 분석

• 특정 데이터를 분석 서버로 복사, 익숙한 도구를 이용하여 분석

• 분석 알고리즘의 주기적 적용

• 결정된 알고리즘을 주기적으로적용하여 분석 업무 수행

• 전체 데이터에 대한 분석 적용

• 분석 내용을 분산 시스템 전체에적용

Page 10: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics

10

02. 빅데이터 분석 플랫폼의 한계와 대응

개발자

분석가

의사결정자IRIS DB

IRIS 대응 방안 (3) 주요 오픈소스 분석도구 및 상용 시각화도구 연동

Analyzer

원시데이터 탐색 데이터 모델 생성

피벗 분석 고급분석

고급시각화 대시보드/보고서

Page 11: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

지능형 빅데이터 분석 플랫폼

IRIS Analyzer

특장점

03

Page 12: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 03. 제품의 특장점

12

분석 절차

기존 3~5 단계 분석 절차를

1단계로 간소화 하였습니다.

데이터

2주 이상 걸린 분석시간을

2분 이하로 단축하였습니다.

분석 데이터 량

신속한 대용량 데이터 변환이

가능합니다. (PB → GB)

도구 사용

사용자 중심의 오픈소스 및

상용 BI 툴을 통합하였습니다.

업무처리

개발자 도움 없이 직접 분석

데이터 추출이 가능합니다.

특장점 - 분석 프로세스 측면

반복적 분석

데이터 Source빅데이터 Analytic 환경

Analytic Computing Infra.

DW/DataMartData Discovery 환경

• 기준 정보 기반 데이터 접근• 수집 가공용 Application 개발

(JAVA, R, Python)• 데이터 관리(탐색 및 AdHoc 분석)

Data Stage Analytic Stage

분석 개발 (User 영역)

플랫폼

Common Framework

DataStorage

분석 Application실행 환경

• Testing• Validation• Deploy

필요시 연동

빅데이터플랫폼Application Component

분석 활용 환경 Platform (RTE Service)

Page 13: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 03. 제품의 특장점

13

특장점 - 빅데이터 분석 플랫폼 측면

1일 1,000억 건 기준 월 1.5 petabyte(1,500TB)실시간 처리 실적 보유

실질적인 빅데이터 규모 실시간 처리

기존 3~5단계에 걸친 분석 절차를1개 단계로 획기적으로 줄임

분석 업무 절차의 간소화

개발자 도움없이 저장된 DB를 직접 접근하여다양한 형태로 검색하여

분석 빠른 분석 데이터 전처리

편리한 데이터 브라우징

오픈소스 분석도구를 내장하여분석 프레임워크 호환성 제공

오픈소스 분석 프레임워크

이동통신사, 금융사, 정부 정보보호 기관,전력사 등 실제 빅데이터를 다루는 고객사 경험 및

노하우 보유

다수 고객사 실운용 중

고객 경험 및 선호도에 맞추어 상용 BI 및시각화 도구 연계 제공

상용BI 및전문시각화도구연계

01 성능 우수성

02 편의성

03검증된 솔루션

04 분석 용이성

05 호환성

06 확장성

Page 14: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

지능형 빅데이터 분석 플랫폼

제품 구성

및 아키텍처

04

Page 15: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 04. 제품 구성 및 아키텍처

IRIS 지능형 빅데이터 분석 플랫폼 제품군

RDBMS

HDFS

정형 데이터

비정형 데이터

오픈 데이터

머신 데이터

배치 처리

스트리밍 처리

Parsing

고속적재

Infra

IRISDB

IRISAnalyzer

분석 인프라

고급분석 라이브러리 샘플링 데이터 변환

데이터 브라우저

검색 고급검색

시각화

보고서대쉬보드 고급시각화

관리

시각화 관리 사용자/그룹 관리

분석/머신러닝

피벗분석 이상탐지

오픈소스 분석도구

Jupyter ZeppelinR

상용 BI 도구

BI Matrix Metatron

고속전문(FTS) 검색

암호화 Spark

데이터셋 관리

데이터셋

분산 DBMS

모니터링, 내부관리, 분석엔진, 분석도구

하둡 HDFS

NVAccell

인메모리실시간 처리

공간데이터검색

Page 16: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 04. 제품 구성 및 아키텍처

IRIS Analyzer 제품 기능 구성도

24

대시보드 검색 피벗 분석 고급 시각화 보고서 관리

실시간 분석

분석 시스템모니터링

대시보드 설정

데이터셋

사용자 확장 검색

검색 통계

검색 시각화

피벗 테이블

피벗 차트

피벗 자동화 설정

시계열 차트

분포형 차트

관계형 차트

이상치

지도형

보고서 생성

보고서 편집

보고서 공유

고급분석 라이브러리 샘플링 데이터 변환

SPC

IQR

R/ R Studio

Zeppelin

Jupyter

DB 브라우저

HDFS 브라우저

데이터 추가

사용자 관리

이상탐지 오픈소스 대화형 분석 관리도구 DB 사용자 관리

그룹 관리

데이터셋 관리

시각화 관리

Page 17: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

지능형 빅데이터 분석 플랫폼

주요 기능 소개

05

Page 18: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics

18

주요 기능 소개

05. 주요 기능 소개

데이터 탐색 및 가공

빠른 검색과 분석 준비

01

통계 및 시각화

쉬운 데이터 분석 과정

03

이상탐지 및 고급분석

분석가를 위한 기능

02

• 고속 검색을 통한 빠른 이벤트 확인

- 테라바이트급 이상의 데이터에서키워드 또는 전문을 빠르게 검색

- 다양한 검색 옵션 및 명령어 지원

• 데이터 검색만으로 인사이트 제공

- 검색결과를 차트 및 통계 테이블로제공하여 분석가가 인사이트를 얻을수 있음

• 사용자 친화적인 인터페이스

- 직관적인 GUI 인터페이스 환경으로복잡한 분석 명령어 없이 분석 가능

- 도구사용법이 메뉴에 내재화되어빠르게 학습하며 분석업무 수행

• 다양한 분석 기능 탑재

- 피벗분석, 고급시각화분석, 이상탐지 등

• 오픈소스 분석도구 내재화

- R, Jupyter, Zeppelin 등 데이터분석가가 익숙한 오픈소스 분석프레임워크 내장

• 머신러닝 기반 이상탐지

- 과거 패턴의 기반으로 한 기계학습 을통해 이상징후 포착, 예측 탐지

• 다양한 시각화 기능 제공

- 검색 및 분석 결과에 대해 다차원 시각화기능

• 편리한 보고서 / 대시보드 생성 및 편집

- 그리드 형태로 차트, 테이블, 각종 도형 등모듈화 하여 구성 및 편집 기능 제공

데이터검색및가공 고급분석분석 시각화및보고서

Page 19: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics

19

사용환경 구성 - 사용자 친화적인 UI UX로 직관적인 화면 구성

1단메뉴구성

어디에서든지다른메뉴이동

주요메뉴항상표기

05. 주요 기능 소개

Page 20: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 05. 주요 기능 소개

20

DB 브라우저 - IRIS DB로 직접 접근하여 쿼리실행

IRIS DB 테이블 목록 확인/ SQL 생성 명령

테이블 상세 정보 확인

SQL 쿼리 자동 생성

Page 21: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 05. 주요 기능 소개

21

DB 브라우저 - HDFS에 접근 파일 다운로드 및 업로드

HDFS 폴더 트리뷰

파일/내용 검색 기능 제공파일/폴더 관리 기능

파일 다운로드 제공

파일 업로드 제공

Page 22: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 05. 주요 기능 소개

22

검색 기능 - 고속 데이터 검색 및 결과 시각화 지원

데이터 모델 및컬럼선택

검색 키워드 및 명령어 입력

검색결과 데이터 시계열 트랜드 출력

검색결과 원시데이터 출력

Page 23: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 05. 주요 기능 소개

23

검색 기능 - 다양한 세부 검색 기능 제공

검색 이력 정보 조회 기능

결과 내보내기

데이터 상세 조회

데이터의 종류와 비율 정보 제공

명령 자동 생성 및 사용법 메뉴얼 제공

Page 24: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 05. 주요 기능 소개

24

검색 기능 - 재사용 가능한 검색 명령

데이터브라우저와 연계되어 조화명령 등록 가능

Page 25: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 05. 주요 기능 소개

25

검색 기능 - 검색 결과에 대한 join 연산 지원

검색 결과와 IRIS DB에 있는 정보를 join 처리

Page 26: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 05. 주요 기능 소개

26

검색 기능 - 검색 결과를 다양한 시스템으로 Export 기능

Page 27: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics

27

검색 기능 - 다양한 검색 확장 명령어 제공

요약 통계 정보를 생성하기 위한 stats 함수 사용 예

05. 주요 기능 소개

명령어 설명

ade Anomaly Detection Engine(ADE) 이상 탐지를 하는 명령어 입니다.

adv 테이블의 각종 통계 정보를 구하거나 pivoting 할수 있습니다. 고급시각화 화면에 사용되는 명령어 모음입니다.

bimatrix bimatrix에 데이터를 로드 하는 명령어 입니다.

metatron metatron 에 데이터를 로드 하는 명령어 입니다.

iris iris 에 데이터를 읽는 명령어 입니다.

hdfs hdfs 에 데이터를 읽고 쓰는 명령어 입니다.

join 이 명령어는 다른 데이터 셋과 join을 할 때 사용됩니다.

fields 검색 결과가 출력 될 field를 설정합니다.

head 상위 records를 원하는 갯수 만큼 검색 결과에 출력 합니다.

pivot 테이블을 여러 컬럼들을 축으로 회전 및 각종 통계 정보를 행과 열 별로 구할 수 있습니다.

rename 이 명령어는 특정한 field를 다른 명칭으로 이름을 바꾸고자 할 때 사용됩니다.

search 이 명령어는 전문 검색(full-text search)을하는데 사용 됩니다.

sort 이 명령어는 검색 결과를 지정된 필드를 기준으로 정렬합니다.

top 이 명령어는 검색 결과를 지정된 필드를 기준으로 정렬 후 상위 값을 출력합니다.

sql SQL Query 형태의 질의를 합니다.

stats 각종 통계 데이터를 구하는 명령어 입니다.

timeline 시간 범위에 따라 group by된 카운트의 숫자를 출력 합니다.

where 데이터를 일정 조건에 따라 filter 합니다.

substr 특정 필드나 문자열을 SUBSTRING 합니다.

fillna 결측치를 제거하거나 다른 값으로 대체하는데 사용합니다.

weekend 날짜 데이터를 기준으로 주말/주중 데이터를 구분하는데 사용합니다.

geoip ip가 포함된 필드를 기반으로 위, 경도 등의 추가정보를 제공합니다.

geostats 위, 경도 데이터를 포함한 두 개의 필드를 기반으로 그룹(지정 지역 클러스터)별 통계정보를 제공합니다.

geomap 업로드 되어있는 컬렉션을 기반으로 사용자가 요청하는 테이블에 지역 경계(geometry) 정보를 제공합니다.

anomalies 비정상적인 값을 찾아내는 기능을 제공합니다.

Page 28: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics

28

검색 기능 - 시계열 그래프 기반 비정상 이벤트 변화 탐색기능 제공

05. 주요 기능 소개

비정상 상황에 대하여 상세 분석이 필요한 경우, 지정한 시간 범위를 기준으로 검색을 다시 수행

Page 29: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 05. 주요 기능 소개

29

피벗 - 다차원 분석을 위한 웹기반 피벗기능 및 다양한 피벗 차트 지원

데이터 모델 및컬럼선택

피벗 컨트롤선택

스프레드시트, 다양한 차트 형태의피벗팅 결과

다양한 피벗차트 지원

Page 30: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 05. 주요 기능 소개

30

고급시각화 - 검색 및 분석 결과에 대한 다양한 시각화

시계열, 분포형, 관계형, 이상치 및 지도형 차트 분석

Page 31: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 05. 주요 기능 소개

31

고급시각화 - 다양한 종류의 차트 지원

시계열

Line Plot

Scatter Plot

Motion Chart

분포

Histogram

Bar Chart

Pie Chart

관계형

Sankey

Heatmap

이상치

Outlier

지도형

클러스터맵

지역 맵

Page 32: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics

32

고급 분석 - 이상징후 탐지 개요

01

05. 주요 기능 소개

01

02

02

양질의 참조그룹 데이터가 없어 자기자신(6월6일~6월10일)을 포함한 임계치 라인임.

연속해서 발생하지만1개의 장애로 인지되는 상황으로 운용할

수 있게 한다

양질의참조그룹데이터가없어자기자신 (6월6일~6월10일)을

포함한임계치라인

연속해서발생하지만1개의장애로인지되는

상황으로운용가능

Page 33: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics

33

고급 분석 - 이상징후 탐지 Flow

05. 주요 기능 소개

이상발생 인지

실시간 기계학습에 의한이상징후 탐지 실행

이상원인 후보변수분석

이상원인 분석

Page 34: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics

고급 분석 - 통신망 이상탐지 활용사례

05. 주요 기능 소개

NIMP

WCDMA/ L

TE 정정정정

A-NIMP™

Slave (N정 )

CORE정

DATA정

Access정

NMC/정정

NMC

A-NIMP

G/ W

A-NIMP

정정

A-NIMP RMTS 정정

/ 정정 (API I/ F)

정정 정정 정 정정정

정정정정정

정정정

A-NIM

P 7정

WCDMA

GGSN

RNCSGSN

MSC

Node- B

CDMA

BSM

CGS

BSCMSC

Signaling

Network

AuC

EiR

HLR

BTS

NIMP

CDMA

A-NIMP™

Master

IMS

MSS

ABC

LTE

eNode- BPGW

SGW

MME

IBC

HSS

TAS

IMGC/W

NMS

nWACS

CIMS

정정정

MMI/ AFSS/ MDFS

API Inte

rFace

2015

As-Was

A

NIMP

WCDMA/ L

TE 정정정정

A-NIMP™

Slave (N정 )

CORE정

DATA정

Access정

NMC/정정

NMC

A-NIMP

G/ W

A-NIMP

정정

A-NIMP RMTS 정정

/ 정정 (API I/ F)

정정 정정 정 정정정

정정정정정

정정정

A-NIM

P 7정

WCDMA

GGSN

RNCSGSN

MSC

Node- B

CDMA

BSM

CGS

BSCMSC

Signaling

Network

AuC

EiR

HLR

BTS

NIMP

CDMA

A-NIMP™

Master

IMS

MSS

ABC

LTE

eNode- BPGW

SGW

MME

IBC

HSS

TAS

IMGC/W

NMS

nWACS

CIMS

정정정

MMI/ AFSS/ MDFS

API Inte

rFace

A-NIMP™

Slave for ADE

정정 (6)/ 정정 (7)

정정

2015 ADE

As-IsADE 전용 H/W

1이상징후탐지처리성능고도화- 이벤트를 통한 실시간 통계 구현

- 실시간 이벤트 정합/필터 기능 구현

- 이상 징후 탐지 엔진 근실시간 탐지 적용

탐지로직/ UI 고도화- 실시간 이벤트 처리 구현

- 탐지 GUI 고도화

이상징후H/W 노드증설- ADE 전용 H/W

- 추가 증설 및 재배치

주요 개발기능

2 3ADE (Anomaly Detection Engine)

Page 35: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 05. 주요 기능 소개

35

대화형 분석 - 오픈소스 분석도구 통합 인터페이스 제공

IRIS DB 및 하둡 HDFS 데이터 접근

01. 원시데이터 접근

테이블/파일 고속 탐색샘플링 등 데이터 추출

02. 데이터 탐색/추출

쿼리/조인 등을 이용한고차원 분석용 데이터 전처리

03. 분석용 데이터 전처리

오픈소스 분석도구로전처리 데이터 활용

04. 오픈소스 도구 활용

Page 36: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 05. 주요 기능 소개

36

• 영역, 텍스트, 도형 등 캔버스 내자유로운 컴포넌트 배치, 크기 조절 기능

• 데이터를 차트/그리드로 출력하고옵션 기능으로 커스터마이징

• 검색/피벗/고급시각화 에서 저장한 시각화 객체불러오기

• 시간 설정 컴포넌트를 통해 일괄적으로 시간 설정및 변경

• 주기 설정 컴포넌트를 통해 지정한 시간 주기로데이터 요청/수신

대쉬보드/보고서 - GUI기반 대시보드 편집기를 통한 자유로운 대시보드 생성

Page 37: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 05. 주요 기능 소개

37

대쉬보드/보고서 - 템플릿을 통한 편리한 보고서 생성 및 관리

대쉬보드 및 보고서를 템플릿을 이용하여 생성하고, 생성된 화면을 저장하여 재사용하거나 다른 사용자 또는

그룹과 공유하여 효율적인 활용 가능

Jinja2 템플릿 엔진을 통한 보고서 생성

Page 38: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 05. 주요 기능 소개

38

가청알람 - 알람조건에 따른 소리, 경고창 알림

알람을 수신하였을 때 소리 재생, 경고창 팝업 등의 방식을 on/off 설정

알람 방식 설정

최근 발생한 알람을 표시

항목별로 알람 조건 (threashold) 및 레벨을 설정

알람목록에서 알람 상세 정보 조회

Page 39: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

지능형 빅데이터 분석 플랫폼

도입시 기대효과 및

적용분야

06

Page 40: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

IRIS 적용 효과 및 분야 (1)

• 분석가의 실질적인 업무 중심의 직관적인 UI 구성 및 분석

• 도구간의 자유로운 데이터 공유로 분석 업무 시간 단축으로 생산성 향상에 기여

분석 업무 생산성 향상

획기적인 TCO 절감• 개발 요소 최소화, 분석 업무 시간의 획기적인 단축

• 유지 관리 비용의 절감을 통한 전반적인 TCO 절감 효과 기대

Self-service 분석 환경 제공• 분석가가 개발자의 도움 없이 빅데이터 저장소 (Data Lake) 로부터

자유로운 데이터 검색 및 분석 업무 수행 가능 (예시: 데이터 브라우징)

기대효과

06. 도입시 기대효과 및 적용분야

33

Page 41: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

• 통신 서비스 품질의 실시간 모니터링, 대규모 IT 시스템의 통합 관리

• 개별 고객별 패턴 분석 등 다양한 형태의 대용량 로그 데이터 기반의 실시간 분석

• 실시간 로그 분석을 통한 네트워크 품질 예측 및 사전 대응

대용량 로그 데이터의 실시간 분석

금융/보안 데이터 분석

• 개인정보 유출에 대한 실시간 모니터링

• 불법 거래 (fraud) 탐지 등 실시간 금융 보안

• 사이버 위협 정보 및 이상 징후 실시간 데이터 처리

IoT 센서데이터 분석

• 센서 데이터 기반 시계열 데이터의 실시간 분석

(예시: 스마트 팩토리, 제조 품질 관리, 부품 고장 예측 등)

34

06. 도입시 기대효과 및 적용분야

IRIS 적용 효과 및 분야 (2)

적용분야

Page 42: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

지능형 빅데이터 분석 플랫폼

주요 적용 사례

07

Page 43: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics

43

1. Customer Profile고객사는 대한민국의 관문인 인천공항과 서울의 도심을 잇는 특화된 열차를 운행하는 기업으로 2007년 서비스를 시작, 2010년부터는 인천공항~서울역까지

전 구간을 개통하여 서비스하고 있습니다. 철도와 관련된 시설, 이용객, 차량운행 등 서비스 제공을 위해 관련된 수많은 시스템을 운영하고 있습니다.

2. Business Challenge•일반열차와 직통열차의 승하차 데이터를 통합하여 매출 분석 및 수요예측에 필요한 데이터 분석 기반 마련

•장기간 운영으로 누적된 일반 레일, 분기기, 신축이음장치 등의 궤도 점검 데이터와 역사 내 각종 설비들의 경보 데이터를 토대로 시설물의 효율적인

유지보수를 위한 인프라 도입

•각 시스템 별 산재하여 축적된 데이터를 수집부터 통합 그리고 패턴 분석까지 가능한 솔루션 도입으로 승객들의 안전사고 예방 등 중요 성과 요구가 있었으며,

또한 업무에 필요한 통계 데이터를 작성할 때 수작업으로 진행되었던 기존 업무 방식을 솔루션 도입을 통해 보고서 생성 과정을 단축하여 업무 생산성 향상에

대한 요구사항

3. Mobigen Solution

IRIS ETL과 IRIS DB를 포함한 IRIS Big Data 분석 플랫폼 도입으로

체계적이면서 고속처리가 가능한 데이터 분산 처리와 요구사항별

커스터마이징 된 분석 인프라를 도입하여 데이터 분석 절차와 편의성을

갖추게 되었습니다.

4. Business Value

급증하는 데이터를 통합하는 난제를 IRIS 빅데이터 솔루션의 도입으로 해결하였습니다. 대량의 데이터를 사용자의 분석 요구사항에 맞게 통합할 수 있도록

설계, 사용자들이 수작업으로 처리하던 분석 업무 절차를 3단계 이내의 자동화 프로세스로 간소화하였습니다. 영업관리 측면에서 각 부서별로 산재되어있던

데이터를 통합하여 매일 약 10만 건 이상 발생하는 승 하차 데이터를 매출 분석 및 예측에 활용이 가능하게 되었으며, 시설물 관리 측면에서는 선로의

유지보수시기 예측을 통해 1년치 보수 자원 배분이 가능해졌으며 경보 이벤트 분석을 통해 14개 역사의 기계/전기 설비 관리의 편의를 제고하였습니다.

07. 주요 적용사례

Case Study 1 - 차세대 철도 통합정보시스템

Page 44: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics 07. 주요 적용사례

44

Case Study 2 - 통합 로그 분석 시스템

1. Customer Profile고객사는 국내 최대 규모의 손해보험사로서, 손해 보험업은 물론 다양한 금융상품을 판매하는 종합 금융 서비스를 제공하고 있습니다. 또한, 미국, 영국, 일본

등 해외 7개의 자회사를 통하여, 현지의 개인 및 기업고객을 대상으로 손해보험 상품 판매를 확대하고 있습니다.

2. Business Challenge고객사는 개인 및 기업 고객에 대한 원활한 금융상품 판매 및 사후 관리를 위하여 100여종 이상의 다양한 IT 시스템들을 운영하고 있으나, IT시스템 투자에

대한 성과 및 효율성에 대한 측정이 어려웠습니다. 또한 Biz업무에 대한 효율성 및 사용현황 파악을 위한 데이터가 부재하여 업무에 대한 개선체계 마련도

어려운 상황이었습니다.

3. Mobigen Solution•고객사에서는 모비젠의 빅데이터 처리 플랫폼인 IRIS와 외산제품인 H사의 V제품의 BMT

(Bench Marking Test)를 통하여 모비젠의 IRIS도입을 결정하였습니다. IRIS는 일일 약 1억 레코드

(약 1TB 분량)의 로그 데이터를 실시간으로 수집하여 처리함으로써, IT 투자의 효율성을 체계적으로

관리할 수 있는 환경을 제공합니다. 고객사에 공급된 솔루션의 주요 특징은 다음과 같습니다.

• 6하 원칙에 기반한 개인정보 조회 이력 전수 저장 및 통계 기능 제공 IT 시스템 사용량 dashboard 및

report 기능 제공을 통한 IT 자원 사용 현황 관리 각 시스템별 사용량 및 사용 패턴 분석 기능 제공을

통한 시스템 재배치 및 폐기 등 IT 자원 최적화에 활용 고객 정보 유출 예방 및 추적을 위한 보안 로그

저장 대용량 로그 데이터의 고속 검색을 통한 신속한 업무 지원

4. Business Value

고객사는 IRIS를 이용하여 “통합 로그 분석 시스템”을 성공적으로 구축하였으며, 본 시스템을 통하여 자원 부족으로 인한 서비스 장애를 사전에 차단하고

고객 정보 유출 등 보안을 강화할 수 있는 기반을 확보하게 되었습니다. 전사 IT시스템에 대한 투자 효율성 및 비즈니스 효과 측정 기반 조성 고객정보 유출

감시 체계확보 정부기관 감사 대응체계 구축

Page 45: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

지능형 빅데이터 분석 플랫폼

주요 고객사 및

파트너사

08

Page 46: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

A New Experience in Big Data Analytics

46

주요 고객사 및 파트너사

08. 주요 고객사 및 파트너사

Page 47: Analyzer - Mobigenwiki.mobigen.com/lib/exe/fetch.php?media=public:... · 분석시스템도입하고도활용하기가어려웠습니다. 그래서트렌드에한발앞서지난수년간사용자편의성을고려한빅데이터

z감사합니다.