2nd Open Cloud, Open Standard Seminar

Open Source, Open Cloud Engine

Open Cloud Engine InitiativeJY Jang, James Ahn, BG Kim

www.opencloudengine.org

Innovative Future Applications

Concerns in Future Applications

• Initial Cost

• Learning Curve

• Monetization

High Hardware Cost and Complex Configuration

Learning Curves

• Social• Cloud• Mobile• Big Data

Standard API

So, Future App will be Running on

• Cloud • Platform

Cloud Economy

Platform Business Model

–Win-win model– Self-Motivated– Lock-in

YourFuture Apps

Remedy is PaaS

•Social Services

•Mobile Services

•Infra. Services

•Application Services

•Operations Services

•Platform

Services

Built-in PaaS Services

A PaaS provides development services on cloud.

CLOUD IDE

But No Initiative here in Ko-rea

So happen to start OCE!!!

Open Cloud Engine

PaaS

SaaS

IaaS

Open Cloud Engine

• Open Source PaaS Project• Develop, Manage & Monetize Future

Application– Open Source, Open Standard– Focused on Business Applications– Full Software Stack For PaaS– Simple. Easy of Use

Approach – Standard Model

• 개발자가 IaaS 핸들링을 할 줄 몰라도 추상화된 API 만으로 클라우드 앱을 개발 할 수 있다 .• 개발자별 개발 환경서버의 설정이 없이도 곧바로 개발이 가능하다 .• 멀티태넌시 ( 다중 가입자 ) – 싱글 인스턴스에 대한 기반 프레임워크가 제공된다 .• 빅데이터 , N-Screen 및 모바일 개발을 위한 SW 인프라도 제공해준다 .

• 앱의 게시 ( 광고 ), ( 퍼블릭인 경우 ) 가격책정 , 계약 (SLA 체결 ), 빌링 , SaaS ALM 통한 형상관리 , 테스팅 , 디플로이 (빌드 ) 자동화 , 프로비저닝 자동화 등을 제공하여 제공자가 쉽게 단일 통합 아키텍처상에서 앱을 제공하고 성과를 측정할 수 있다 .

• 앱의 취득 ( 구매 ), 사용자 ( 조직도 ) 관리 , SaaS 앱의 오케스트래이션 커스터마이징 , 레거시와의 통합설정 , 데이터 통합 , 메타데이터 설정 ( 브랜드 등 ) 을 가입자가 직접 수행할 수 있다 .

인프라 사용의 가상화

플랫폼 서비스( 비즈니스 ) 의 기반 제공

가입자의 셀프서비스

• Forrester’s PaaS Reference Architecture Compliant Open PaaS

Members are…

MHR• Open Stack Expert• Netra Main Contributor

• SW Dev. & Modeling Tool Expert• Garuda Main Contributor

• Big Data Expert• Flamingo Main Contributor

• SW Eng. Tool Expert • Database Expert

그리고 여러분 모두… and all of you!

OCE Components

Netra

IaaS

Garuda

PaaS

Flamingo

Big Data Platform

OCE Architecture

Future Apps. Legacy Apps.

&

Exten-sions

Big Data Apps.

FlamingoGaruda

Netra

What Garuda Provides

Cloud IDE / SaaS mi-

grator

ModelPlatform

(BPM/BRE/BI)

Dev Portal

App Store

Self-Service Portal

eGov Framework

SaaS Security / Multi-tenancy Framework Metering / BillingWAS (Tomcat Extension)

Developers(Providers)

Users(Tenants)

Development Process using Garuda

제공자 - 운영자 - 소비자가 참여하여 개발 ~ 앱스토어까지의 생태계 사이클을 참여자가 IaaS 의 직접적인 핸들링 없이 지원

모델링 & 개발

클라우드테스트

(이미지)빌드

게시

취득 & 커스터마이

징

피드백개발자아키텍트

운영자 가입자

개발 커뮤니티

앱스토어

표준 프레임워크

셀프서비스

웹에서 개발 모델링

eGov Framework based Garuda IDE

기존 표준 프레임워크 (eGov Frmwk) 의 확장 플러그인으•기존 표준 프레임워크

기반에서 개발한 제품을 클라우드 전환 용이•표준 프레임워크의 다양한

개발 지원 도구 재사용

개발자 지원 도구• 마켓플레이스 , ALM

접근• 워크리스트 컨셉

데이터 전자정부 1 위

브랜드 밸류• 해외시장 접근 전략

표준 프레임워크 ( 이클립스 ) 기반의 개발 / 디버깅 / 개발자 협업 도구 :

New Open Cloud Engine Server

Garuda’s Multi-tenancy Framework

App App(single instance)

App App

Hardware Hardware

WASVM

WAS

... +

WASVM

WASVM

THE OTHERS OCE

MORETENANTS

SAMECAPACITY

Garuda Demo

• E-Gov Framework based Develop-ment

• Migrating Existing Open Source Soft-ware ‘Alfresco’ into Garuda and mak-ing it Multi-tenancy Supported

What Flamingo Provides

Cloud IDE / SaaS mi-

grator

ModelPlatform

(BPM/BRE/BI)

Dev Portal

App Store

Self-Service Portal

eGov Framework

SaaS Security / Multi-tenancy Framework Metering / BillingWAS (Tomcat Extension)

Developers(Providers)

Users(Tenants)

Hadoop Map-Re-

duceDesigner

HDFSManager

HadoopDashboard

Hadoop Scheduler

Flamingo Big Data Platform

MapReduce De-signer•웹 브라우저 기반 도구•Hadoop 의 MapReduce 지원•빅데이터 분석 모듈 연계

동작 지원•DAG(Directly Acyclic Graph) 기반 그래프 엔진 탑재(OpenGraph)•워크플로우 관리•워크플로우 실행

MapReduce 전처리•재사용 가능한 MapReduce 기반 전처리 모듈• Clean, Group By, Filter, Replace, Generate, Union, Rank 등등 지원

빅데이터 분석 플로우 설계 및 실행 , HDFS 관리 , 배치 스케줄링MapReduce 기반 협업 필터링 알고리즘

더블클릭 후 협업 필터링 파라미터 설정

협업 필터링 알고리즘을 드래그 앤 드롭

Pig Script 편집기를 이용하여 Pig Script 를 작성 ( 예시 )

Flamingo Big Data Platform

HDFS 브라우저•Hadoop 의 HDFS 를

윈도의 익스플로러 스타일로 관리•파일 및 디렉토리 관리•업로드 및 다운로드

작업 스케줄링•MapReduce De-signer 의 분석 플로우를 배치 작업 행태로 스케줄링• Scale Out 형태의

클러스터링 기반 스케줄러로 대용량 배치의 분산 처리• Cron Expression

지원•배치 작업의 생명 주기 관리

대쉬보드•MapReduce De-signer 에서 설계한 분석 워크플로우의 실행 이력 모니터링•워크플로우 , 액션 단위의

모니터링

빅데이터 분석 플로우 설계 및 실행 , HDFS 관리 , 배치 스케줄링

▼ 분석 워크플로우의 배치 스케줄링을 위한 작업 스케줄링

분산 파일 시스템 (HDFS) 관리를 위한 HDFS 브라우저

분석 플로우 실행 이력을 모니터링하는 대쉬보드

New Flamingo Web OS 스타일 Big Data 작업 환경 최적화를 위해 도입

New Flamingo Apache Ambari 와 통합하여 모니터링 및 프로비저닝 제공

New Flamingo 다양한 분석 소프트웨어가 탑재하여 오픈소스로 제공

New Flamingo 웹 브라우저에서 다양한 Hadoop Cluster 및 Amazon S3 Object Storage, 리눅스

서버의 파일 등을 관리하는 UI 제공 (UX 모두 동일 )

New Flamingo 웹 브라우저에서 다양한 Hadoop Cluster 및 Amazon S3 Object Storage, 리눅스

서버의 파일 등을 관리하는 UI 제공 (UX 모두 동일 )

New Flamingo Apache Hive 의 Query Editor 를 내장하여 빅데이터 처리를 빠르게 수행

New Flamingo 로그 수집기를 이용하여 로그 수집 및 원격 관리 그리고 워크플로우 실행

New Flamingo 웹 기반 SSH 클라이언트

New Flamingo 데이터 시각화 초기 모형 추가 (2014 년도 본격 개발 )

New Flamingo

빅데이터 분석

프레임워크

• 수치 / 범주 데이터 기초 통계 분석

• 특징 벡터 기반 데이터 유사 / 상관 분석

• 마이닝 / 기계학습 기반 분석 개발

• 실무 서비스 기반 분석 컴포넌트 개발

• 데이터 전처리 ( 정규화 ) 분석

• 수치 데이터 기초 통계 (9 종 ) 산출

• 범주 데이터 기초 통계 (2 종 ) 산출

• 수치 데이터 확신도 기반 합계 산출

• 수치 데이터 Min/Max 기반 정규화 변환

• 이진 벡터 데이터 기반 유사 / 상관 분석

• 수치 벡터 데이터 기반 유사 / 상관 분석

• 문자열 데이터 유사 / 상관 분석

• K-Means 기반 군집 분석 ( 수치 / 범주 데이터 )

• EM 기반 군집 분석 ( 수치 데이터 )

• ID3 기반 분류 분석 ( 범주 데이터 )

• CF 기반 사용자 / 아이템 유사도 계산 개발

• 사용자 유사 기반 추천 생성 모듈 개발

• 내용 기반 아이템 유사도 계산 모듈 개발

• 아이템 유사 기반 추천 생성 모듈 개발

Flamingo Roadmap구분 특징 비고

License• Apache License (Workflow Engine & Log Collec-

tor)• GPL License (User Interface)

Sprint 1/2

• Log Collector UI• Workflow Engine Integration• Pig Editor ( 편집 / 실행 / 저장 / 로그 )• Hive Editor ( 편집 / 실행 / 저장 / 로그 )• Hive Metastore Browser• Hcatalog Integration• Workflow Engine 고도화• Workflow Designer 통합• HDFS Browser• Remote Workflow Engine • Redesign

• 11 월 말

• 기 개발된 모듈을 새로운 아키텍처로 통합하고

• 새로운 기능 추가

Sprint 3/4

• Job Management UI 고도화• Log Collector UI 고도화• 각종 History UI 추가• Ankus Integration• Mahout Integration• Data Visualization ( 초기 모형 )• Workflow Engine 고도화• Hadoop/Workflow Engine Admin• Amazon S3/Local File System Browser

• 12 월 말

• 알고리즘 추가

Sprint 5/6

• QA Test• Ambari integration & Dashboard• User Guide• English/Korean Localization

• Flamingo 1.0 Alpha 릴리즈• 릴리즈를 위한 각종 관리• 12 월 말

Flamingo Project Management Open Cloud Engine 은 동일한 스타일로 전세계 통용되는 방식으로 프로젝트 관리

Flamingo Project Management Open Cloud Engine 은 동일한 스타일로 전세계 통용되는 방식으로 프로젝트 관리

Flamingo Project Management Open Cloud Engine 은 동일한 스타일로 전세계 통용되는 방식으로 프로젝트 관리

BTW, How about Infra for Legacy Apps. and Extensions ?

• Embedded Platforms – Garuda and Flamingo

• Extension Platforms (Middleware such as DBMS, memory cache)

• And many of Open Source Applications out there

• Are needed to be hosted on top of an IaaS

Our New Project : Netra

Building Infrastructure

for

developer & operator

Netra

1. 100+ Open Sources Template

2. Full Software Provisioning

3. Deployment

100+ Open Sources Template

Just Click to provision

100+ great open sources at your fingertip

Template "build-essential" do action :installend

directory node[:redis][:data_dir] do owner "redis" mode "0755" action :createend

remote_file "#{Chef::Config[:file__path]}/" do source "https://github.com/v2.0.4-stable" action :create_if_missingend

bash "compile_redis_source" do cwd Chef::Config[:file_cache_path] code <<-EOH tar zxf redis.tar.gz cd antirez-redis-55479a7 make && make install EOH include templateAend

Netra DSL Template Software Stack

Load Balancer

Web Server

App Server

Cache Server

Data-base

Server

Web Server

Storage

Server

Network

Computing Resource

Full Software Stack Provisioning

Deployment

Netra Tem-plate Deployment

Portability & Mobility

Deploy Wordpress with Netra

1. Visit Stack Repository

2. Fill out forms

Deploy Wordpress with Netra

Deploy Wordpress with Netra

3. Select Servers

4. Type or skip parameters

Deploy Wordpress with Netra

Deploy Wordpress with Netra5. Start Deployment

Deploy Wordpress with Netra6. Progress

Deploy Wordpress with Netra

Netra

By Stack Template & Automation

for infrastructure

Dev Store

Big Picture

Legacy Apps.

&

Exten-sions

Netra (OpenStack-based IaaS)

Developers/Vendors

Operators

Users/Tenants

App S

tore

/ Self S

erv

ice

Garuda (PaaS)

Flamingo (BigData Plat-

form)

Future Apps.

Big Data

Social MobileE-GovFrame

Standard APIs and Interfaces

OCE Umbrella

가입자 포탈 구현

제공자 포탈 구현

앱스토어 구현

클라우드 환경 구축

SaaS 프레임워크

소셜 / 빅데이터 환경

SOA 아키텍처

Developers Operators

Reference: GSA’s G-PaaS Is-sue

• Vision: Government PaaS savings are achieved in license con-

solidation, reduced maintenance and enterprise process im-

provement.

Case: KIAT’s R&D Cloud

IT 개발 부서

표준 프레임워크 개발 환경

샌드박스

개발자 포탈

운영자 포탈

프로세스 엔진 (uEngine BPM)( 개발 , 배포 , VM 생성 , Scale-out, 소멸 프로세스 )

Apache DeltaCloud /JCloud (IaaS 접근 추상화 )

형상관리서버(SVN/Git)

빌드서버(Jenkins)

개발기 인스턴스 운영기 인스턴스

다종 IaaS : 엔키아 / 오픈스택 *

모델서버( 메타데이터

서버 )

템플릿

마켓플레이스

가입자 포탈

( 임차 )사용기관

IT 운영

R&D Cloud PaaS 엔진부

Roadmap to Open Standard기술관점

표준 프레임워크의 클라우드 -En-abling• IaaS  노하우 없이 멀티태넌시 애플리케이션을 만들

수 있다 .• 표준 프레임워크의 개발 프로세스• 마켓플레이스 제공

컴포넌트 - 애즈 - 어 - 서비스• 표준 프레임워크의 공통 컴포넌트들을 오픈 -API

(SOA)  로 매시업할 수 있도록함• 셀프서비스 포탈에서 모델링 /GUI 도구를 통하여

현업이 도입기관 각자의 프로세스 , 비즈니스 룰을 관리

QoS & 인터 - 클라우드• 클라우드 운영을 위한 SLA 준수 , 보안• 애플리케이션들을 융합하여 새로운 조합서비스가

가능하다 (*CSB)• 가입기관별 공통영역 ( 공통 라이브러리 , 공통

기능 ) 이 중복없이 운영된다

전략관점

국산 / 공개우선의 클라우드 스택화

한국대표 오픈 소스 프로잭트

공공 / 민간 스마트 오피스 시나리오 커버리지

기대효과

외산 플랫폼의 위협 방어

국내 클라우드 기술의 보편화

공공 표준 클라우드 플랫폼으로의 혁신의 기회

Yr. 1

Yr. 2

Yr. 3

Vision: Virtual Enterprise Enabler

Technol-ogy

• Cloud comput-ing – Global Single Instance

• SNS, Smart Phone, LBS

• Video (audio) confer-ence

• BPM

Se-cu-rity

• VPN, en-cryption of data, restric-tions on email

• Secured collabo-rative environ-ments

People

• leadership provides di-rection, guidance, support, recognition

• Set clear expecta-tions

• Keep lines of commu-nications open

• Develop a culture of flexibility

• Provide necessary feedback and support

Activity Plan

• First Official Release : 20 Nov, 2013 – 릴리즈 기념 행사

• 제목 : “ 클라우드 컴퓨팅과 비즈니스 프로세스 인텔리젼스”• 장소 : 대우 푸르지오 밸리 ( 선릉 ) 11 월 20 일 12 시 ~ 저녁 6 시• 참가신청: www.opencloudengine.org

• 내용 : 제품소개 및 체험 행사

• Open User Meeting & Design Summit– 정식 릴리즈 이후 매월 2~3 회 계획– 사용자 의견 수렴 및 아키텍트 들과의 공동 설계

• Committer Meeting

– 현재 매주 수요일 오픈 클라우드 엔진 센터 ( 선릉 / 역삼 ) 에서 진행중 ( 커미터 참가 환영 )

Resources

• Official Web Site:www.opencloudengine.org

• Wiki:http://wiki.opencloudengine.org/

• Jira Issue Tracker:http://jira.opencloudengine.org/

www.facebook.com/groups/opence