宋兵

2014-05-22

c

2

IT的思维变迁 — 应用服务化，平台集成化

1950 2011

3

组织内部员工 • 一线员工 • 企业中层 •10000+用户

消费者 • 数字一代 • 线上线下 •10000000000+用户

新的 IT 全景视图

전략구분

组织决策层 • CXO • 决策层 •100+用户

4

Oracle云计算数据基础设施

Oracle 云计算数据基础设施

海量管理能力 多结构 高可用 水平扩展 按需服务

并 行 架 构

企业应用

应用中间件云平台

ORACLE ExaLogic

（应用网格）

SOA 云服务支撑平台

互联网应用

集成SOA

流程管理BPM

安全性Identity

用户交互 Web

JAVA 开源

应用中间件

核心业务数据

大数据

海量，多结构 变化快，低密度 PB+ 级

多结构 非关系模型

结构化 关系模型

C-level

实时BI

OLTP 百TB+级

价值 数据 提练 上移

热点 数据 上移

•ODI For Hadoop

•Oracle Hadoop Loader

•OralceNoSQL

•Hadoop MapReduce

•混合列压缩 •智能扫描 •Flash Cache •RAC •R Ebteroruse

内存数据库 内存列压缩 Essbase in Memory OBIEE Foundation

5

通用一体机

数据系统层

应用系统层

工程化一体机搭建企业IT架构的适用全场景

Internet / Intranet

服务&应用 (OLTP)

数据处理 (OLTP)

数据存储

分析&应用 (OLAP)

数据仓库 (DW)

大数据处理 大数据存储 BDA

Exalogic

Super cluster

ODA

Exadata

Exalytics Exalytics

海量数据存储

中间件一体机

数据库一体机

商业智能分析一体机

大数据一体机

数据库入门一体机

6

数据处理场景

7

Exadata数据库云服务器 OLTP、数据仓库和整合的最佳选择

• 最快的数据仓库和 OLTP（查询速度提高 10-50 倍）

• 性价比最高的数据仓库和 OLTP

• 基于世界第一的数据库（Oracle 数据库）

• 优化的硬件 • 例如：5TB 闪存、InfiniBand 网络等

• 软件突破 • 智能扫描

• 混合列压缩（高达 10 倍的压缩率）

• 智能闪存缓存

8

9

极致性能：数据库云服务的可靠保障 最具设计创新，彻底解决数据库系统性能瓶颈

InfiniBand 请求

DB Servers

Exadata Storage

Exadata

高性能理由② “综合列压缩(EHCC)”：获得10x－50x倍 超高压缩比，并提高磁盘I/O效率

高性能理由③ “Smart Flash Cache”：高达5.3TB, 提高随机I/O性能，1M

IOPS、50GB/s Throughput.

高性能理由① “Smart Scan”：计算负载部分卸载至并行智能存储层，并只传输经筛选的有用数据

高性能理由④ “Infiniband”: 提供40Gb/s 端口带宽，聚合带宽高达880Gb/s , 端口延时(0.1us ）小于以太网的 1/100

Smart Scan、EHCC、Smart Flash Cache等是Oracle Exadata 独有的关键性能突破技术

10

11

数据库整合及云服务，简化数据中心架构

Exadata DB Cloud

远程灾备

磁带备份

• DBaaS 整合与按需服务 • 服务器、存储及网络资源池 • 统一管理与监控 • 随需扩展

磁盘阵列

HR Finance /ERP

DataMart

CRM

磁带备份 远程灾备

SAN

DW System

12

入门级一体机:ODA

ODA X3-2

• 32 cores • 512GB • 36TB Raw Storage • 1.6TB SSD

2013.3 第二代ODA

ODA V1

• 24 cores • 192GB • 12TB Raw Storage • 292GB SSD

2011.9 第一代ODA

ODA X4-2

• 48 cores • 512GB • 36TB Raw Storage • 1.6TB SSD

2013.12 第三代ODA

13

Quarter Rack

Half Rack

Full Rack

追求极致简化

追求极致性能

ODA与Exadata：定位不同

Eighth Rack

Oracle Database Appliance

——相同的CPU芯片 相同的操作系统 相同的数据库软件

14

软硬件一体化设计

14

服务器节点2 服务器节点1

Oracle

RAC Oracle DB

11gR2

Oracle DB

11gR2

ASM分布式存储

SAS HDD

数据空间

SSD

Redo Log

ODA管理工具

• 完整的Oracle群集系统：一台ODA相当于2个x86服

务器节点+共享磁盘阵列+SAN网络设备+Linux操作

系统+虚拟化及管理软件+智能存储管理软件

+Oracle DB RAC；

• 软硬件搭配更合理：从硬件的配置到软件的选择均

经过精挑细选，搭配合理性更有保证；

• 系统运行效率更高：所有软件包经过精心裁剪，仅

保留有用的软件包，系统运行起来更有效率；

• 软硬件兼容性有保证：ODA作为一个一体机产品，

从软硬件的兼容性到系统优化设置的稳定性都经过

Oracle公司的严谨验证；

• 通讯效率更高：节点之间、节点与存储之间采用背

板互联，比通过HBA卡+数据线互联的方式效率更

高；

15

硬件

•冗余的计算节点 •冗余的内置硬盘做操作系统镜像

•冗余的物理连接 •冗余的6Gb/s存储I/O连接

•冗余的10GbE集群心跳互联

•冗余的10GbE对外服务网络连接

•数据存储冗余 •双重镜像

•三重镜像

•冗余的热交换的电源、风扇

ODA内置硬件和软件双重可靠性保证

软件

•Oracle数据库11g企业版 −Real Application Clusters

−RAC One Node

•Oracle Grid Infrastructure −Oracle Clusterware

•Oracle Linux −UEK2 kernel

•Oracle Appliance Manager −System check for all components

−Diagnostics collection

16

2011年Oracle Open World宣布推出

Oracle 大数据机服务器 (Big Data Appliance)

• 软硬一体优化集成的大数据分析服务器

• 集成最优的开源大数据处理解决方案

• 全面的大数据处理分析软硬平台

17

Oracle 大数据机

• 优化、全面

– 存储和集成大数据之所需应有尽有

• 与 Oracle 数据库云服务器集成

– 分析所有数据

• 易于部署

– 无风险，快速安装和设置

• 单一供应商支持

– Oracle 全面支持所有硬件和软件

18

• 软件部分 • Oracle Linux

• Oracle JDK

• Cloudera Hadoop Distribution

• Cloudera Manager

• Open-source R distribution

• Oracle NoSQL Database

Community Edition ***

• Oracle Big Data Connector *** • ODI Adapter for Hadoop

• Oracle Loader for Hadoop

• Oracle Direct Connector for HDFS

• Oracle R Conenctor for Hadoop

• 硬件部分 • 18 Sun 服务器

• 每台2 CPUs * 8核

• 每台64 GB内存(可扩展512GB)

• 12 * 4TB 磁盘空间

• 网络部分 • 40Gb InfiniBand

• 10Gb 以太网

Raw Storage: 864T

Core Count: 288核

Mem Count: 1.2TB – 9TB

Big Data Appliance一体机 ---- Hadoop + NoSQL+硬件

19

Oracle 大数据机优势

最优性能 在硬件能力，端到端技术堆栈的整体优化，使应用效率最高，计算存储分布更均匀 出厂化的最优参数配置，避免系统集成测试中大量冗余工作

最稳定平台 全面整合测试的集成化发行版本，保证长期稳定运行 集成最新的CDH开发的补丁，并和ORACLE整体技术堆栈结合 保证各个软件组件的一致性，使应用顺滑运行

最易管理 提供业界领先的集成化管理工具，避免开源版本管理困难的问题 提供各种方式的系统异常报警功能

最强功能 提供了大数据到传统平台的无缝迁移工具 提供了业界领先的NOSQL解决方案 提供了业界领先的高级分析功能

20

ORACLE整合BDA平台和开源平台功能比较

ORACLE BDA 开源系统实现

平衡的设计，根据硬件及软件能力针对HDFS数据节点选取提供高级的均衡算法，提高系统扩展性

简单均衡算法，容易在慢速服务器或热点服务器上产生读写瓶颈，最慢服务器往往成为系统性能瓶颈

出厂即为高可用方案，针对HDFS的NAME NODE等故障点提供HA能力

NAME NODE往往成为系统的单点故障，一旦失效则整个系统不可用

HBASE的Major Compaction 的后台平衡控制，不会影响生产性能

简单算法，容易产生合并风暴

整合的基于CLOUDERA MANAGER的管理平台框架，简化对集群的管理

往往需要多种工具的整合进行管理，缺乏端到端的整体管理能力

实现和ORACLE技术堆栈的端到端融合整合

开源解决方案，只是采用通用的数据处理接口，在处理效率上会成为瓶颈

技术堆栈优化的整体吞吐率远高于同等配置硬件

多种开源技术的堆砌，单一组件的瓶颈成为整个平台的瓶颈

商用和开源NOSQL 产品选择 开源产品缺乏厂商支持

没有厂家支持

没有统一监控管理手段

缺乏既有平台的整合工具

缺乏处理性能出厂优化

21

应用分析处理

22

中间件云服务器 Exalogic

开放技术 • x86/x64 • InfiniBand+SDP • NAS+SAS • Linux+Solaris

• 基于InfiniBand技术的超高速Backbone • 跨节点虚拟共享内存技术(Coherence) • 硬件支持的网络分区，安全隔离计算节点 • Virtual Lane提供QoS应用级流量隔离

Mainframe架构思路

云计算Ready

• 多层级虚拟化 • JVM / Weblogic实例 • Oracle VM / Solaris Zone • 共享虚拟内存池(Coherence) • 共享统一存储 • 网络分区

• 计算资源的“云漂移” • 软硬件资源的统一监控和管理

软硬件一体化

• 目前IBM、EMC和HP等公司都在全力研发并推广其软硬件一体化产品，而Oracle的Exalogic和Exadata在这方面已具有了显著的优势 • 想想Apple、Google+Moto、Microsoft+Nokia ？

工程化系统（Engineered System）

•软件 ＋ 硬件 ＋ 调优 ＋ 集成

23

EL X2-2

Oracle Exalogic X4-2硬件总体设计数据 集成设计——高密度、高容量、高带宽；低能耗、低延迟、低维护

• 为所有应用共享的存储

• 双机互备NAS机头，无单点故障

• 80 TB SAS 硬盘，RAID1镜像互备

• 4 TB 读缓存,72 GB 写缓存

集成存储

• 40 Gb/s带宽，微秒级延迟时间

• 万兆以太网连接数据中心

InfiniBand I/O 基础构造及万兆以太网

• 30 个计算节点（每个节点95W）

• 720 Xeon内核 (2.7 GHz, 12Core)

• 7.5 TB DRAM（1333MHz）, 960 GB 固态硬盘

计算节点

24

Exabus: Exalogic I/O 和网络架构 没有IO瓶颈的云平台，资源共享和集群扩展效率更高

数据中心

生产网络

(10GbE)

管理网络 (千兆以太网)

数据中心

管理网络

(GbE)

10GbE

GbE

以太网网关

交换机

标准

Oracle

数据库

Exab

us

(In

finiB

an

d I/O

Ba

ck

pla

ne)

Exadata

Exalogic

SPARC SuperCluster

管理交换机 存储

计算节点

…

骨干交换机

Exalogic X4-2

ZFS 存储

IB

计算资源池：

垂直分割

水平分割

两种虚拟化技术

绿色计算

存储资源池

灵活份额划分

多种访问协议

安全、高速

网络资源池：

高带宽、低延迟

安全、可靠

支持与10GbE互连

云扩展：

数据库云

Java云

存储云

25

Exalogic 弹性云软件 弹性云软件使系统性能、整合性和易管理性如虎添翼

En

terp

rise

Ma

na

ge

r

Exalogic Elastic Cloud Software

Exalogic Elastic Cloud X4-2 Hardware

FMW and Business Applications

Coherence WebLogic Tuxedo

Exabus Exalogic

Control Tools

Virtu

al A

sse

mb

ly B

uild

er

Exabus Java API Exabus RDMA API Exabus SDP API

Oracle VM

26

Application Buffer

Copy TCP IP Transport

Kernel

Application Buffer

标准硬件 I/O

应用 应用

Exabus

20% 缓冲复制

40% 交易传输处理

40 % 内核上下文切换

Zero Buffer Copy零缓冲复制

Direct Memory Access直接内存访问

Kernel Bypass内核旁路

应用 应用

4X 吞吐量, 6X 低延迟

Exabus – 高速虚拟化网络 直接远程内存访问IO模式——基于超级计算机首选的核心技术架构

跨机调用效率成 倍提升，特别适合于现代化的分布式系统计算架构

27

首次和工程系统进行整合:

•成熟的内存技术

•先进的分析能力

•无限制的数据可视化功能

更透彻的洞察企业绩效

甲骨文的Exalytics In-Memory Machine介绍

28

Oracle Exalytics: 底层结构

内存分析软件

Memory Optimized Essbase

TimesTen for Exalytics

Adaptive In-Memory Tools

1 TB RAM

40 Processing Cores

High Speed Networking

内存分析硬件 优化的甲骨文商业智能基础套件

29

Exalytics 商业智能一体机

4 Intel E7-4870

40 cores total

1 TB RAM

1033 MHz

40 Gbps InfiniBand (2 ports)

10 Gbps Ethernet (2 ports)

1 Gbps Ethernet (4 ports)

3.6 TB HDD

400GB Flash

计算

内存

网络

存储

30

Oracle Exalytics

• 实现快如闪念的企业级分析 – 响应速度提高 20 倍

– 其亚秒级性能支持快如闪念的分析

– 一台设备可扩容至支持 50,000 个企业用户

• 假设分析和预测 – 响应速度提高 16 倍

– 更为准确 — 使用更多详细信息，涵盖更广的范围，评估更广泛的业务

– 更具规模 — 在繁忙时段支持更多的用户和更高的数据量

– 更为敏捷 — 每日进行，而不是每月进行

• 企业计划 – 响应速度提高 5 倍，吞吐量提高 6 倍，从而缩短计划周期时间

– 以更为细粒度的运营详细信息运行更多的计划模型，从而提高准确性

– 从财务扩展至每个 LOB，一台设备支持 10,000 计划用户

为企业分析提供卓越性能

31

内存中分析

探索式自适应内存缓存 – 确定在内存中存放哪些内容

– 自我调适以适应分析负载的变化

内存数据库 – 并行 TimesTen 数据库

– 并行 Essbase

– 高级列压缩

– 内存中分析功能

1 TB RAM

适用于

Exalytics 的

TimesTen 内存数据库

探索式

内存缓存

32

Exalytics 引人入胜的移动体验

• Exalytics 用户体验已延伸到 iPad

• 无需额外开发，移动用户可立即获得所有 BI 内容

• 快如闪念的分析随处可用

最迅速地实现移动价值。无需进行额外开发

33

• 智能存储管理器将频繁访问块存储于内存中

• 内存缓存优化块访问

• 锁管理器可以提高并行度

• 读取速度提高 80 倍，写入速度提高 20 倍

Exalytics 实现高性能计划

内存缓存

Essbase 计划引擎

智能存储管理器

锁管理器

该内容仅供参考，不构成对任何特性或功能的开发、发布和时间安排的承诺。

34

Exalytics 改善 BI 和 EPM 应用程序的运行 无需更改应用程序

• 财务

• 人力资源

• 采购和支出

• 项目

• 供应链

• 订单管理

• 物流

• 销售

• 市场营销

• 服务

• 联系中心

• 价格

• 客户忠诚度

• 计划和预测

• 收益管理

• 金融服务

• 通信

• 医疗保健

• 零售

35

通用处理

36

SuperCluster 融合Exadata和Exalogic硬件架构

© 2011 Oracle Corporation – Proprietary and Confidential

Exadata SPARC

SuperCluster Exalogic

Exadata Storage

Database Servers ZFS NAS Storage

Application Servers

37

SuperCluster超级集群服务器八大核心组件 集计算、存储、网络、软件、虚拟化、管理之大成 全新定义了未来通用计算平台的标准

SPARC T4计算资源池

创造12项性能世界纪录，全面超越竞争友商同类产品

Exadata智能存储模块

1.2M IOPS, 32 GB/s 查询吞吐能力

Exalogic中间件云支持

10x Java 程序运行性能

集成的ZFS共享存储

比NetApp有2倍的性能，一半的价格

Solaris 11操作系统 云操作系统，秒级的虚拟机供应，无以伦比的安全性与扩展性

虚拟化

零额外资源消耗

InfiniBand高速/低延迟网络

相比传统FC有5-10倍速度的高速互联

OEM统一管理平台

提高效率，较少停机时间

CONFIDENTIAL - ORACLE RESTRICTED Page 37

38

SuperCluster: 数据处理架构革命 打破I/O带宽瓶颈，“Engineered For Innovation”

• 采用更高的单路带宽 – InfiniBand提供40Gb/s的带宽，比高端阵列的光纤通道技术快5~10倍

• 提供更多的并发带宽 – 模块化存储/DB单元，高度并行的存储网格

– 带宽与容量/处理能力成正比

• 传送更少的数据 – 智能扫描SmartScan

– 自动透明的存储索引

– 混合型列压缩技术

• 更高效的互联协议 – RDS协议构建与Infiniband之上，RDMA数据交互

– JDBC over SDP，最大化中间件到数据库性能

• 提供更高的IOPS – 智能Smart Flash Cache、Log技术处理更多的IOPS

在更多的通道上

以更快的速度

更高的效率

传送更少的数据

39

SuperCluster超强整合能力，简化数据中心架构 Datacenter in One Rack

T4-4 Node 1

Solaris 10

Solaris 11

T4-4 Node 2

Solaris 11

Solaris 11

T4-4 Node 3

Solaris 11

Solaris 11

T4-4 Node 4

Solaris 11

Solaris 11

ZFS STORAGE APPLIANCE

InfiniBand Network

EXADATA STORAGE

EXADATA STORAGE

EXADATA STORAGE

EXADATA STORAGE

EXADATA STORAGE

EXADATA STORAGE

•内置虚拟化功能

•运行所有工作负载

•运行Solaris 10和11

•运行多种数据库

•运行多个应用和多层应用

DB Domain DB Domain DB Domain DB Domain

GP Domain GP Domain GPDomain Exalogic Domain

CONFIDENTIAL - ORACLE RESTRICTED Page 39

40

部署及维护标准化、简单化

• 所有客户购买的相同的集成设计系统 – 工厂已完成测试，开箱即用

– 经过工厂高度优化的

– 通过一键式安装方法智能完成安装和配置

• 运行现有的数据库、中间件和客户应用 – 支持客户现有的所有应用

• 保护Oracle生态系统 – 技能、知识库、人员、合作伙伴

• Oracle企业管理器实现统一管理 – 应用软件到硬件系统统一管理软件，简化管理

• Oracle一站式服务 – 从应用到磁盘，同一级别、统一接口的原厂服务

部署时间缩短至几天而不是几个月

开箱即用

通过标准化、简单化获得更低的TCO

41

无缝升级，简化系统未来扩展

现有数据和架构

• 立即运行现有的应用

• 光纤SAN、以太网络就绪

+

SuperCluster 单机架半配或满配

• 初始从低配起步，最大8机柜扩展

• 将来可升级到SPARC T5

+ +

Exadata存储扩展 Oracle ZFS 存储系统

• 简单扩展数据存储

•数据库存储和通用存储

42

SuperCluster硬件体系组成

•128 SPARC T4 cores+72 Xeon Cores

•1,200 CPU线程

•8 TB内存

•117 to 290 TB 物理硬盘容量

•14.3TB 智能缓存Flash/SSD

•1.2M IOPS存储性能

•42 GB/sec存储带宽

•896 Gb/sec InfiniBand互联带宽

43

SuperCluster一体机内置X3-Exadata智能数据库存储系统 提供极致DB性能

+ ++

• Hybrid Columnar Compression– 10x compression for warehouses

– 15x compression for archives

Data remains

compressed

for scans

and in Flash

Space Savings

Cascade to

Copies

compress

primary DB

standbytest

devbackup

uncompressed

• Smart Scale-Out Storage– InfiniBand connected servers

– Smart Scan query offload

• Smart PCI Flash Cache– Transparent cache in front of disk

– Accelerates random I/O up to 30x

– Quadruples data scan rate

44

Exalogic 弹性云软件2.0

SuperCluster 支持Exalogic弹性云的性能优化 提升极致Java性能

Weblogic优化技术： - WebLogic JDBC 与 Data Source 优化，WebLogic Cluster State Replication 优化

- WebLogic Socket Direct Protocol (通过SPARC SuperCluster InfiniBand Stack实现)

- Coherence Message Bus API 支持 (通过SPARC SuperCluster InfiniBand Stack实现)

= Exalogic Elastic Cloud Software 2.0

En

terp

rise

Ma

na

ge

r

Middleware and Business Applications

CoherenceWebLogic Tuxedo

Exabus

Integration

Traffic Director

Exabus

Integration

Exabus

Integration

Exabus

Integration

Exalogic Control

SuperCluster Hardware

Exabus

Oracle VM 3 for SPARCPhysical Oracle Solaris

Oracle Solaris

45