«oracle application quality management: Средства тестирования и...

1 Copyright © 2011, Oracle and/or its affiliates. All rights

reserved.

Insert Information Protection Policy Classification from Slide 8

Application Quality Management Обзор средств Тестирования

ORACLE

PRODUCT

LOGO

Борис Пищик – Консультант, Oracle CIS

Email: [email protected]


reserved.

Infrastructure Changes –

реальная нагрузка

Application Changes –

«синтетическая» нагрузка

Storage

O/S, Hardware

RDBMS

Middleware

• Тестирование приложений под реальной и синтетической нагрузкой

• Охват всех уровней технологического стека при тестировании

Подход Oracle к Тестированию

Infrastructure

Testing Tools

Infrastructure Testing tools

Application Testing tools

Application Replay

Real Application Testing

Application Testing Suite


reserved.



reserved.

Oracle Application Testing Suite

Oracle Functional Testing

Oracle Test Manager Oracle Load Testing

Интегрированное решение для «синтетического» тестирования


reserved.

Oracle Test Manager

Основные преимущества

• Интегрированная среда для полного

контроля над процессом тестирования

• Web-интерфейс

• Планы/Требования/Тесты/Проблемы

• Запуск тестов

• Контроль доступа – разные роли

• Визуализация статуса тестирования

• Графические отчеты

Структурированное, открытое и наглядное управление тестированием.


reserved.

Oracle Functional Testing

Преимущества:

• Простота создания тестовых сценариев

• Возможность «кастомизации» скриптов

тестирования

• Различный уровень детализации:

– Визуальный (GUI)

– Опытный пользователь (JAVA code UI)

• Полный контроль над тестовым

сценарием (возможность добавления

проверок и т.д.)

• Удобная среда пользователя

• Параметризация и корреляция

Простое в освоении средство функционального тестирования


reserved.

Oracle OpenScript – создание скриптов


reserved.

Oracle Load Testing

Преимущества

• Эмуляция нагрузки с помощью

«виртуальных пользователей»

• Отчеты, помогающие определить

предел нагрузки на приложение

• Интегрирован с Enterprise Manager

• Планирование аппаратных ресурсов

• Автоматический запуск и останов теста

• Статистика производительности

инфраструктурных компонентов

Автоматизация нагрузочного тестирования


reserved.

Качественные скрипты за короткое время Акселераторы

Сокращают время создания скриптов


reserved.

Готовые наборы скриптов для тестирования


reserved.

• Обеспечивает • Functional/Regression testing

• Load/Performance testing

• Test Management

• Web, Siebel, EBS/Forms, ADF, JD Edwards E1, Adobe ® Flex, Database &

WebServices, Hyperion, PeopleSoft, JD Edwards Functional - НОВЫЕ

• Сокращает время на создание тестовых скриптов на ~50%

• Мультиплатформенность Windows/Linux • Серверные компоненты Test Manager и Load Testing могут работать под Linux

• Hardware estimation • Автоматическая оценка мощности аппаратной платформы для сценариев

нагрузочного/стресс тестирования

• Улучшенные библиотеки корреляции. Поддержка Chrome

Oracle Application Testing Suite 12.3 - NEW


reserved.


Oracle Flow Builder (для EBS)

• Возможность ручного создания скриптов из готовых компонентов

– Библиотека из 3000 компонентов и 200 «потоков»

– Будут поставляться

”Advanced packs” с

дополнительными потоками и

компонентами

(ожидается в 2014 г.)


reserved.

Oracle EBS QA

• Команда Oracle EBS QA одна из крупнейших в индустрии разработки ПО

• Использует Application Testing Suite как стандартную платформу для тестирования

• Библиотека из более 41200 тестовых скриптов

• 6280 часов (261 дней) автоматизированного тестирования


reserved.

Infrastructure Changes – реальная

нагрузка



Storage

O/S, Hardware

RDBMS

Middleware


Infrastructure

Testing Tools



Application Replay

Application




reserved.

Средства тестирования под реальной нагрузкой

Application Replay


Обновление БД, Патчи

Схема, Параметры

RAC узлы, Миграция

Обновления OS и Hardware

CPU, RAM, Storage и т.д.

Client Client

… Client

Middle Tier

Storage

Запись

запросов от

внешних

клиентов

Изменения логики приложения

Изменения инфраструктуры

Middle Tier


reserved.



reserved.

Real Application Testing (RAT) Решение для высококачественного тестирования на уровне БД

Remediate

Test

Deploy

• Состав продукта:

• Database Replay - захват/воспроизведение нагрузки на БД

• SQL Performance Analyzer (SPA) - анализ производительности SQL-

запросов

Change


reserved.

Database Replay – процесс тестирования

• Захват Нагрузки в Рабочей системе

– Полный захват реальной нагрузки с сохранением всех характеристик: временные интервалы, порядок транзакций и т.д., запись в файлы

– Перенос файлов нагрузки в тестовую среду и обработка

• Воспроизведение Нагрузки в Тестовой среде

– Применение планируемых изменений в тестовой среде

– Полноценное воспроизведение нагрузки

• Анализ & Отчетность

– Сравнительные отчеты: Захват vs. Воспроизведение

– Диагностические отчеты AWR, ASH,ADDM Analysis & Reporting

1

2

3

Воспроизведение

Анализ и Настройка

Захват


reserved.


reserved.

RAT Consolidated Replay - NEW Одновременное воспроизведение нагрузок, записанных на разных БД

ERP CRM DW

Container Database

ERP

CRM

DW


reserved.

RAT Workload Scale Up - NEW

• Искусственное масштабирование нагрузки для планирования консолидации

• Time Shifting - Совмещение «пиковых» периодов из разных нагрузок

• Workload Folding - Вырезание и совмещение временных интервалов из одной нагрузки

• Schema Remapping - Одновременное воспроизведение одной нагрузки в разных схемах

SALES

HR

ERP

CRM


reserved.

SQL Performance Analyzer (SPA)

• Детальный анализ по каждому SQL-

запросу

• Интеграция с STS, SQL Plan Baselines,

SQL Tuning Advisor

• Детальный отчет о расхождениях –

выполнение «До» и «После»

• Сравнение результатов

производительности конкретных SQL-

запросов

• Минимальное влияние на

производительность рабочей системы

при захвате SQL в SQL Tuning Set (STS)

Analysis Report

Compare

SQL Performance

SQL plans + stats SQL plans + stats

Pre-change Trial Post-change Trial

SQL Workload

STS

Детальный анализ влияния изменений на SQL–запросы


reserved.

SPA: Типичные области применения

• Обновление ПО СУБД, установка patch-set

– 9.2/10.1 10.2 , 11g, 12c

– 11.2.0.3 11.2.0.4

• Обновление статистики оптимизатора запросов

• Изменение параметров экземпляра БД

• Изменения схемы БД (добавление/удаление индексов)

• Применение рекомендаций по настройке

• Изменения на уровне I/O (напр. Переход на ASM, Exadata)

SPA может быть использован для:

Любых изменений, влияющих на планы выполнения и производительность SQL

Тестирования как на рабочей так и тестовой БД

MOS Note: 560977.1


reserved.

SPA Отчеты

4

1

3 2

5


reserved.


нагрузка



Storage

O/S, Hardware

RDBMS

Middleware


Infrastructure

Testing Tools



Application Replay

Application




reserved.

Application Replay


reserved.


Application Replay

Тестовая

система

Рабочая

система

Агенты

воспроизведения

Пользователи

СХД СХД

• Захват нагрузки приложения (http запросы) на рабочей системе

• Использует RUEI для захвата операций пользователей и данных об их производительности

• Нулевая дополнительная нагрузка на рабочую систему

• Воспроизведение полной нагрузки на тестовой системе

• С характеристиками нагрузки рабочей системы

• Анализ и Отчёты

• Расхождения при воспроизведении: доступ, содержимое, …

• Время загрузки страниц, количество просмотров страниц, время размышления

Захват Проигрывание Анализ &

Отчёты

Захват реальной нагрузки на уровне приложения


reserved.


Application Replay - Анализ и Отчёты 1

• Итоговый отчёт

– Расхождения при воспроизведении

– Средняя скорость загрузки страниц

– Страницы, создающие наибольшую нагрузку


reserved.


Application Replay - Анализ и отчёты 2

• Анализ страниц

– Метрики


reserved.



нагрузка



Storage

O/S, Hardware

RDBMS

Middleware


Infrastructure

Testing Tools



Application Replay

Application




reserved.


Test Data Management


reserved.


Управление тестовыми данными Решения

Подготовка тестовой системы

Модель данных

Выявление секретных

данных

Маскирование данных

Урезание Данных


reserved.


Data Subsetting – «урезание» данных

Production Datapump

Export file

Test

Export = Запись подмножества

данных через DataPump

Import

Удаление данных

«на месте»

Production Test

Клонирование

Database size Subset size Time*

Data Pump method 1 Terabyte 200G (20%) 1 hour 8 minutes

Clone and delete 1 Terabyte 200G (20%) 5 hours 49 minutes

Создание подмножества данных в тестовых БД


reserved.


Data Masking Pack Безопасное развёртывание тестовых БД

• Безопасное развёртывание тестовой системы с помощью маскирования конфиденциальной информации

• Расширяемая библиотека шаблонов маскирования

LAST_NAME SSN SALARY

HODGES 111—23-1111 60,000

JOHNSON 222-34-1345 40,000

LAST_NAME SSN SALARY

AGUILAR 203-33-3234 40,000

BENSON 323-22-2943 60,000

Production БД Тестовая БД


reserved.


Маскирование данных на стороне источника

Рабочие данные копируются на тестовую систему и затем маскируются. Конфиденциальные данные уязвимы, пока не будут не замаскированы.

0100101100101010010010010010010010010010010010001

0010101001001001001110010010010010010010000100100

1011100100101010010010101010011010100101010010

Рабочая Тестовая

Клонирование и Маскирование

Database 11g

Конфиденциальные данные маскируются

на стороне источника прежде, чем они

покинут рабочую базу данных.

010010110010101001001001001001001001001001001000

100101010010010010011100100100100100100100001001

001011100100101010010010101010011010100101010010

Маскирование на стороне источника

Замаскированный

Data Pump файл

Рабочая Тестовая

Database 12c

Максимальное соответствие PCI DSS


reserved.

Платформа Oracle Testing-as-a-Service - NEW Тестирование, как сервис в облаке

• Scripts

• Environments

Test Library

• Test Drivers

• Test Assets

• Test Application

Test Lab Provisioning • Load Test

• Functional Test

Test Execution

•Monitoring

•Resource Metering

•Rule-based Chargeback

Monitoring & Chargeback

Облачная инфраструктура

Управление ресурсами в облаке

Самообслуживание

http(s)

Test Admin, Test

Designer & Managers

Test Engineers


reserved.

Oracle Application Quality Management

Тестирование Приложений

Тестирование Инфраструктуры

Управление тестовыми данными и средами

Application

Testing Suite

Облачная платформа для тестирования

Testing-as-a-Service

Oracle Functional

Testing Oracle Load

Testing

Oracle Test

Manager

SQL Performance

Analyzer

Application

Replay

Data Discovery

and Modeling Data Sub setting

Database Replay

Data Masking

Реальная нагрузка Синтетическая нагрузка Тестовые данные

Управление качеством приложений


reserved. 40

• http://www.oracle.com/technetwork/oem/app-quality-mgmt/index.html

• http://www.oracle.com/technetwork/oem/app-test/index.html

• http://www.oracle.com/technetwork/oem/pdf/511889.pdf



Полезные ссылки

http://www.oracle.com/technetwork/oem/app-quality-mgmt/index.html





http://www.oracle.com/technetwork/oem/app-test/index.html



http://www.oracle.com/technetwork/oem/pdf/511889.pdf




reserved.


«oracle application quality management: Средства тестирования и...

Technology