social qa: ЗАДАЧИ, ПРОЦЕССЫ,...

31
SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫ Андрей Журавлёв

Upload: others

Post on 02-Jun-2020

6 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ,

ИНСТРУМЕНТЫАндрей Журавлёв

Page 2: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

SPEAKER INTRODUCTION

QA Team Lead в Social Games Department

АНДРЕЙ ЖУРАВЛЁВ

2Social QA: задачи, процессы, инструменты

Page 3: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

• Команда QA Social

• Проекты, которыми мы занимаемся

• Обязанности QA

• Инструменты, которые используем

• Виды тестирования, которые используем

• Примеры фич

• Развитие

ПЛАН ДОКЛАДА

3Social QA: задачи, процессы, инструменты

Page 4: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

КОМАНДА SOCIAL QA

7 QA Занимаются поддержкой Flash клиентов

4 QA занимаются Web GL клиентом

2 сотрудника работают удалённо

Клиент:«Спарта:

Война Империй»

Клиент:«Норды:

Герои Севера»

Клиент:«Конфликт»

Клиент:«Войны Престолов»

Клиент:«Кодекс Пирата»

Клиент:«Правила Войны»

СЕРВЕР RTS

ВСЕГО 13 СПЕЦИАЛИСТОВ

4Social QA: задачи, процессы, инструменты

Page 5: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

SOCIAL NETWORKS

Всего насчитывается 70+ игровых кластеров с различными настройками для каждой соц. сети.

Которые необходимо учитывать при добавлении новых функциональностей.

Для каждой соц. сети у нас есть минимум по два тестовых кластера на каждый проект.

С возможностью перенастраивать их под свой лад.

Одноклассники Souz.mail.ruМой МирPlarium.comВконтактеFacebook

CОЦ. СЕТИ ПАРТНЁРЫ

5Social QA: задачи, процессы, инструменты

Page 6: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

Напоминалки 1,2%

Планы тестировани 1,2%

Чек-листы 10,2%

UI тестирование 3,7%

Функциональное 42,8%

Автоматизация 5,6%

Звук 0,3%

Коммуникация 4,0%

Jira и багрепорты 7,7%

Требования 4,2%

Системное тестирование 13,3%

Регрессионное 5,6%

ОБЯЗАННОСТИ НА СПРИНТ

6Social QA: задачи, процессы, инструменты

Page 7: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

• Firebug\Fiddler4 + Flash player debugger.

• Bitbucket

• SourceTree + Git + IDEA + Publisher

• Rider (автотесты)

• Unity

• GBO admin tool

• Log viewer

• Offer tool

• Billing tool

• Our BRAIN

ИНСТРУМЕНТЫ QA

7Social QA: задачи, процессы, инструменты

Page 8: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

• Для анализа запросов

и ответов от сервера

• Для поиска всех 404 ошибок

(недостающего контента)

• Для определения версии билда

• Для отлавливания “исключений”

на клиенте

ИНСТРУМЕНТЫ QA

FIREBUG \ FIDDLER4 + FLASH PLAYER DEBUGGER

8Social QA: задачи, процессы, инструменты

Page 9: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

• Доступ к коду приложения

• Возможность использовать

Grey Box тестирование

• Доступ к статик дате,

который позволяет узнать

ID Айтемов, Зданий, Юнитов

ИНСТРУМЕНТЫ QA

BITBUCKET ПРЕДОСТАВЛЯЕТ

9Social QA: задачи, процессы, инструменты

Page 10: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

ИНСТРУМЕНТЫ QA

Дает возможность собирать и выливать тестовые клиенты без помощи клиент-разработчика.

+ + + =

SOURCETREE + GIT + IDEA + PUBLISHER

10Social QA: задачи, процессы, инструменты

Page 11: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

ИНСТРУМЕНТЫ QA

PUBLISHER

11Social QA: задачи, процессы, инструменты

Page 12: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

ИНСТРУМЕНТЫ QA

АДМИНКА GBO

12Social QA: задачи, процессы, инструменты

Page 13: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

ИНСТРУМЕНТЫ QA

АДМИНКА GBO

13Social QA: задачи, процессы, инструменты

Page 14: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

Log viewer позволяет просматривать логи с игровых серверов, что дает такие возможности:

• Доступ к информации, недоступной с клиента

• Доступ к логам с ошибками, битвам, платежным операциям и т.п.

• Возможность работать с локальными сервера и тестовыми кластерами

• Нет нужды отвлекать разработчика по всяким мелочам

ИНСТРУМЕНТЫ QA

LOG VIEWER

14Social QA: задачи, процессы, инструменты

Page 15: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

• Работать со всеми типами офферов,

которые есть в игре. (на текущий момент

6 типов)

• Создавать свои уникальные паки

и скидки для проверки их выдачи,

покупки и начисления

• Создавать и редактировать сегменты, на

которые выдаются офферы

• Выдавать любой оффер юзеру по его ID

ИНСТРУМЕНТЫ QA

OFFER TOOL ПОЗВОЛЯЕТ

15Social QA: задачи, процессы, инструменты

Page 16: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

• Узнать всю информацию

о транзакции по ее ID

• Проводить реальные платежи

на тестовых и продовских серверах

• Инициировать рефанд платежа

ИНСТРУМЕНТЫ QA

BILLING TOOL ДАЕТ ВОЗМОЖНОСТЬ

16Social QA: задачи, процессы, инструменты

Page 17: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

• Запускать локальные

сборки приложения

• Отслеживать ошибки через консоль.

• Отлавливать исключения.

• Получать информацию

об элементах приложения.

• Локализовать место

появления ошибки

ИНСТРУМЕНТЫ QA

РЕДАКТОР UNITY ПОЗВОЛЯЕТ

17Social QA: задачи, процессы, инструменты

Page 18: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

Идея и концепт

Сервер

Клиент

Графика

Локализация

Тестирование

Модуль 2

Модуль 1

Багфикс

Тестирование

Тестирование

Багфикс

Багфикс

Багфикс

Тестирование

Готоваяфункциональность

Релиз

SIMPLE WORKFLOW

18Social QA: задачи, процессы, инструменты

Page 19: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

JIRA WORKFLOW

TO DO RESOLVED FOR TEST TEST RC TEST PROD CLOSEDTEST IN PROGRESSIN PROGRESS

19Social QA: задачи, процессы, инструменты

Page 20: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

По спецификации

Попарное

Ручное Автоматизированное

Функциональное

Исследовальское

Позитивное Модульное

Негативное

Дымовое

Серого ящика

Удобства пользователяВеб

Регрессионное

А/Б тестирование

UI

ВИД ТЕСТИРОВАНИЯ

ВИДЫ ТЕСТИРОВАНИЯ

20Social QA: задачи, процессы, инструменты

Page 21: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

Рассмотрим несколько примеров функциональностей

на примере игры “Войны Престолов”:

• Клановый город.

• Уровни юнитов.

• Офферы.

ПРИМЕРЫ ФУНКЦИОНАЛЬНОСТЕЙ

21Social QA: задачи, процессы, инструменты

Page 22: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

Точки входа Графика

Перенос столицыГарнизоны

Квесты

Атака\Разведка\Оборона

Уровни столицы

Баланс ДостиженияОтчёты Технологии

Роли Защита от атаки Новые ресурсы

Заметки

МОДУЛИ ФУНКЦИОНАЛЬНОСТИ

КЛАНОВЫЙ ГОРОД

22Social QA: задачи, процессы, инструменты

Page 23: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

Ручное По спецификации

Серого ящика

Дымовое

Позитивное

Исследовательское МодульноеНегативное Интерфейса

Веб Функциональное Удобства пользователя

Попарное

ВИДЫ ТЕСТИРОВАНИЯ ФУНКЦИОНАЛЬНОСТИ

КЛАНОВЫЙ ГОРОД

23Social QA: задачи, процессы, инструменты

Page 24: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

UI ФУНКЦИОНАЛЬНОСТИ НА КЛИЕНТЕ

24Social QA: задачи, процессы, инструменты

Page 25: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

МОДУЛИ ФУНКЦИОНАЛЬНОСТИ

Начисление опытав битвах

Баланс зданий

Улучшение юнитов UI зданий

Окно отправки войск

Миграция

Покупка и начислениеновых айтемов

Окно юнитшопа

Применение айтемов Распределение\перераспределение очков

ОбучениеВзаимодействие со всеми

типами локаций

Различия в балансемежду проектами

Действие бонус

Баланс умений всех юнитов

Квест

Окно командного центра

ДОБАВЛЕНИЕ УРОВНЕЙДЛЯ ЮНИТОВ

25Social QA: задачи, процессы, инструменты

Page 26: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

UI ФУНКЦИОНАЛЬНОСТИ НА КЛИЕНТЕ

26Social QA: задачи, процессы, инструменты

Page 27: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

Тип АТип 0

Тип Т

Тип Б

Тип Р

Тип Д

МОДУЛИ ФУНКЦИОНАЛЬНОСТИ

• Cоздание

• Выдача

• Экспайр

• Покупка

• Начисление

• Применение

• Графика

• Сегментация

• Разные валюты

• Разные банки

• Возврат платежа

• Разные точки входа

ОФФЕРЫ

27Social QA: задачи, процессы, инструменты

Page 28: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

По спецификации

Ручное Автоматизированное

Функциональное

Исследовальское Позитивное Модульное

Негативное

Дымовое

Веб А/Б тестирование

UI

ВИД ТЕСТИРОВАНИЯ

ВИДЫ ТЕСТИРОВАНИЯ ФУНКЦИОНАЛЬНОСТИ

28Social QA: задачи, процессы, инструменты

Page 29: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

UI ФУНКЦИОНАЛЬНОСТИ НА КЛИЕНТЕ

29Social QA: задачи, процессы, инструменты

Page 30: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

• QA Автоматизатор

• PM координатор

• Game Designer

• QA в другом отделе

Необходимо выполнить ТЗ и показать владение необходимыми навыками

для другой позиции.

НАПРАВЛЕНИЯ РАЗВИТИЯ

30Social QA: задачи, процессы, инструменты

Page 31: SOCIAL QA: ЗАДАЧИ, ПРОЦЕССЫ, ИНСТРУМЕНТЫcdn01.x-plarium.com/browser/content/developers/udev/content/uDev… · • Доступ к логам с ошибками,

СПАСИБО!ВОПРОСЫ?

www.developers.plarium.com

31Social QA: задачи, процессы, инструменты