Блуждание во тьме. Или как понять состояние продукта
DESCRIPTION
Кирилл Казаков, Омск, июнь 2012TRANSCRIPT
Profit from the CloudTM
QA Team Leader
Казаков Кирилл
Блуждание во тьме...
или как понять состояние продукта
2 Profit from the CloudTM
• В тестировании с 2006 года• Прошёл путь от мл.
инженера до руководителя группы тестирования
• В настоящее время работаю в Parallels
• Основной продукт в портфолио – Parallels Plesk Panel
О себе
Кирилл Казаков
3 Profit from the CloudTM
• Parallels – мировой лидер в области ПО для хостинга и облачных услуг
• Более 5 тыс. сервис-провайдеров предоставляют облачные и хостинг сервисы для более чем 10 млн. малых бизнесов в 125 странах мира
• Центры разработки в Москве и Новосибирске• Основные продукты: Parallels Automation, Parallels
Virtuozzo Containers, Parallels Desktop for Mac, Parallels Plesk Panel.
О Parallels
4 Profit from the CloudTM
О чём я буду говорить?
• О графиках
• Ещё о графиках
• И снова о графиках
• И ещё чуть-чуть о графиках
5 Profit from the CloudTM
… где-то на пути к успеху релизу ...
Кто-то заболел
Новые «важные»
фичи
Всё оказалось не так просто
Изменились требования
Море баговСторонняя команда
нарушает сроки
Потеря мотивации
Бюрократия
6 Profit from the CloudTM
«Правильный» путь
Как быть?
Что делать?
Как это контроллировать?
На что обращать внимание?
Какие выводы делать?
7 Profit from the CloudTM
Team capacity vs Estimations
Team capacity3 months * 4 weeks * 5 days * 8 hours * (1 people * 1.2 + 2 people * 1 + 5 people * 0.8
+ 2 people * 0.6) ~ 4000 people hours
EstimationsNew features ~2200Bug verification ~350
Regression testing ~500Automation ~400Vacations ~160
Risks ~200= ~3800
Успеваем или нет?
8 Profit from the CloudTM
Team capacity vs Estimations
• Промолчать и оставить всё как есть, выкинуть отпуска людей, автоматизацию и часть тестирования
• Уменьшить число фичей, сдвинуть срок релиза, добавить людей
• Покреативить
А если Team capacity < Estimations?
9 Profit from the CloudTM
Release burn down chart
Своевременно корректируйте ваши планы, исходя из текущего прогресса
day
1da
y 4
day
7da
y 10
day
13da
y 16
day
19da
y 22
day
25da
y 28
day
31da
y 34
day
37da
y 40
day
43da
y 46
day
49da
y 52
day
55da
y 58
day
61da
y 64
day
67da
y 70
day
73da
y 76
day
79da
y 82
day
85da
y 88
0500
10001500200025003000350040004500
EffortToDo Ideal ForecastВсё по плану?
10 Profit from the CloudTM
Open bugs trend vs time
Сфокусируйтесь только на том, что действительно нужно чинитьА то ли мы чиним? А успеваем ли?
11 Profit from the CloudTM
Found vs Fixed bugs
Если число найденных багов не уменьшается, то что-то не так
12 Profit from the CloudTM
Found bugs by severity
Неуменьшающееся кол-во багов не говорит об ухудшении продукта
13 Profit from the CloudTM
Found bugs by condition
Характер багов позволяет понять причину появления багов
14 Profit from the CloudTM
Blocker Critical Major Normal Minor Grand Total
Component #1 4 4
Component #2 5 4 1 10
Component #3 1 2 1 4
Component #4 2 2 1 1 6
Component #5 3 3
Component #6 1 1
Component #7 1 3 13 7 24
Component #8 2 1 3
Component #9 1 1 2
Component #10 0
Grand Total 4 13 30 1 9 57
Blocker Critical Major Normal Minor Grand Total
Component #1 4 4
Component #2 5 4 1 10
Component #3 1 2 1 4
Component #4 2 2 1 1 6
Component #5 3 3
Component #6 1 1
Component #7 1 3 13 7 24
Component #8 2 1 3
Component #9 1 1 2
Component #10 0
Grand Total 4 13 30 1 9 57
Found bugs by components
Выделите проблемные компоненты, и определите причины возникновения багов в них
?Кто у нас слабое звено?
15 Profit from the CloudTM
Обратная связь от пользователей
• Support• Forum• E-mails• Built-in statistics
• Что развивать?
• Как использовать?
• Что тестировать?
16 Profit from the CloudTM
Сравнение с предыдущими релизами
Используйте опыт и данные предыдущих релизов
• Сколько стоит?
• Чего ожидать?
• Много ли будет
проблем?
• Когда решим их?v1.0 v2.0 v3.0
0.0
5.0
10.0
15.0
20.0
25.0
30.0
0.6 0.8 1.25.6 5.2
7.8
9.2 8.4
11.2
4.43.6
3.8
Param 1Param 2Param 3Param 4Param 5
17 Profit from the CloudTM
• Results of regular automatic tests• Initial estimates vs spent time• Features quality• Open bug count by severity/priority• Bugs to verify trend• Fixed vs Found bugs• Bugs density• etc
На что ещё стоит обращать внимание?
18 Profit from the CloudTM
Это очень мощный и полезный инструмент!
Но! Все эти графики имеют смысл только, если вы способны на основании них делать полезные выводы и менять продукт и
процессы к лучшему
Важно помнить, что ...
19 Profit from the CloudTM
Спасибо за внимание
Казаков Кирилл
QA Team Leader at Parallels
Любой вопрос можно задать сюда:
E-mail: [email protected],
Skype: kkazakov_
Twitter: @kirill_kazakov