Внедрение автоматизации тестирования в highload проекте с...
DESCRIPTION
Доклад Никиты Гавриша, SQA Days-13, 26-27 апреля 2013, www.sqadays.comTRANSCRIPT
Тестирование на 50 миллионов
Никита Гавриш
Руководитель QA
topface.com1
2
С высоты птичьего полета
3
Topface• Более 50 миллионов пользователей
• Более 60 000 уникумов
• Сложная клиентская логика.
• Непрерывная выкладка
• Непрерывная доступность
4
Проблемы• Отсутствие документации
• Большое количество платформ и языков
• Частые изменения функционала
• Таргетирование. Разный функционал для разных пользователей
• Тестовая среда
• Зачем писать тесты – потеря времени.
5
Первый вариант решения:
Кофеин!!!
6
Процессы и приоритеты
7
Процесс
• Прозрачный воркфлоу. • Новые статусы задач• Очередь задач на тестирование
• Требования к ТЗ
• Чек-листы для каждой задачи - наглядный результат
• Эстимейт на тестирование в задаче
В разработке Отдана на тестирование
Тестируется Готово Выложена
8
Приоритеты
• Больше приоритетов
• Контроль высоких приоритетов
• Сведение давления к минимуму
• Прозрачные сроки начала выполнения
• Прозрачный порядок выполнения
9
Появление автоматизации
10
Свой фреймворк
JSON-Репорты
команды
данные
11
Сбор репортов
Starter
…
…
Report HandlerSettings
TestSuite
TestSuite
TestCase
TestCase
12
Запуск> python automation.py parallel=1 target_url=http://topface.com browser=firefox > testsuite=login_test,marks_test,messages_test
13
Непрерывная выливка
14
• Требования к скорости выполнения
• Наглядность результатов
• Быстрое принятие решения (выливать\не выливать)
• Постоянная 100% актуальность тестов
Особенности
15
Знать где искать
16
• Баги не распределены равномерно
• Любят возвращаться
• Любят пересечение функционала
• Opera, IE
• Не ходят по одиночке
Где живут баги
17
Не тратьтесь на мелочи
18
• Никак
• 1/3 функционала всегда новая
• Автоматизировать только критичное и постоянное
• Быть в курсе.
• Nightly builds по всему функционалу
• Smoke-тесты быстро и по верхам перед выливкой
Как все покрыть
19
Расслабьтесь
20
• Процессы налажены
• Приоритеты расставлены
• Автоматизация работает
• Не все покрыто, но мы не расстраиваемся по мелочам
• Постоянно поддерживаем тесты
• Повышаем наглядность репортов и скорость smoke-ов
• Планируем API- и Security- тесты
Жизнь удалась
21
Спасибо за внимание
Никита Гавриш
http://vk.com/mafia239
http://www.facebook.com/ngavris
Skype: shirvag