품질보증 - tytm.tysystems.comtytm.tysystems.com/testmgr/login/testmanager_userma… · web...

TestManager 사용자 가이드

소프트웨어공학팀 Testing PartVersion 1.7

2009년 10월 1일


제.개정내역

버전 작성일자 개요 작성자1.0 2008년 3월 15일 신규제정 김관호

1.5 2008년 5월 19일 검색추가/수정(테스트설계/수행,결함)

테스트입력 결함등록 절차변경

테스트 시나리오 일괄등록 추가

테스트케이스 입력항목 추가(화면명)

이성신

1.6 2008년 10월 8일 테스트케이스 변경관리

테스트케이스 진척관리

통계부분 기능개선

이성신

1.7 2009년 10월 1일 개발항목관리 추가

테스트-개발항목 연결 추가

테스트시나리오 업로드 추가

테스트시나리오 일괄변경기능 추가

시나리오 검색기능 추가

테스트케이스복사기능 추가

결함번호 링크기능 추가

시험검색기능 개선

변경된메뉴 Update

현예리

Ver 1.5 /93


목 차1. TestManager 개요..................................................................................5

1.1. TESTMANAGER란?...........................................................................................................51.2. 테스트관리시스템의 필요성.............................................................................................51.3. TESTMANAGER의 주요 기능..............................................................................................5

2. 테스트 프로세스........................................................................................6

2.1. 테스트 프로세스..............................................................................................................62.2. 결함관리 WORKFOW.........................................................................................................6

2.2.1. New........................................................................................................................7

2.2.2. Open......................................................................................................................7

2.2.3. Assigned................................................................................................................7

2.2.4. Resolved................................................................................................................7

2.2.5. Closed....................................................................................................................7

2.2.6. Rejected.................................................................................................................7

2.2.7. Delayed.................................................................................................................8

2.3. 사용자별 역할.................................................................................................................82.3.1. Tester (테스터).......................................................................................................8

2.3.2. Developer (개발자).................................................................................................8

2.3.3. Test Manager (테스트관리자)..................................................................................8

2.3.4. System Administrator (시스템 관리자)...................................................................8

3. 일반사용자를 위한 기능...............................................................................9

3.1. 로그인............................................................................................................................93.2. TESTMANAGER 화면 구성................................................................................................103.3. 내 페이지.....................................................................................................................11

3.3.1. 작업정보................................................................................................................11

3.3.2. 개인정보수정.........................................................................................................12

3.4. 요구사항......................................................................................................................133.4.1. 요구사항관리.........................................................................................................13

3.4.2. 요구사항 일괄등록..................................................................................................15

3.4.3. 개발항목관리.........................................................................................................16

3.5. 테스트계획...................................................................................................................173.5.1. 테스트단계관리......................................................................................................17

3.5.2. 테스트시나리오관리................................................................................................19

3.5.3. 테스트 시나리오 일괄변경.......................................................................................25

Ver 1.5 /93


3.5.4. 테스트-요구사항연결..............................................................................................27

3.5.5. 테스트 시나리오 일괄등록.......................................................................................28

3.5.6. 테스트-개발항목 연결.............................................................................................30

3.5.7. 테스트시나리오 업로드...........................................................................................33

3.6. 테스트설계...................................................................................................................343.6.1. 테스트케이스관리...................................................................................................34

3.6.2. 테스트설계 검색.....................................................................................................41

3.7. 테스트수행...................................................................................................................433.7.1. 테스트결과입력......................................................................................................43

3.7.2. 테스트결과관리......................................................................................................48

3.7.3. 테스트수행 검색.....................................................................................................53

3.7.4. 테스트 변경관리.....................................................................................................55

3.8. 결함관리......................................................................................................................583.8.1. 결함조회................................................................................................................58

3.8.2. 결함등록................................................................................................................59

3.8.3. 결함검색................................................................................................................63

3.8.4. 결함 워크플로우 진행..............................................................................................66

3.8.5. 기타 결함 정보.......................................................................................................70

3.9. 통계.............................................................................................................................743.9.1. 요구사항통계.........................................................................................................74

3.9.2. 테스트통계.............................................................................................................76

3.9.3. 진척현황통계.........................................................................................................78

3.9.4. 결함 통계...............................................................................................................82

3.10. 보고서......................................................................................................................873.10.1. 테스트보고서......................................................................................................87

3.10.2. 결함보고서.........................................................................................................90

Ver 1.5 /93


1. TestManager 개요

1.1. TestManager란?

TestManager는 웹 기반 테스트관리시스템이다. 전체적인 테스트 프로세스를 관리하여, 요구사항, 테스트 계획, 테스트 결과, 결함 간의 추적성을 제공하고 이와 관련된 통계 수치를 제공하고 리포트를 생성해 주어 프로젝트의 테스트 활동을 효과적으로 이루어질 수 있도록 지원한다.

1.2. 테스트관리시스템의 필요성

테스트관리 시스템은 테스트 활동의 관리를 지원하는 툴이다. 계획적이며 체계적인 테스트 프로세스를 확립할수 있는 결함은 제품의 품질과 직결되는 부분이기 때문에 철저하게 관리되어야만 한다. 결함이 언제, 어느 위치에서 발생했으며 누구에 의해 어떻게 수정이 되었다는 등의 내용을 추적할 수 있어야 하는 것이다.결함관리를 위해 일반적으로 개발자 스스로 스프레드시트 형태의 결함 목록표를 작성하여 유지하는 경우가 많다. 하지만 개발 팀의 규모가 커지고 전담 테스터들과의 협업이 이루어지게 되면서 이런 방식으로는 한계에 부딪힐 수 밖에 없다. 프로젝트에서 발생한 모든 결함의 라이프사이클을 한 장소에서 통합 관리하고 팀원들간의 의사소통을 도와줄 수 있는 도구가 필요하다.

1.3. TestManager의 주요 기능

단일 웹 인터페이스를 통하여 접근이 가능하다. 결함의 증상을 비릇한 여러가지 정보를 기록하고 결함 생명주기 상의 변화 과정을 추적 관리한다.

결함의 심각도 및 조치예정일을 지정하여 먼저 해결되어야 하는 결함을 파악할 수 있다. 사용자 권한을 구분하여 프로젝트 구성원의 역할에 따른 결함관리 기능을 수행할 수 있다. 결함의 상태나 심각도, 담당자, 날짜 등 여러가지 조건에 의해 분류 및 검색이 가능하다. 프로젝트 산출물로써 결함보고서를 생성해 준다. 결함 상태 변화시 관련 사용자에게 전자메일로 통보해 준다. 프로젝트 관리에 유용한 다양한 통계 데이터를 제공한다. 누적된 결함 데이터는 프로젝트의 품질을 측정하고 향후 프로세스 개선을 위한 지표로 활용된다.

Ver 1.5 /93


2. 테스트 프로세스

TestManager의 사용법을 익히기 전에 전반적인 테스트 프로세스에 대하여 알아둘 필요가 있다. 또한, 테스트 프로세스 내에서 결함을 등록하고 조치 및 관리하는 결함관리 Workflow도 반드시 숙지해야 적절하게 TestManager를 사용할 수 있다.

2.1. 테스트 프로세스

테스트 프로세스는 다음과 같이 요구사항 등록 -> 테스트계획 -> 테스트설계 -> 테스트수행 -> 결함관리 -> 테스트종료 등으로 구성된다.

2.2. 결함관리 Workfow

결함관리시스템 내에서 결함이 처리되는 절차를 결함관리 Workflow라고 하며, 이것은 결함의 상태(Status)와, 상태를 변화시킬 수 있는 권한(Role) 으로 구성된다. 결함관리 Workflow는 2.1과 2.2에서 보이는 그림에서와 같이 상태 전이 다이어그램으로 나타낼 수 있다.

Workflow에서 최초 시작 상태는 New 라는 하나의 상태로 고정되어 있으며, 이후 다른 상태로 전이될 수 있는데, 이동가능한 경로는 하나 혹은 둘 이상이 될 수도 있다. 단, 최종 상태인 Closed(종료)와 Rejected(거부) 상태에서는 다른 상태로 이동할 수 없다. 각 상태와 사용자 역할에 대해서는 이후 별도로 설명하도록 한다.

결함을 테스트하고 발견된 결함을 등록하는 테스터와, 결함을 수정하는 개발자, 결함 처리에 대한 의사 결정을 하고 합당한 개발자에게 할당하는 관리자 역할은 각기 다른 사람이 수행하는 것이 원칙이다. 하지만 예외적으로 단위시험시에는 개발자 혼자서 이 모든 역할을 수행한다.

Ver 1.5 /93


다음은 결함이 가질 수 있는 상태들에 대하여 설명한다.

2.2.1. New테스터가 결함을 발견하여 TestManager에 등록하게 되면 최초에New 상태를 갖는다.

2.2.2. Open새롭게 등록된 결함이 실제로 수정해야 할 결함으로 인정된 상태를 말한다. 혹은 Resolved(해결)되거나 Delayed(연기)된 상태였던 결함이 다시 이슈화되는 경우에도 Open 상태가 된다.

2.2.3. Assigned결함이Open된 후, 이 결함을 수정해야하는 담당자에게 할당된 상태이다.

2.2.4. Resolved담당 개발자가 결함을 수정하여 테스터에게 재 테스트를 요청한 상태이다.

2.2.5. Closed수정된 결함에 대한 테스트가 완료되어 해당 결함이 종료된 상태를 말한다.

2.2.6. Rejected결함의 내용이 불충분하거나, 확인 결과 결함이 아닌것으로 판단되어 해당 결함을 기각한 상태이다.

2.2.7. Delayed결함이 한 번Open된 이후에 프로젝트 일정이나 기타 이유로 인하여 결함 처리를 미루어 놓은 상태를 말한다.

Ver 1.5 /93

New

Rejected

Open

Delayed

Assigned

Resolved

Closed

Manager TesterTester Manager

ManagerManager

ManagerDeveloper

ManagerManager

Tester


2.3. 사용자별 역할

결함관리시스템에서의 사용자는 테스터, 개발자, 테스트관리자, 시스템관리자 중의 한가지 권한을 부여받게 된다. TestManager에서는 실제 프로젝트에서의 PM 뿐만 아니라 서브시스템을 관리하는 PL, 혹은 경우에 따라 AA에게도 관리자 권한을 부여하며 실제로는 이 사람들이 자신이 속한 파트에 대한 결함 처리의 의사결정을 담당하게 된다.

각각이 수행하는 역할은 다음과 같다.

2.3.1. Tester (테스터)결함 등록, 종료결함 재오픈(개발자가 수정했다고 보고한 결함이 재테스트에 실패한 경우)

2.3.2. Developer (개발자)주 역할: 결함 수정(fix)보조 역할: 결함 오픈, 할당, 거부, 연기 – 단위시험 시

2.3.3. Test Manager (테스트관리자)결함 오픈(Open), 할당, 거부, 연기

2.3.4. System Administrator (시스템 관리자)DefectManager 시스템 설정 관리사용자 및 프로젝트 생성/관리

Ver 1.5 /93


3. 일반사용자를 위한 기능

3.1. 로그인

웹 브라우저를 통하여 TestManager의 URL로 연결한다.

예) http://tytm.tysystems.com/testmgr

연결되면 다음과 같은 로그인 화면이 나타난다.

사용자 ID와 비밀번호를 입력하고 로그인한다. (ID와 비밀번호는 PMS와 같다.)

** ID가 없거나 로그인하고자 하는 프로젝트에 참여자로 등록되어 있지 않다면 PMS에 등록 후 시스템관리자에게 사용자 등록을 요청하도록 한다. (최초 로그인 방법 참고)

Ver 1.5 /93

http://tytm.tysystems.com/testmgr


3.2. TestManager 화면 구성

로그인이 성공하면 다음과 같은 TestManager의 메인 화면이 나타난다.

화면 상단에 TestManager의 주요 기능들을 메뉴로 보여준다. 선택 시 해당 메뉴의 서브 기능들이 그 바로 아래줄에 나타나고, 이를 통해 각 페이지로 이동할 수 있다. 그 아래줄에는 현재 로그인한 프로젝트명을 보여준다.

화면 좌측에는 상단 부분에 로그인 정보를 보여주고 있고, 그 아래로는 각 페이지에 대한 설명이나 다른 페이지로 이동할 수 있는 하위 메뉴들이 나타난다.

그리고 화면 중앙 부분이 사용자에게 해당 페이지의 정보를 보여주는 영역이다.

Ver 1.5 /93


위의 화면은 ‘내 페이지 - 작업정보’의 화면으로, 로그인하면 이 페이지가 가장 먼저 나타난다.

각 페이지의 개요는 다음과 같다.

내 페이지: 현재 사용자와 관련이 있는 테스트 정보나 결함들을 한눈에 보여주기 위한 페이지 요구사항 : 테스트를 위한 요구사항을 등록, 관리하는 페이지 테스트계획: 테스트단계와 테스트 시나리오를 등록, 관리하는 페이지 테스트설계: 테스트케이스를 작성하는 페이지 테스트수행: 테스트 수행 결과를 입력하고, 결과정보를 관리하는 페이지 결함관리: 결함을 등록하고 조회하고 검색하기 위한 페이지 통계: 테스트 정보와 결함의 통계 자료를 조회하기 위한 페이지 보고서: 테스트 수행 이력과 보고서함에 담긴 결함들의 보고서를 출력할 수 있는 페이지 관리: 프로젝트/사용자 관리 및 기타 시스템 설정을 관리하기 위한 페이지

3.3. 내 페이지

내 페이지는 로그인한 사용자 본인과 관련된 테스트와 결함 목록을 보여주는 ‘작업정보’와 자신의 계정 정보를 수정할 수 있는 ‘개인정보수정’의 기능으로 구성되어 있다.

3.3.1. 작업정보

‘작업정보’에서는 자신과 관계된 테스트와 결함 목록을 보여준다. 사용자 권한에 따라 다른 항목이 제공된다.

Ver 1.5 /93


3.3.2. 개인정보수정

‘개인정보 수정’에서는 자신과 관련된 결함정보를 통보받을 메일주소와 메일 수신여부등을 수정할 수 있다.사이트 버전인경우 패스워드변경이 가능하다.

Ver 1.5 /93


3.4. 요구사항

이제 요구사항을 등록하는 것부터 TestManager의 사용법을 하나씩 알아보도록 하자.요구사항은 테스트매니저 이상의 권한으로만 사용이 가능하다. 테스트나 개발자 권한으로는 사용할 수 없다.요구사항을 등록하는 방법은 시스템의 입력 화면을 통해서 등록하는 방법과 엑셀로 입력하는 방법이 있다.

3.4.1. 요구사항관리

요구사항을 등록하고 관리하는 기능을 제공한다. 요구사항을 효과적으로 관리하기위해 그룹별로 관리하도록 하였으며, 이에 따라 그룹을 등록,관리하는 부분과 요구사항을 등록,관리하는 부분으로 구성되어있다.요구사항그룹은 계층구조를 가질 수 있으며 화면에 트리구조로 보여준다. 트리에서 그룹을 선택시 해당 그룹에 등록되어있는 요구사항 목록이 오른쪽에 나타난다.

Ver 1.5 /93


그룹 등록은 ‘그룹추가’버튼을 클릭하여 나타난 팝업창에서 수행한다. 상위그룹을 ‘찾아보기’에서 트리로부터 선택하고, 추가하고자하는 요구사항 그룹명을 입력한다.

그룹수정도 마찬가지로 ‘그룹수정’버튼을 클릭하여 나타난 팝업창에서 수행된다. 그룹삭제는 그룹

Ver 1.5 /93


트리에서 선택 후 ‘그룹삭제’버튼을 클릭하여 수행하며, 하위에 그룹이나 요구사항을 가지고 있는 그룹은 삭제되지 않는다. (하위그룹을 모두 삭제하고 삭제해야한다.)

요구사항 추가는 추가될 그룹을 트리에서 선택한 후 화면 오른쪽의 요구사항 목록 테이블 위쪽의 ‘추가’버튼을 통해 이루어진다. 나타나는 팝업화면에서 요구사항 정보를 입력 후 저장한다. 요구사항수정은 요구사항 목록 테이블에서 해당 요구사항을 클릭하여 수행할 수 있다. 요구사항삭제는 요구사항 목록 테이블에서 앞의 체크박스를 선택하고 ‘삭제’버튼으로 수행한다.

3.4.2. 요구사항 일괄등록요구사항을 엑셀파일을 통하여 일괄로 등록하는 기능을 제공한다. 파일은 일정 양식을 따라야하며 이와 관련된 샘플과 템플릿 파일을 다운로드 받을 수 있다.

Ver 1.5 /93


※주의할 점- 그룹은 반드시 셀병합한다.- 중간에 빈 공백을 두지 않는다.- 이름이 같은 요구사항그룹을 허용하지 않는다. (파일입력시 오류) 필요 시 요구사항 관리를 통해 등록한다.

3.4.3. 개발항목관리

개발항목을 등록하고 관리하는 기능을 제공한다. 개발항목과 테스트시나리오를 연계하여 관리하기위해 만들어졌으며, 개발항목간 연계는 테스트계획>테스트-개발항목연결 메뉴를 이용하여 사용할 수 있다.본 기능은 프로젝트 관리 시스템인 워크벤치시스템(이하 WB)과 연동하여 프로젝트 구현단계에서 WB를 통해 구현일정등록시 해당 개발항목에 대한 개발항목수과 담당자등이 등록되며 이 기능을 통해 조회 및 수정이 가능하다.개발항목그룹은 계층구조를 가질 수 있으며 화면에 트리구조로 보여준다. 트리에서 그룹을 선택시 해당 그룹에 등록되어있는 개발항목 목록이 오른쪽에 나타난다. 아래 화면에서 확인 할 수 있다.

Ver 1.5 /93


개발항목그룹의 추가/수정/삭제는 요구사항 관리 메뉴와 동일하게 사용 가능하다.

3.5. 테스트계획

테스트계획은 테스트매니저 권한 이상으로만 사용이 가능하다. 테스터 또는 개발자 권한으로는 접근할 수 없다.

3.5.1. 테스트단계관리

테스트 단계를 조회, 추가, 삭제 등의 관리를 수행하는 화면이다.

Ver 1.5 /93


조회 버튼을 클릭하면 위 테스트 단계 조회 화면이 나타난다.테스트 단계 조회 화면에는 다음의 정보를 확인할 수 있다. 테스트시점

차수

개발항목맵핑여부 (여부테스트시점이 개발항목과 맵핑하는지 체크하는 항목)추가 버튼을 클릭하면 다음과 같이 테스트 단계 팝업이 나타난다.

여기에서 테스트시점을 선택하고 추가 버튼을 클릭하면 해당 테스트시점의 테스트단계가 추가된

Ver 1.5 /93


다.

조회 화면에서 좌측의 체크 박스에서 삭제하고자 하는 테스트단계를 선택한 후 삭제 버튼을 클릭하여 해당 테스트단계를 삭제할 수 있다. 이때 만일 해당 테스트단계에 테스트그룹이 한 개이상 존재하면 삭제가 수행되지 않고 다음의 알림 메시지가 출력된다.

3.5.2. 테스트시나리오관리

다음은 테스트시나리오를 관리하는 화면이다.

Ver 1.5 /93


테스트시나리오 관리는 테스트단계 별로 테스트시나리오의 관리를 수행하고, 테스트시나리오는 폴더 개념의 테스트 그룹에 의해 구분된다.

우선, 상단의 테스트단계에서 관리하고자 하는 테스트단계를 선택한다.

좌측 아래 구역은 각 테스트단계 별 테스트그룹을 추가, 수정, 삭제 등의 관리를 수행하는 구역이다. 테스트그룹은 폴더 개념과 같이 하나의 테스트그룹 안에 하나 이상의 테스트그룹을 포함할 수 있다. 최 하위 테스트그룹에는 하나 이상의 테스트시나리오를 포함할 수 있다.

Ver 1.5 /93


테스트그룹의 등록은 그룹추가 버튼을 클릭하여 수행한다. 이때 새로운 테스트그룹을 추가할 상위 테스트그룹을 먼저 선택한 후 그룹추가 버튼을 클릭해야 한다. 그룹추가 버튼을 클릭하면 다음의 팝업 창이 나타난다.

그룹명과 설명을 입력한 후 저장 버튼을 클릭하면 해당 테스트그룹이 등록된다.

이미 등록된 테스트그룹을 수정하기 위해 그룹수정 버튼을 클릭하는데, 위 팝업과 동일한 화면이

Ver 1.5 /93


나타나며 마찬가지로 저장 버튼을 클릭하여 테스트그룹의 내용을 수정한다.

테스트그룹을 삭제하려면 삭제하고자 하는 테스트그룹을 선택한 후, 그룹삭제 버튼을 클릭하면 해당 테스트그룹이 삭제되고 다음의 알림창이 나타난다. 만일 해당 테스트그룹 내에 다른 테스트그룹이 하나 이상 존재하면 테스트그룹 삭제가 수행되지 않는다.

테스트시나리오의 조회, 입력, 수정, 삭제 등의 관리는 아래 우측 구역에서 수행한다. 우선 테스트시나리오가 존재하는(또는 존재할) 최하위 테스트그룹을 좌측 테스트그룹 트리에서 선택하면 우측 구역에 해당 테스트시나리오의 목록이 나타난다.

Ver 1.5 /93


새로운 테스트시나리오를 추가하려면 시나리오추가 버튼을 클릭한다. 이 때 다음의 팝업 화면이 나타난다.

Ver 1.5 /93


테스트시나리오에는 다음의 세부 항목들이 존재하며 설명을 제외한 모든 항목들이 필수 입력 항목이다.(테스트설계시작일,완료일,테스트수행시작일,완료일은 테스트 수행중 자동으로 입력됨) 테스트시나리오명

설명

테스트설계자

테스트설계완료예정일

테스트수행자

테스트수행완료예정일

테스트설계자와 테스트수행자는 테스터 또는 테스트매니저 중에서 선택이 가능하다. 위 항목들을 입력한 후 저장 버튼을 클릭하면 해당 테스트시나리오가 추가된다.

테스트시나리오 목록에서 특정 테스트시나리오를 선택하면 다음과 같은 해당 테스트시나리오의 상세 정보가 팝업으로 나타난다.

Ver 1.5 /93


3.5.3. 테스트 시나리오 일괄변경위 화면에서 해당 테스트시나리오 정보를 수정한 후 저장 버튼을 클릭하여 정보를 수정할 수 있다. 테스트 시나리오 일괄변경여러 시나리오에 대해 일괄적으로 정보수정을 원할 경우 일괄변경버튼을 통해 한번에 수정이 가능하다.

아래 화면에서 시나리오를 선택 후 일괄변경목록에 추가 버튼을 클릭하면 일괄변경목록에 추가 되며 추가된 목록은 일괄변경을 클릭하여 확인할 수 있다.

일괄변경목록에 추가 버튼을 이용하여 원하는 시나리오를 목록에 추가한 후 일괄변경을 클릭하면 아래와 같은 팝업창이 열린다.

위 팝업에서 수정을 원하는 시나리오를 선택한후 확인을 클릭하면 아래와 같은 화면이 열린다. (주

Ver 1.5 /93


의! 삭제버튼은 시나리오를 삭제하는 것이 아니라 목록에서 삭제를 의미한다.)

위 화면에서 일괄변경을 원하는 정보를 입력한다. 그리고 변경 버튼을 누르면 이전화면에서 선택한 시나리오에 대한 정보가 수정된다. 취소버튼을 누르면 이전화면으로 돌아간다.(주의! 이전화면에서 선택한 모든화면에 대해 일괄적으로 변경된다는 것을 주의한다.)

Ver 1.5 /93


3.5.4. 테스트-요구사항연결테스트시나리오와 요구사항을 연결하는 화면이다.

테스트그룹을 선택하는 방법은 앞에서 본것과 동일하다. 테스트그룹을 선택하면 선택한 그룹에 속하는 테스트시나리오를 조회할 수 있고, 테스트시나리오를 선택하면 화면 좌측의 테스트시나리오의 상세정보와 화면 하단의 연결된 요구사항들을 조회할 수 있다.연결된 요구사항 목록에서 목록들을 체크박스로 선택하고 ‘삭제’버튼을 클릭하면 연결정보를 제거할 수 있다.‘요구사항 연결’ 버튼을 클릭하면 아래와 같은 팝업창이 뜬다.

Ver 1.5 /93


요구사항그룹 트리를 통해 조회한 요구사항 목록을 선택하면 유형정보들의 상태를 알 수 있다. 비활성화: 요구사항에 등록되지 않은 유형 체크된체 비활성화: 요구사항에 등록되었지만 이미 선택한 테스트시나리오와 연결된 유형 활성화: 요구사항에 등록되었지만 아직 선택한 테스트시나리오와 연결되지 않은 유형유형들을 체크하고 ‘요구사항연결’ 버튼을 클릭하면 선택한 테스트시나리오와 요구사항이 체크한 유형으로 연결된다.‘닫기’ 버튼을 클릭하면 팝업창이 닫히고 ‘테스트-요구사항 연결’ 화면의 테스트시나리오에 연결된 요구사항 목록이 재조회 된다.

3.5.5. 테스트 시나리오 일괄등록테스트시나리오를 엑셀파일을 통하여 일괄로 등록하는 기능을 제공한다. 파일은 일정 양식을 따라야하며 이와 관련된 샘플과 템플릿 파일을 다운로드 받을 수 있다.

Ver 1.5 /93


※주의할 점- 테스트 시나리오가 아직 등록되지 않은 테스트 단계에만 일괄등록 가능 합니다.- 상위 그룹은 하위그룹을 포함하도록 셀병합해야 합니다.- 빈 행이 들어가지 않도록 합니다.- 테스트그룹 명은 중복되지 않아야 합니다.- 테스트설계자와 수행자는 TestManager에 등록된 사용자의 이름을 작성합니다.- 테스트설계 및 수행 예정일에 들어갈 날짜 형식은 yyyy-mm-dd 이어야 합니다.

Ver 1.5 /93


3.5.6. 테스트-개발항목 연결요구사항>개발항목관리메뉴에서 등록한 개발항목명과 테스트시나리오를 연결하는 화면이다.

주의) 해당메뉴는 WB와 연계되어 있을 경우 WB를 통해 개발항목과 테스트시나리오를 연결/수정/삭제하고 TestManager 에서는 조회만 가능할 수 있다.만일 WB연계없이 TestManager단독으로 사용할 경우에는 TestManager에서 직접 개발항목과 테스트시나리오 연결/수정/삭제 가능할 수 있다.

테스트그룹을 선택하는 방법은 앞에서 본것과 동일하다. 테스트그룹을 선택하면 선택한 그룹에 속하는 테스트시나리오를 조회할 수 있고, 테스트시나리오를 선택하면 화면 좌측의 테스트시나리오의 상세정보와 화면 하단의 연결된 개발항목들을 조회할 수 있다.

Ver 1.5 /93


‘연결’ 버튼을 클릭하면 아래와 같은 팝업창이 뜬다.

원하는 개발항목을 오른쪽에서 선택하고 연결버튼을 누르면 연결된 개발항목명은 리스트에서 사라진다. 창을 닫으면 하단화면에 개발항목이 연결된 것을 확인할 수 있다.

Ver 1.5 /93


연결된 개발항목 목록에서 목록들을 체크박스로 선택하고 ‘삭제’버튼을 클릭하면 연결정보를 제거할 수 있다.

Ver 1.5 /93


3.5.7. 테스트시나리오 업로드테스트시나리오를 엑셀파일을 통하여 등록하는 기능을 제공한다. 시나리오파일 단위로만 업로드가 가능하며, 파일은 일정 양식을 따라야한다. 이와 관련된 샘플과 템플릿 파일은 테스트시나리오일괄등록 메뉴에서 다운로드 받을 수 있다.

Ver 1.5 /93


3.6. 테스트설계

테스트설계는 일반적으로 테스터 권한을 갖는 사용자가 사용하는 것이 원칙이며, 실제로는 테스트계획의 테스트시나리오관리에서 각 테스트시나리오 별로 할당된 설계자라면 테스트매니저도 수행할 수 있다. 설계자로 할당되지 않은 테스트매니저나 테스터는 누구도 이 기능을 사용할 수 없다.

3.6.1. 테스트케이스관리

다음은 테스트케이스를 관리하는 화면이다.

테스트케이스 관리는 테스트단계 별로 테스트케이스의 관리를 수행하고, 테스트케이스는 폴더 개념의 테스트 그룹에 포함되어있는 테스트시나리오 별로 구분된다.

우선, 상단의 테스트단계에서 관리하고자 하는 테스트단계를 선택한다.

Ver 1.5 /93


좌측 아래 구역은 테스트케이스가 속해 있는 각 테스트단계 별 테스트그룹을 조회하는 트리 화면이다. 테스트그룹은 폴더 개념과 같이 하나의 테스트그룹 안에 하나 이상의 테스트그룹을 포함할 수 있다. 최하위 테스트그룹에는 하나 이상의 테스트시나리오를 포함할 수 있다.

중앙 구역은 테스트그룹 트리에서 선택된 최하위 테스트그룹 내에 포함된 테스트시나리오의 목록을 보여주는 부분이다. 여기에서 선택된 테스트시나리오에 대해 우측 구역에서 테스트케이스들을 관리하는 것이다.(아래 화면)

Ver 1.5 /93


위 화면에서 선택된 테스트시나리오에 대해 우측 구역에서 복사해두기, 추가, 복사추가, 삭제 등의 테스트케이스 관리를 수행한다.

3.6.1.1. 테스트케이스 추가 기능

우선 특정 테스트시나리오를 중앙 테스트시나리오 목록에서 선택하면 우측 구역에 해당 테스트케이스의 목록이 나타난다.

위 화면에서 새로운 테스트케이스를 추가하려면 추가 버튼을 클릭한다. 이 때 다음의 팝업 화면이 나타난다.

Ver 1.5 /93


테스트케이스에는 다음의 세부 항목들이 존재하며 요약과 테스트수행완료예정일(케이스)을 제외한 모든 항목들이 필수 입력 항목이다. 테스트수행완료예정일(케이스) 요약

화면명

입력행위

입력항목

예상결과

위 항목들 중 테스트수행완료예정일(케이스)은 테스트 케이스의 수행 완료일을 의미하며 테스트수행완료예정일(시나리오)는 시나리오 등록시에 입력한 날짜가 자동으로 입력된다.

요약은 해당 테스트케이스가 특히 어떠한 기능을 테스트하려는가에 대한 설명을 기술하는 항목이다.

Ver 1.5 /93


화면명은 테스트 스텝이 수행되는 화면명을 나타낸다.

입력행위는 테스트스텝 별 사용자의 입력행위를 의미한다.

입력항목은 각 테스트스텝 별 입력항목에 대한 입력값을 입력하는 부분인데, 우측의 돋보기 아이콘을 클릭하면 다음과 같은 팝업화면이 나타난다.

위 화면에서 윗쪽의 추가 버튼을 클릭하면 입력항목과 입력값을 입력할 수 있는 있는 행이 하나씩 생겨나며 좌측의 체크박스에 체크를 하고 삭제 버튼을 클릭함으로써 각 입력항목/입력값을 삭제할 수 있다. 모든 필요한 입력항목과 입력값을 입력한 후 확인 버튼을 클릭하면 해당 테스트스텝의 입력항목이 모두 추가가 된다.

위 항목들을 모두 입력한 후 저장 버튼을 클릭하면 해당 테스트케이스가 추가된다.

테스트케이스 목록에서 특정 테스트케이스를 선택하면 다음과 같은 해당 테스트케이스의 상세 정보가 팝업으로 나타난다.

Ver 1.5 /93


위 화면에서 해당 테스트케이스 정보를 수정한 후 저장 버튼을 클릭하여 정보를 수정할 수 있다.

3.6.1.2. 테스트케이스 복사해두기 기능

복사해두기 기능은 자주 쓰이는 케이스를 복사해두었다가 나중에 사용할 수 있는 기능이다.우선 복사해둘 대상을 체크하고 ‘복사해두기’버튼을 클릭한다.‘복사추가’버튼을 눌러 복사한 케이스가 실제 저장되었는지 확인할 수 있다.

3.6.1.3. 테스트케이스 복사추가 기능

Ver 1.5 /93


복사추가기능은 테스터가 복사해둔 기능을 확인/수정/삭제할 수 있는 기능이다.‘복사추가’버튼을 누르면 아래와 같은 화면을 확인할 수 있다.

해당케이스를 누르면 케이스설계화면으로 이동하며 수정/변경하여 새로운케이스를 작성할 수 있다.하단의 확인/삭제/닫기버튼으로 조작가능하다.오른쪽의 ‘순서’버튼으로 케이스순번을 정할 수 있으며, ‘초기화’버튼으로 순번초기화 가능하다.

여러 개를 조합하여 하나의 케이스를 만들 경우 오른쪽의 순서 버튼을 눌러 순서를 지정하고 확인을 누른다. (하나의 케이스를 만들 경우는 순서를 하나만 지정)

순서를 지정하고 확인을 클릭하면 아래 그림과 같이 선택한 케이스가 순서대로 연결되어 나타난다.

Ver 1.5 /93


이 상태로 케이스 생성을 원하면 저장을 클릭해서 새로운 케이스가 생성된다.

내용의 수정을 원한다면 편집버튼을 클릭하면 수정이 가능하다.(주의! 편집버튼을 누를 경우 위의 내용이 저장된 후에 편집가능한 화면으로 전환된다.)

취소 버튼을 누르면 팝업화면을 닫는다.

Ver 1.5 /93


3.6.2. 테스트설계 검색다음은 테스트설계 검색 화면이다.

등록되어 있는 테스트 시나리오를 검색할 수 있다. 검색 조건 항목은 아래와 같다.

테스트 단계 : 반드시 하나를 선택해야 한다. 테스트 그룹 : 테스트 단계를 선택 해야지만 선택가능하다. Ctrl 키를 이용하여 다중선택 가능하다.

테스트 시나리오 : 테스트 시나리오명에 포함된 테스트 설계자 : Ctrl 키를 이용하여 다중선택 가능하다. 테스트 수행자 : Ctrl 키를 이용하여 다중선택 가능하다. 테스트 설계 예정일, 테스트 수행 예정일 : 달력버튼을 눌러 선택가능하다.

우측하단의 검색 버튼을 눌러 검색이 가능하며 검색 조건 초기화 버튼으로 선택된 모든 조건을 처음 시작화면으로 초기화 할수 있다. 아래는 검색결과 화면이다.

Ver 1.5 /93


검색결과를 클릭하면 해당 테스트 시나리오로 이동할수 있다. 아래는 고객별처리내역 시나리오를 클릭해 이동한 화면이다.

Ver 1.5 /93


3.7. 테스트수행

3.7.1. 테스트결과입력

테스트를 수행할 수 있는 화면이다.

테스트그룹을 선택하는 방법은 앞에서 본것과 마찬가지로 테스트단계를 선택하여 모든 테스트그룹 트리를 조회한 후, 테스트그룹 트리에서 해당 테스트케이스의 테스트시나리오를 포함하고 있는 테스트그룹을 찾는다. 해당 테스트그룹을 선택하면 선텍한 테스트그룹에 등록되어 있는 전체 테스트시나리오를 조회한다. 해당 테스트시나리오를 선택하면, 테스트시나리오에 포함된 모든 테스트케이스가 조회되며 테스트결과를 입력하고자 하는 해당 테스트케이스를 선택하면 아래와 같이 테스트결과 입력 팝업이 출력된다.

Ver 1.5 /93


이미 차수가 등록되어 있다면 다음과 같은 화면이 뜬다. 여기에서 ‘조회’ 버튼을 클릭하면 해당 차수의 이미 수행된 결과화면이 출력된다.

Ver 1.5 /93


위 결과관리 팝업에서 ‘결과입력’ 버튼을 클릭하면 아래 화면과 같이 해당 테스트케이스의 새로운 차수의 결과입력 화면이 출력된다.

이제 1번 스텝부터 차례대로 테스트를 수행하면서 실제 테스트 수행결과가 예상결과와 일치하면 해당 스텝의 스텝결과를 ‘PASS’로 선택하고, 일치하지 않으면 ‘FAIL’ 로 선택한다. 만일, 이 테스트의 대상 모듈과 연관된 다른 모듈 또는 다른 시스템의 기능이 미흡하여 실제 수행결과를 확인하기 어렵다면 스텝결과를 ‘보류’로 선택할 수 있다. 그리고, 필요시 비고에 적당한 참고사항을 입력할 수 있다. 업로드 해야할 파일은 마우스로 드래그하여 첨부를 하거나 파일 찾기를 통해 첨부할 수 있다.

전 스텝이 모두 ‘PASS’일 경우에는 전체 PASS 버튼을 눌러 모든 스텝결과를 PASS로 변경할 수 있다.

스텝결과 입력 및 변경 시 차수별 테스트결과도 자동 변경 선택되므로 저장하기 전 차수 별 테스트 결과를 확인해야 한다.

스텝결과 PASS 선택시 차수별 테스트결과 변동 없음

Ver 1.5 /93


스텝결과 FAIL 선택시 차수별 테스트결과 FAIL로 변경 선택됨 (주의) 스텝결과 보류 선택시 차수별 테스트결과 보류 변경 선택됨 스텝결과 미수행 선택시 차수별 테스트결과 미수행 변경 선택됨

일반적으로 스텝의 결과에 따른 차수별 테스트 결과는 다음과 같은 우선 순위를 갖는다.보류 > FAIL > 미수행 > PASS

즉 스텝 결과 중 보류와 FAIL이 함께 있다면 해당 차수의 결과는 보류가 된다. 또한, 스텝 결과 중 FAIL과 미수행이 있다면 해당 차수의 결과는 FAIL이 된다.

(주의#1) 스텝결과를 FAIL, 보류, 미수행으로 선택한 경우 차수별 테스트 결과가 원하는 결과로 제대로 입력되었는지 확인하고 저장한다.

(주의#2) 차수별 테스트결과가 PASS 혹은 FAIL로 결정되면 해당 차수의 테스트는 완료되는 것이므로 결과 추가 입력이나 변경 불가능하다. 따라서 스텝결과를 FAIL로 선택한 경우 해당차수를 완료하고자 하는 시점이 아니라면 차수별 테스트결과를 미수행 또는 보류로 변경하고 저장한다.

스텝결과를 입력한 후 저장버튼을 눌러 내용을 저장 할 수 있다. 단 저장시에 스텝결과에 FAIL이 있을 경우에는 아래와 같이 확인창이 뜬다. (FAIL이 여러 개일 경우 FAIL의 수만큼 확인창이 뜨며 확인창의 순서를 확인하여 어디에서 발생한 FAIL인지 알수 있다.)

Ver 1.5 /93


결함등록을 원할 경우 확인창에서 확인을 누르면 아래와 같이 결함을 등록할 수 있는 팝업창이 뜬다.

결함등록에 관한 자세한 내용은 3.8.2. 결함등록 을 참조한다.

3.7.2. 테스트결과관리

테스트 결과를 조회하고 수정할 수 있는 화면이다.

Ver 1.5 /93


테스트그룹을 선택하는 방법은 앞에서 본것과 동일하다. 테스트 그룹을 선택하면 선택한 테스트그룹에 등록되어 있는 전체 테스트시나리오를 조회한다. 테스트시나리오 목록 위의 selectbox에서 조회조건을 선택하고 ‘조회’ 버튼을 클릭하면 선택한 상태의 테스트시나리오만 조회한다. 검색버튼을 사용하면 아래와 같이 원하는 시나리오를 검색 할 수 있다.검색결과를 클릭하면 해당 시나리오로 이동 할 수 있다.

Ver 1.5 /93


테스트시나리오 목록은 테스트 시나리오명과 테스트시나리오의 상태를 보여준다. 테스트시나리오의상태는 승인완료, 승인가능, 승인불가 3가지로 나뉜다. 승인완료: 테스트시나리오의 상태가 ‘승인’인 것 승인가능: 테스트시나리오의 상태가 ‘수행’이고 하위의 모든 테스트케이스의 상태가 ‘승인’ 승인불가: 테스트시나리오의 상태는 ‘수행’이지만 하위의 테스트케이스의상태가 모두 ‘승인’이 아님

승인완료상태의 테스트시나리오는 ‘철회’ 버튼이 있어 승인을 철회하고 ‘수행’ 상태로 되돌릴 수 있다. 승인가능상태의 테스트시나리오는 ‘승인’ 버튼이 있어서 테스트시나리오상태를 ‘수행’에서 ‘승인’으로 바꿀 수 있다. 테스트시나리오목록에서 테스트시나리오명을 클릭하면 하위에 등록된 테스트케이스 목록을 보여준다. 테스트케이스 목록은 테스트케이스 ID와 상태를 보여준다. 상태는 미수행, 수행, 승인으로 나뉘고, 수행은 승인가능과 승인 불가로 나뉜다. 승인가능은 테스트케이스의 마지막 차수의 결과가 PASS인 경우이고, 승인불가는 그렇지 않은 경우이다. 체크박스로 선택을 하고 ‘승인’ 버튼을 클릭하면 체크된 목록 중 승인가능상태의 테스트케이스만 추려서 수행인 상태를 승인으로 갱신한다. 체크박스로 선택하고 ‘철회’ 버튼을 클릭하면 체크된 목록중 승인상태인 테스트케이스만 추려서 수행상태로 갱신한다.이상의 테스트시나리오와 테스트케이스의 승인, 철회 버튼은 테스트메니저와 시스템 관리자에게만 보인다. 따라서 테스터 권한의 사용자는 단순 조회만 할 수 있다.테스트케이스 ID를 클릭하면 아래와 같은 팝업창이 떠서 테스트케이스의 차수와 각 차수의 스텝에 대한 정보를 조회하고 수정할 수 있다.차수를 선택하는 selectbox는 기본적값으로 가장 최근 차수가 선택 된 채로 보인다. 차수를 선택하고 조회버튼을 누르면 해당 차수의 상세정보와 스텝, 첨부된 파일을 조회한다. 차수를 선택하고

Ver 1.5 /93


그 옆의 삭제버튼을 클릭하면 해당 차수의 모든 스텝과 첨부파일, 차수정보가 삭제된다. 차수와 스텝의 결과를 선택하고 저장버튼을 클릭하면 결과값을 수정할 수 있다. 참부파일의 추가등록과 삭제도 할 수 있다. 차수삭제(차수 selectbox 옆의 ‘삭제’버튼), 결과정보 변경(‘저장’ 버튼), 첨부파일 삭제(첨부파일 옆의 ‘삭제’ 버튼), 첨부파일 등록(‘파일저장’ 버튼) 기능은 테스트메니저와 시스템 관리자에게만 허용되고 테스터 권한의 사용자는 조회만 할 수 있다.

Ver 1.5 /93


결함번호를 클릭하면 해당결함정보로 화면이 이동하고 상세결함정보를 확인할 수 있다.

Ver 1.5 /93


3.7.3. 테스트수행 검색다음은 테스트수행 검색 화면이다.

테스트 케이스 단위로 검색할 수 있다. 검색조건은 다음과 같다.

테스트 단계 : 반드시 선택해야 한다. 테스트 시나리오 : 검색하고자 하는 테스트 시나리오명을 입력한다. 테스트 그룹 : 테스트 단계를 선택해야 나타나며 다중선택가능하다. 최종차수 수행결과 : 다중선택가능하다. 테스트케이스 ID : 검색하고자 하는 테스트케이스 ID를 입력한다. 요약 : 검색하고자 하는 요약 내용을 입력한다. 테스트설계자 : 다중선택가능하다. 테스트수행자 : 다중선택가능하다. 테스트 설계 예정일, 테스트 수행 예정일, 테스트 수행 완료일 : 달력버튼을 클릭해 날짜를 선택할 수 있다.

Ver 1.5 /93


케이스 승인여부 : 전체/승인/미승인 선택가능하다.다음은 검색결과 화면이다.

테스트케이스 단위까지 조회가 되는 것을 확인할 수 있다. 테스트 케이스를 클릭하면 해당 테스트 케이스를 조회해 볼 수 있다.

Ver 1.5 /93


3.7.4. 테스트 변경관리본 장은 이용에 주의를 요한다. 테스트를 수행하다보면 여러 사정에 의해 이미 존재하는 테스트

케이스 설계내용을 수정하는 일이 발생한다.

수정은 두가지로 나누어 생각해 볼수 있다.1. 단순히 설계 내용의 오타를 수정하거나 완료예정일이나 요약을 수정하는 경우2. 내외적 요인에 의해 테스트케이스 설계내용에 영향에 요인을 받아 기존 테스트케이스의 스텝이 삽입,삭제,변경이 일어나거나 스텝의 입력값이나 출력값이 바뀐경우

수정 1번의 경우는 내용의 수정이다. 이것은 메뉴 [테스트설계] -> [테스트케이스관리]에서 해당 테스트케이스를 선택 후 내용을 수정하면 된다.(주의! : [테스트케이스관리]에서 스텝을 변경, 추가, 삭제하는 것은 2번에 해당한다. )

수정 2번의 경우는 전혀 다른 테스트케이스가 된다. 따라서 테스트케이스를 별도로 생성해야 한다. 테스트메니저에서는 이 기능을 설계변경 버튼을 통해 제공한다.

설계변경 버튼은 [테스트수행] -> [테스트결과입력] 이나 [테스트결과관리] 의 테스트결과관리 팝업창에서 이용이 가능하다.

설계변경 버튼을 누르면 다음과 같은 창이 뜬다. 위의 설명을 상기시키는 내용이다.

Ver 1.5 /93


확인을 누르면 다음과 같은 화면이 나온다.

기존의 테스트케이스 설계내용을 그대로 보여준다. 이곳에서 스텝을 변경, 추가, 삭제한후 저장을 누르면 새로운 케이스가 생성된다. 단 스텝 변경시 반드시 삭제를 먼저한 후 추가를 해야한다. (주의:삭제버튼을 한번 누른 이후에는 삭제를 지원하지 않음)

Ver 1.5 /93


위와 같이 설계변경 버튼을 통해 추가된 경우 기존의 케이스는 다음과 같이 새로운 케이스에 통합되어 보여지며 테스트시나리오에서 테스트 케이스 조회시 가장 마지막에 설계변경을 통해 만들어진 테스트케이스만이 조회된다.

빨간 박스의 테스트케이스 ID를 보면 ID가 서로 다른 것을 확인할 수 있다.

Ver 1.5 /93


3.8. 결함관리

테스트 수행을 통해 발견된 결함을 등록하고 관리하는 기능을 제공한다. 결함을 조회하거나 결함 워크플로우에 따라 상태를 변경할 수 있는 ‘결함조회’와 새로 발견된 결함을 등록하는 ‘결함등록’, 원하는 검색어로 결함을 검색하는 ‘결함검색’의 메뉴로 구성되어 있다.

3.8.1. 결함조회

등록된 결함을 조회하기 위해서는 화면 상단의 ‘결함관리-결함조회’ 메뉴를 클릭한다. 위의 그림과 같이 첫 화면은 결함목록이 나타난다.결함 목록은 기본적으로 최근에 갱신된 결함 순으로 정렬되어 있으며 각 컬럼의 헤더를 클릭하면 그것을 기준으로 내림차순/오름차순 정렬이 된다.결함 번호를 클릭하면 해당 결함의 상세 정보를 조회할 수 있다. 결함을 조회한 화면이다.

Ver 1.5 /93


화면을 보면 기본적으로 사용자가 입력했던 정보들이 그대로 등록되어 있는데, 결함번호는 프로젝트 ID+연번으로 자동 부여가 되어 있다.

3.8.2. 결함등록

결함 등록을 위해서는 화면 상단의 ‘결함관리-결함등록’ 메뉴을 클릭한다.

Ver 1.5 /93


위와 같이 결함 등록을 위한 입력 화면이 나타난다. 기본적으로 한건등록을 위한 화면이보여지며 여러건을 한 번에 등록할 수 있는 다건등록 기능도 있다.(본절의 마지막부분에 설명함)필요한 정보를 모두 입력하고 하단의 ‘등록’ 버튼을 클릭하면 결함이 등록된다. 입력 항목 중에 * 표시가 되어 있는 것은 필수적으로 입력해야 하며, 각 항목들의 의미는 다음과 같다. 제목: 결함에 대한 간단한 내용을 제목으로 작성한다. 테스트케이스 ID: 해당 결함을 발생시킨 테스트케이스 ID를 입력한다. 시스템: 결함이 발견된 시스템 명을 입력한다. 결함발견시점: 프로젝트 기간 중 어느 개발/테스팅 단계에서 결함이 발견되었는지를 나타낸다. 결함유형: 사내 표준 결함분류표에 분류된 결함유형을 입력한다.

불일치: 상위레벨 문서와 상이한 부분이 존재함 부정확: 잘못된 이해로 인한 작성 불완전: 하위 단계를 수행하기 위해 불충분하게 작성됨. 모호한 설명 및 누락 비일관성: 현재 문서/코드 내에 상이한 부분이 존재함. 현재 레벨의 다른 문서/코드와 상이한 부분이 존재함

Ver 1.5 /93


표준 미준수: 정의된 표준과 형식에 맞지 않음 실현 불가능: 시험 또는 현재/하위 단계에서 실현 불가능 개선 필요: 잘못된 사항은 아니지만, 더 나은 품질을 위한 개선사항

발생빈도: 같은 입력값과 재현단계로 여러 번을 테스트했을 때 결함이 규칙적으로 발생하는지의 여부이다

항상 발생: 동일한 테스트를 반복했을 때 결함도 매번 동일하게 재현되는 경우 불규칙하게 발생: 동일한 테스트를 반복했을 때 결함이 재현되는 경우와 그렇지 않은 경우가 불규칙하게 나타나는 경우

심각도: 결함이 시스템에 미치는 영향을 입력한다. 심각도는 1부터 3까지 나누어지며 1이 가장 중대한 결함을 나타낸다.

심각도 1: 시험의 중단을 야기할 수 있는 문제로 기능적인 대체방안이 없어 시험이 중지된다.

심각도 2: 중요한 기능의 동작에 제한을 주는 에러이다. 특정한 기능 때문에 시험이 간섭을 받을 수 있으나 다른 시험은 계속될 수 있다.

심각도 3: 이 에러는 사소한 문제거나 표면적인 에러이므로 어플리케이션의 전체적인 동작에는 영향을 미치지 않는다.

조치요구일: 이 결함이 언제까지 해결되기를 원하는지 입력한다. 할당하기: 결함을 수정할 책임을 지닌 담당자를 지정한다. 테스터는 결함을 할당할 권한이 없어 화면에 이 버튼이 나타나지 않는다. 할당에 대한 것은 다음 장에서 다시 설명한다. 설명: 결함의 자세한 증상과 부가적인 설명을 기록한다. 재현단계: 해당 결함을 재현할 수 있는 최소한의 절차를 기록한다. 첨부파일: 필요한 경우 결함이 발생했을 때의 화면을 캡처하여 첨부할 수 있다. 기타 소스 코드나 바이너리 파일 등도 첨부가 가능하다. (드래그로 첨부가능)

다 음 은 결 함 정 보 를 입 력 한 예 제 이 다 .

Ver 1.5 /93


결함의 필수 입력정보만 입력하여 여러 건을 한번에 등록할 수 있는 기능도 제공한다. 좌측의 ‘다건등록’ 메뉴를 통해서 아래와 같은 양식으로 등록할 수 있다.

Ver 1.5 /93


3.8.3. 결함검색

등록되어 있는 결함을 조건을 주어 검색하기 위해서는 화면 상단 메뉴에서 ‘결함관리-결함검색’ 기능을 이용한다.

처음 페이지를 열면 시스템, 결함상태, 결함유형 등의 기본 검색 조건과 결함번호와 제목을 입력하여 검색할 수 있는 화면이 나타나며 결함번호 위의 ‘상세 검색 조건’을 클릭하면 더 많은 조건으로 검색할 수 있다.화면에서 리스트로 표시되는 검색 조건들은 Ctrl이나 Shift 키와 함께 클릭하여 복수 개를 지정할 수 있다.

Ver 1.5 /93


다음 화면은 상세 검색 조건으로 시스템이 공정관리 , 공통 중 하나에 속하고 결함상태가 Assigned 혹은 Resolved 이며 최근변경기간이 2009년 8월 1일에서 10월 29일 사이인 결함을 검색한 예이다.

Ver 1.5 /93


위 검색 결과화면에서 Title(결함번호,#,시스템,심각도,상태,제목,시험단계,조치요구일,최종갱신일)을 클릭하면 정렬할 수 있다. 결함번호를 클릭하면 해당 결함을 조회할 수 있다.참고) 테스트케이스에서 FAIL처리 후 결함을 등록하지 않고 결함관리메뉴에서 직접 결함을 등록한 경우 차수정보가 없기 때문에 결함검색시 시험단계정보가 나타나지 않는다.검색결과는 아래와같이 버튼을 통해 보고서함으로 이동가능하다. 검색결과전체를 보고서함에 추가:검색결과를 전부 보고서함으로 이동한다. 보고서함에 추가 : 체크된 항목만 보고서함에 추가한다.

Ver 1.5 /93


3.8.4. 결함 워크플로우 진행

3.8.4.1. 상태 변경

결함의 상태 변경은 결함관리의 가장 기본이 되는 프로세스이다. ‘상태 변경’ 버튼 아래의 콤보 박스를 클릭하면 현재 상태에서 이동시킬 수 있는 다음 상태의 목록이 나타난다. 화면은 현재 New 상태에서 이동할 수 있는 상태가 Open, Rejected 임을 나타낸다. 만약 사용자에게 현재 상태를 바꿀 수 있는 권한이 없다면 상태 변경 버튼은 나타나지 않는다.

Ver 1.5 /93


결함의 상태를 변경하기 원하는 상태를 콤보 박스에서 선택한 후 ‘상태 변경’ 버튼을 클릭한다. 그리고 나면 이동하려는 상태에 따른 상태 변경 페이지로 이동하고, 그 페이지에서 결함노트(상태 변경의 사유를 입력한다)와 부가 정보를 입력한 후 ‘변경하기’ 버튼을 클릭하면 상태가 변경된다.그럼 결함의 상태를 변경하는 여러 가지 경우를 살펴본다.

3.8.4.2. 결함 오픈

새로운 결함이 등록되면 담당 관리자는 이를 확인하고 수정해야 할 결함이라면 오픈(Open)해야 한다. 다음은 결함 Open으로 상태 변경을 요청했을 때의 화면이다.

Ver 1.5 /93


필요한 경우 결함 노트를 추가할 수 있다. 결함 노트는 주로 상태 변경시에 이에 대한 사유를 기록하기 위해 사용되며, 그밖에도 결함 노트만을 별도로 등록할 수도 있다.‘변경하기’를 클릭하면 결함이 Open 상태로 변경된다.

3.8.4.3. 결함 할당

상태를 ‘Assigned’로 변경하는 경우이다. 오픈된 결함을 담당 개발자에게 할당하고자 할 때 사용한다.

결함 할당시에는 위 화면과 같이 할당할 사용자를 지정해야 하고, 조치요구일과 결함노트를 입력할 수 있다. 조치요구일은 최초 결함 등록시 선택적으로 입력할 수 있었던 항목인데, 이것이 입력되지 않았다면 할당시에 반드시 입력하고, 입력되어 있었더라도 수정할 수 있다.결함을 할당받을 수 있는 사람은 개발자 권한을 가진 사용자만이 가능하며, 결함 상태가 이미Assigned 인 상태에서 담당자만을 변경할 수도 있다.결함 할당은 상태변경 버튼 오른쪽에 있는 ‘할당’ 버튼으로도 할 수 있으며, 이 경우 먼저 할당하고자 하는 사용자를 지정하고 ‘할당’ 버튼을 클릭한다. 할당 버튼으로 결함을 할당할 경우에는 상태 변경 페이지로 넘어가지 않고 곧바로 Assigned 상태가 된다.

Ver 1.5 /93


3.8.4.4. 결함 해결

결함을 할당받은 개발자는 해당 결함을 수정하고 나면 결함의 상태를 Resolved로 변경한다.

Resolved 상태로 변경할 때 입력하는 결함노트는 후에 결함보고서를 출력할 때 조치 내용으로 들어가므로 중요하다. 반드시 입력하도록 한다.

3.8.4.5. 결함 종료

Ver 1.5 /93


결함 등록자는 Resolved 상태인 결함을 재확인하여 통과된 결함은 Closed 상태로 변경하여 종료시킨다.

이 때 결함해결단계에서 입력되었던 결함유입시점과 결함 출처 항목이 맞게 입력되었는지 확인하고 필요하면 수정할 수 있다.

3.8.4.6. 결함 기각

등록된 결함의 내용이 불충분하거나, 결함을 확인한 결과 결함이 아닌 것으로 판단될 때는 결함을 기각할 수 있다. 이 때는 결함 상태를 Rejected 로 변경한다.

3.8.4.7. 결함 연기

Open된 결함에 대한 처리를 미루어야 할 필요가 있을 때는 결함을 Delayed 상태로 변경한다.

3.8.4.8. 결함 재오픈

결함이 재오픈되는 경우는 크게 두가지가 있다. 첫번째는 Open되었던 결함이 기각 혹은 연기되었다가 다시 이슈화되는 경우이고, 두번째는 Resolved 상태인 결함이 재 테스트에 실패하는 경우이다. 결함을 오픈하는 경우와 마찬가지로 결함 상태를 Open 으로 변경한다.

3.8.5. 기타 결함 정보3.3 에서 설명한 결함의 기본 입력 항목 이외에도 선택적으로 입력할 수 있는 정보 및 TestManager가 자동으로 관리하는 정보에 대하여 설명한다.

3.8.5.1. 첨부 파일

테스터와 개발자간 의사소통에 도움을 줄 수 있는 화면 캡쳐 파일이나 소스코드 등을 업로드한다. 업로드 용량은 5 MB까지 가능하도록 되어있다. 그림 파일을 업로드하면 결함 조회시 경우에는 미리보기가 지원된다.

Ver 1.5 /93


첨부 파일은 최초 결함 등록시에 등록하거나, 후에 결함 조회 화면에서 등록할 수 있다.

3.8.5.2. 결함 노트

결함 노트는 결함 상태 변경시 그에 대한 사유로 입력되며, 꼭 상태 변경이 없더라도 결함 해결에 도움을 줄 수 있는 정보를 등록할 수 있다.

결함 노트를 입력하려면 결함 조회화면 하단의 결함 노트 추가 란에 필요한 정보를 입력 후 ‘추가’ 버튼을 클릭한다.등록된 결함 노트는 ‘결함 노트’ 란에서 확인할 수 있다.

3.8.5.3. 결함 조치 계획

결함조치계획은 결함조치일이 지났거나 미조치된 결함(delay/Assigned)에 대한 결함조치계획을 등록하는 화면이다. 미조치사유와 조치계획내용을 적고, 조치예정일을 추가하여 결함을 관리할 수 있다.

Ver 1.5 /93


3.8.5.4. 결함 히스토리

결함의 생성부터 종결까지의 모든 변화 과정은 히스토리에 자동적으로 기록된다. 결함 히스토리는 결함 조회 화면에서 결함 노트 바로 아래에 위치해 있다.

Ver 1.5 /93


Ver 1.5 /93


3.9. 통계

테스트관리자 또는 시스템관리자에게 테스트와 결함 상태 현황을 요구사항 별, 테스트 별, 진척현황 별로 통계 결과를 보여준다. 단, 결함 통계의 경우는 모든 사용자 역할에 다양한 통계 정보를 보여준다.

3.9.1. 요구사항통계

테스트와 결함 상태 현황을 요구사항 별 테스트 통계와 결함 상태 통계로 보여준다.우선, 테스트 통계는 각 요구사항 별로 해당 요구사항에 포함된 모든 테스트케이스 중 조회기간

에 해당하는 계획(조회기간내에 수행하기로 한 테스트케이스수) ,수행(테스트케이스상태가 PASS이거나 FAIL인 경우) ,성공(테스트케이스상태가 PASS인 경우) ,완료(승인된 테스트케이스)의 수를 보여준다.

용어에 대한 설명은 해당 컬럼에 마우스를 가져가면 볼 수 있다.

조회내용을 차트보기와 엑셀로 다운이 가능하다.

Ver 1.5 /93


결함 상태 현황은 각 요구사항 별로 해당 요구사항과 연관된 테스트케이스 중 발생한 모든 결함의 현황을 보여준다.

Ver 1.5 /93


3.9.2. 테스트통계

테스트와 결함 상태 현황을 테스트시나리오 별 테스트 통계와 결함 상태 통계로 보여준다.우선, 테스트 통계는 각 테스트시나리오 별로 모든 테스트케이스 중 조회기간에 해당하는 계획

(조회기간내에 수행하기로 한 테스트케이스수) ,수행(테스트케이스상태가 PASS이거나 FAIL인 경우) ,성공(테스트케이스상태가 PASS인 경우) ,완료(승인된 테스트케이스)의 수를 보여준다.



Ver 1.5 /93


결함 상태 현황은 각 테스트시나리오 별로 해당 테스트시나리오과 연관된 테스트 중 발생한 모든 결함의 현황을 보여준다.

Ver 1.5 /93


3.9.3. 진척현황통계

테스트의 현재 진척현황을 테스트케이스, 테스트시나리오, 테스터별 진척현황, 테스트케이스 진척현황 별로 보여준다.우선, 테스트케이스 총괄은 아래 화면과 같이 테스트 수행의 목표율, 진척률, 달성률, 수행률, 조치율을 테스트케이스를 기준으로 수치와 막대그래프로 함께 나타낸다. 또한, 주차 별로 테스트케이스에 의한 테스트 총 대상건수, 수행수, 미수행수, 승인수, 결함수, 조치결함수, 재시험대상수와 주차별 목표율, 진척률, 달성률, 수행률, 조치율을 함께 보여준다.그리고, 그 아래에는 띠 그래프에 의해 주차별 현황을 보여준다.



Ver 1.5 /93


다음으로 테스트시나리오 총괄의 조회화면은 테스트케이스 화면과 동일하며 테스트 수행의 목표율, 진척률, 달성률, 수행률, 조치율을 테스트시나리오를 기준으로 수치와 막대그래프로 함께 나타낸다.

테스터별 진척현황 통계는 아래 화면에서 조회하고자 하는 테스트단계, 기간, 업무, Tester를 선택한 후 조회 버튼을 하면 조건에 해당되는 내용이 출력된다.

아래의 경우는 컴포넌트 1차에 업무가 상품,신계약,요금인 경우의 조회내용이다.업무와 Tester선택은 Ctrl 키를 이용하여 중복선택 해제가 가능하다.

Ver 1.5 /93


테스트케이스 진척현황에서는 다음 화면과 같이 선택한 조건에 따라서 테스트케이스별로 수행예정일, 시작일, 완료일, 마지막차수결과, 등록된 결함등을 확인할 수 있다.

Ver 1.5 /93


테스트케이스 ID 아래 설계변경은 설계변경버튼에 의해 해당 테스트 케이스가 몇번 변경되었는지에 대한 회수를 나타낸다.

Ver 1.5 /93


3.9.4. 결함 통계.결함통계는 테이블보기, 챠트보기, 기간별 통계보기 페이지으로 나뉘는데, 각 페이지간 이동은 좌측 메뉴를 통해 할 수 있다.

3.9.4.1. 테이블 보기

테이블 형태로 결함 통계 데이터를 보여준다. 사용자가 볼 수 있는 통계의 종류는 사용자 권한에 따라 달라진다. 다음은 테스트관리자로 로그인했을 때 볼 수 있는 통계 화면이다.

Ver 1.5 /93


통계표에서 조치된 결함이란 결함 상태가 Closed 인 것을 의미한다.통계표 제목 옆의 [챠트보기] 버튼을 누르면 해당 통계 데이터를 챠트 형태로 보여준다.

Ver 1.5 /93


각 권한에 따라 볼 수 있는 통계 정보의 목록은 다음과 같다. 테스트관리자 (테스트관리자는 콤보박스에서 시험단계별로 조회가 가능하다.)

- 단계 시험별 결함 현황- 상태별 결함 분포- 심각도별 결함 분포- 서브시스템별 결함 분포- 결함보고자별 결함 분포- 결함수정자별 결함 분포- 결함 조치기간별 결함 분포

개발자

- 자신에게 할당된 결함 현황- 자신에게 할당된 결함 분포- 결함보고자별 결함 분포

테스터

- 자신이 등록한 결함 현황- 자신이 등록한 결함 분포- 결함수정자별 결함 분포

시스템관리자

- 프로젝트별 결함 현황- 프로젝트 수행기간별 결함 분포- 결함 조치기간별 결함 분포- 결함 유형별 결함 비율- 결함 단계별 결함 비율- 유입 단계별 결함 비율- 결함 출처별 결함 비율

3.9.4.2. 챠트 보기

챠트 보기는 테이블 보기 페이지에서 볼 수 있는 모든 통계 데이터를 한번에 챠트로 변환하여 보여준다.

Ver 1.5 /93


3.9.4.3. 기간별 통계보기

특정 기간 사이에 발생한 결함에 대한 일, 주, 월 단위 분포 및 누적 분포를 볼 수 있다.

Ver 1.5 /93


Ver 1.5 /93


3.10. 보고서

테스트 수행 이력이나 결함 정보에 대해서 보고서를 출력해주는 기능을 제공한다.

3.10.1. 테스트보고서

상단 메뉴 중 ‘보고서-테스트 보고서’를 선택하면, 테스트 수행이력과 테스트설계이력을 테스트 그룹별로 출력할 수 있다. 먼저 원하는 테스트 단계를 선택하여 조회하고, 테스트 그룹트리에서 보고서 출력을 원하는 테스트그룹을 선택한다. 선택한 테스트 그룹에 해당하는 테스트 시나리오가 오른쪽 테이블에 나타나며, 원하는 것만 선택할 수 있다. 원하는 테스트시나리오가 체크된 것을 확인한 후 원하는 보고서 버튼을 클릭한다.

‘수행목록보고서’는 테스트 수행 이력을 테스트시나리오의 목록 수준에서 보여주며 아래의 형식과 같다.

Ver 1.5 /93


‘수행상세보고서’는 각 테스트시나리오에 해당하는 테스트케이스와 각각에 해당하는 수행절차 수준까지 보여주며 아래와 같은 형식으로 제공된다.

Ver 1.5 /93


‘설계목록보고서’는 테스트 수행 이력을 테스트시나리오의 목록 수준에서 보여주며 아래의 형식과 같다.

‘설계상세보고서’는 각 테스트시나리오에 해당하는 테스트케이스와 각각에 해당하는 설계 수준까지 보여주며 아래와 같은 형식으로 제공된다.

Ver 1.5 /93


3.10.2. 결함보고서

결함보고서 출력을 위해서는 결함 조회 혹은 검색 결과 중에서 자신이 출력하고 싶으면 보고서함에 보관해 두었다가 필요할 때 일괄적으로 출력할 수 있다. 다음 화면은 결함 조회 결과에서 몇 개의 결함을 보고서함에 추가하는 것을 보여주고 있다.

위와 같이 보고서출력을 원하는 결함을 보고서함에 추가한 후 상단 메뉴에 있는 ‘보고서-결함보고서’ 메뉴를 통해서 보고서를 출력할 수 있다.

Ver 1.5 /93


보고서함에 추가해 두었던 결함의 목록이 보인다. ‘보고서함 비우기’를 클릭하면 보고서함에 보관된 모든 결함이 삭제되며, 특정 결함만 삭제하고 싶으면 목록에서 왼쪽 체크박스에 체크한 후 ‘삭제’ 버튼을 클릭하면 된다. 결함 보고서는 상세내역 보고서와 목록 보고서 두 가지의 형식으로 출력할 수 있다.

수행 상세보고서는 Microsoft Word 형식으로 보고서를 출력한다.

Ver 1.5 /93


수행 목록 보고서는 Microsoft Excel 의 목록 형식으로 보고서를 출력한다.

Ver 1.5 /93


문의사항

이 성 신 연구원 02-4057-662

010-8513-4307

현 예 리 연구원 02-4057-956

010-9307-5422

Ver 1.5 /93

품질보증 - tytm.tysystems.comtytm.tysystems.com/testmgr/login/testmanager_userma… · web...

Documents