qa measurements 2009 comverse upload
DESCRIPTION
another presentation from our half day conference, describing testing metrics from ComverseTRANSCRIPT
Comverse1
מדדים - בדיקות תוכנה
2009נובמבר , איציק לוי
סוגי מדדים
מדדי איכות גרסה�
מדדי איכות כח אדם�
מדדי תקציב�
מדדי איכות ספק�
Comverse
מדדי איכות ספק�
מדדי אפקטיביות�
...ועוד המון�
?על מה לא נדבר היום
:מדדים נדושים
כיסוי דרישות מול בדיקות �
יחס בין כמות הבאגים לכמות הבדיקות �
נדחו לכמות הבאגים בכלל/יחס בין כמות הבאגים שנפסלו �
)2(כמות הבאגים פר קומפוננטה �
הבאגים לאורך הגרסה) backlog(התכנסות של מצבור �
Comverse
הבאגים לאורך הגרסה) backlog(התכנסות של מצבור �
יחס בין כמות הבדיקות שנכתבו לכמות הבדיקות שהורצו בפועל �
ת/ה בודק/ממוצע הבדיקות היומיות שמריצ �
ת/ממוצע אימות באגים יומי לבודק �
תכנון מול ביצוע �
???אז על מה כן נדבר היום
...מדדים אחרים
3
יחס בין כמות הבאגים לכמות הבדיקות
Comverse
התפלגות באגים שנדחו
Comverse
באגים פר קומפוננטה
Comverse
)2(באגים פר קומפוננטה
Comverse
הבאגים לאורך הגרסה) backlog(התכנסות של מצבור
Comverse
)Vendor(מדדי איכות הספק
קריטריונים לבחירת הספק/מדדים
חוסן פיננסי �
יציבות מחירים �
)references - לקוחות קיימים כ(שנות ניסיון רלבנטי –וותק �
Comverse
ידע ויכולת טכנולוגית ומתודולוגית �
גמישות ביכולות ההדרכה �
גמישות תפעולית �
)יתרון–איש קשר יחיד כמנהל פרויקט (אנשי קשר מוגדרים לכל נושא �
מודל אסקלציה ברור �
9
המשך - ) Vendor(מדדי איכות הספק
שלב הגיוס
מספר האפשרויות לבחירה= כמות קורות החיים �
היחס בין כמות קורות החיים התואמים את הפרופיל הנדרש לכמות הכוללת �
)מ של הספק מול המועמד"יכולת המו(כמות הצלחות הגיוס �
שלב ההכשרה
)מגוון(כמות ההכשרות הגנריות האפשריות �
Comverse
)מגוון(כמות ההכשרות הגנריות האפשריות �
זמינות ההכשרות �
)X-Shoreחשוב במודלי (הגעה לאתר הלקוח להכשרות–ניידות המועמדים �
מהלך הפרויקט
...)HR, תמריצים, תוכנית שימור(אחוזי נטישה �
ת פרויקט/מהירות ואיכות החלפת חבר �
...)ציוד, משרדים, הכשרות, כח אדם(גמישות בהרחבת הפרויקט �
Downtimesמשך �
10
מדדי יעילות ואפקטיביות
כמות הצעות הייעול בפרק זמן וכמות השיפורים שהושגו באמצעותם �
המתוכנן לגרסה EE - אחוז הסטייה מה �
...)סימולטורים(ד "כמות וסוג החומרה הנדרשת לצב �
מהו אחוז הבדיקות שניתן להמיר לאוטומטיות �
...)ימי גיבוש,תמריצים, הכשרות(שימור המשאב האנושי /כמה תקציב מוקצה לפיתוח �
כמה יעילים השערים בתהליך העבודה �
)X-Shoreרלבנטי במודלי (כמה זמן וכסף מושקע בנסיעות לאתר האם או המרוחק �
Comverse
)X-Shoreרלבנטי במודלי (כמה זמן וכסף מושקע בנסיעות לאתר האם או המרוחק �
...)בעיות תקשורת, הפסקות חשמל, תקלות קריטיות(כמה זמן הפעילות מושבתת �
כמות הבאגים לפי רמות סיכון של בדיקות �
מהו יחס הבאגים לשורות קוד שהשתנו �
כמה באגים נפתחו על דרישות �
מה אחוז הבאגים שנמצאו לאחר סיום שלב הבדיקות �
ציון הגרסה �
LLאחוז ההחלטות המיושמות מתוך �
כמות הבאגים לפי רמות סיכון של בדיקות
673
379400
500
600
700
800
Failed progression tests
Comverse
60
133
75
17
283
379
139
0
100
200
300
Urgent High Medium Low
Total progression tests
ציון גרסה
Comverse
שלבי גילוי הבאג במהלך חיי הגרסה
Comverse
...מדדים זה לא הכל
זול בסוף עולה ביוקר–חסכון בעלויות �
יצירתיות�
אנליזה�
טיפול בבעיות�
Comverse
טיפול בבעיות�
דרישות חד משמעיות�
