trends and buzzwords for sw tetsing
TRANSCRIPT
Testing tools for times of crisis…and
www.tact.co.il
" הינה חברת הבדיקות הגדולה והמובילה בישראל, לאחר המיזוג עם מטריקס, טאקט בדיקות "
בישראל IT - של שוק ה 2008בסקר STKIל חברת המחקר "ימי שוורצקוף מנכ'ג
Testing tools for times of crisis…and more
אודות מטריקס
2
)2009מרס STKIלפי (מטריקס מובילה את שוק הבדיקות
טאקט בדיקות
3
matrixmatrix ==Think Business Think Business -- Implement Value Implement Value
תעשיהתעשיהבריאותבריאות
ומסחרומסחר
ממשלהממשלה
והמגזר והמגזר
הציבוריהציבורי
טלקום טלקום
ומדיה ומדיה
פיננסיםפיננסים,,בנקאותבנקאות
,,כרטיסי אשראיכרטיסי אשראיביטוח ביטוח ושוק ההוןושוק ההון
מערכת מערכת
הביטחוןהביטחון
Offshore & Onshore
חבילות ומוצרי תוכנה
ייעוץ ותכנון אסטרטגי
4
ITאינטגרציה ותשתיות
בדיקות תוכנה
הדרכה והטמעה
Offshore & Onshore
מרכזי התמחות טכנולוגיים 19
מרכזי ההתמחות במטריקס 19
5
כרטיס ביקור - טאקט בדיקות
שנה בשוק 15 -חטיבת הבדיקות של מטריקס
ל"מומחים בארץ ובחו 600 -למעלה מ
קהל הלקוחות הגדול והמגוון ביותר
:תחומי התמחות
עומסים וביצועים, ייעוץ הטמעה וביצוע של בדיקות אוטומציה
ב "מערכות מוטסות ומערכות שו,מערכות קריטיות, בדיקות למערכות זמן אמת
-מוסמכים לISO 9000
ISTQB
DO 178B
6
,WEB, ERP: בדיקות תוכנה ליישומים ואפליקציות CRM, Billing
BI -ו DWH, בדיקות של הסבות נתונים
ISOכולל הכנת ארגונים למבחני QAייעוץ והטמעה של
mobile -טלקום ו, הייטק, ממשלה, בנקאות וביטוח, צבא וביטחון: מגזרים
,on-site, near-shore: מודלים עיסקיים ייחודיים off-shore, turnkey, fixed
,HP, Microsoft: ייצוג ספקים מובילים IBM, Borland, Compuware, Automated-QA, ldra
?למה כדאי לכם להישאר
...זה כבר מאחורינו-מי אנחנו �
�Disclaimer–אני לא אחראי לכלום...
נט-חידון חמיצר�
מגמות בבדיקות תוכנה�
כולל סקירת כלי ניהול בדיקות–הוזלת עלויות בשעת משבר �
מבט לעתיד הקרוב -כלי אוטומציה �
7
מבט לעתיד הקרוב -כלי אוטומציה �
יהיו סרטונים וקישורים, וגם כי יהיה נחמד
ולפחות דבר אחד שיהיה חדש עבורכם
אז שבו בנוח ותהנו מהשעתיים וחצי הקרובות
Overview of testing tools for times of crisis - Disclaimer
During the last year I have found my self trying to answer the same question again and again: “can you recommend of a low price/ freeware testing tool”. As days passing by and the economic storm seem to grow larger and larger, I thought it will be a good service to try and answer this question.
I’m not considering my self as an automation expert (far from that), but in my presentation I have tried to collect relevant testing tools/ vendors and to present an overview of all kind of tools based on my experience and more important of others.
8
experience and more important of others.
Those of you that will decide to participate in my presentation will receive basic information that should be very helpful as the first step of selecting the right testing tool. I will present tools for test management, test automation and special freeware tools for accessibility and compatibility testing.
Most important - as always in such presentations the most valuable and extended knowledge is buried in each one and one of the participants them self. I guarantee I will use this knowledge so we can all benefit from this meeting the most.
נט- חידון חמיצר
?מי הנשיא שהוכתר לתפקיד שלא בפניו1.
?מיליון איש ביום 1.5באיזה קפה ישראלי מבקרים 2.
?chromeומה של Firefoxמהו פלח השוק של 3.
האתרים הנצפים 20כמה פעמים מופיעים אתרים של גוגל ברשימת 4.
9
?ביותר
?2-4ומי במקומות ? מהי החברה המובילה בעולם לכלי בדיקות5.
וגמד משתדרג הבאס בפינה , נכנסים לזירהוהענק האדום הענק הכחול 6.
?האם אגדה או מציאות...הופך לענק מפוקס
ניתוח הספקים המובילים של כלים לבדיקות פונקציונאליות
10
מבט לעתיד+ גורמים מרכזיים 3 - מגמות בבדיקות תוכנה
מגמות של תהליכי הפיתוח
11
התקדמות טכנולוגית
בשלות ובגרות
מגמות המקבילות למגמות ושינויים -מגמה ראשונה בתהליכי הפיתוח
)scrumכגון (פיתוח איטרטיבי
לתכנן ולבצע בדיקות באופן , הפיתוח האיטרטיבי מחייב לחשובבין השאר . Vשונה משהורגלנו לו במודלים מסורתיים כגון מודל
לתקשר יותר ולהשתמש בהרבה יותר , עלינו לתעד פחותאוטומציה
12
הוזלת עלויות
העברת פעילויות למודלים של אופשור ונירשור
או לכלים זולים ) freeware( מעבר לכלי בדיקות חינמיים backאחרים
התקדמות טכנולוגית - מגמה שניה
מגוון של פתרונות
מגוון רחב מאוד של פתרונות וכלי אוטומציה לבדיקות לכל סוגי דגש לפתרונות . הטכנולוגיות ושלבי הפיתוח, הפלטפורמות
.חינמיים open sourceזמינים בעלויות נמוכות ואף פתרונות
)קורסים(בעיקר בפורומים מקצועיים - כל המידע קיים באינטרנט
13
)קורסים(בעיקר בפורומים מקצועיים - כל המידע קיים באינטרנט
)ALM )tools consolidationכלי
הנותנים פתרון וויזיביליות מלאה ALMשימוש הולך וגובר בכלי .ופחות בפתרונות נקודתיים) הפיתוח(על כל שלבי הפרויקט
back
QA -בשלות ובגרות של תחום ה - מגמה שלישית
חדירה מאסיבית של הסמכות לבדיקות תוכנה בדגש על ISTQB .
: כגון(השקעה משמעותית של ארגונים בעמידה בתקני איכות
CMMI ,Cobit ,Do178B ,FDA , ואחריםנגישות תקן(
החל מהשלבים , בכל תהליך הפיתוח QAהטמעת מתודולוגיות
14
החל מהשלבים , בכל תהליך הפיתוח QAהטמעת מתודולוגיות שימוש : כגון(קלאסיים " פיתוח"כולל בתחומי , המוקדמים ביותר
וטכניקות ניהול סיכונים , ניהול תצורה, code analysis - בכלי בדיקות ייחודיים ל
.תקשורת טובה יותר בין הצוותים). בדיקה ייחודיות
בעלי , בתפקידים בכירים בארגונים QAהגדרת פונקציות )מרכזי בדיקות: לדוגמא(השפעה ומוטת ניהול רחבה , סמכויות
הוזלת עלויות בתקופת משבר
:הוזלת השימוש בכלים אוטומטיים
)תמיד רצוי(מ עם הספק להקטנת עליות התחזוקה "מו
חינמיים או פיתוח עצמי, "זולים"מעבר לשימוש בכלים
"עננים"ומיחשוב SAASמודלים של
15
:השקעה בהטמעת מתודולוגיה מתאימה לארגון
לצוותי ) בין רכיבים(הגדרת אחריות לבדיקות יחידה ואינטגרציה )דוגמא לדגשים למנהלי פיתוח(הפיתוח
הגדרת תנאי סף ברורים להעברת גרסה לסביבת הבדיקות
DR -שילוב הבודקים בתהליכי האפיון וב
)static code analysis(ביצוע בדיקות ובקרות לקוד
המשך -הוזלת עלויות בתקופת משבר
:ניתוח סיכונים ותיעדוף
. לא חייבים לבדוק הכל ובוודאי שלא באותה רמת חשיבותרכיבים או תהליכים שהסיכון שלהם נמוך לא חייבים להיבדק או
מה שיחסוך זמן רב exploratory testingשייבדקו במסגרת בתכנון הבדיקות ובביצוען
16
אופשורהוצאת פעילויות למיקור חוץ באמצעות מודלים של :ונירשור
יש הרבה מאוד חברות המספקות שירותים אלו בארץ ובעולם ברור ומובטח ROIויכולות להראות
?הקרוב... מבט קצר לעתיד
HP software vs. Microsoft -מלחמת גוג ומגוג 1.
:וגם
17
והבודק האוטומטי Test Analysis -הבודק המאפיין 2.
ותמיד לזכור מאיפה באנו
?שאלות
18
!איכות וגמישות זה טאקט
?off-shoreמה זה ?היכן
סין, הודו �
) מקדוניה, בולגריה, אוקריאנה, רומניה, הונגריה( רוסיה ומזרח אירופה �
קמבודיה,ויטנאם �
)קולומביה, מכסיקו, אקוודור, ברזיל(מרכז ודרום אמריקה �
)חרדיות(ישראל -מרוקו ו , מצרים �
Off - shore Near - shore home- shore
19
)חרדיות(ישראל -מרוקו ו , מצרים
?מדוע זה טוב
עלויות �
� Time zone )PS - 24/7, קרוב ללקוח (
)גרף(מיקוד בעבודה , מקצועיות ותחומי נישה �
שירות מנוהל �
מקום פיסי �
off-shoreדגשים להצלחת פרויקטי
מעורבות הנהלה
מפתחים/ הגדרה מדוייקת של משימות ופרופיל הבודקים
הגדרת תכולה מדוייקת
הגדרת מוביל מטעם הלקוח בעל מוטיבציה להצלחה
)אחוז נטישה נמוך(יציבות הצוות
)הדרכה(העברת ידע
20
)הדרכה(העברת ידע
בקרה ושליטה, שימוש בכלי ניהול
הגדרת תנאי הצלחה וכישלון ברורים
ביצוע פיילוט מקדים
)remote server(עבודה באותה הסביבה
שפה משותפת
kick off - ו DRהשתתפות פעילה בישיבות back
?מי יודע מה זה - מתודולוגיה אחידה
21
משוק הבדיקות בארץ הוסמכו בשלוש השנים האחרונות 10% - מעל ל
מוסמכים בישראל1500 -מעל ל
מוסמכים בעולם 100,000 -מעל ל
מדינות 42 - ב
ISTQB - מתודולוגיה אחידה
22
:שלוש רמות הסמכה
�Foundation
�Advanced
�Expert
back מחקר של גרטנרISOבדרך לתקן
כלי ניהול בדיקות ודיווח תקלות
QC-HP software
Rational quality manager-IBM
Silk Central Test Manager-Borland
QA director-Compuware
Orcanos - Qpack
SpiraTest-Inflectra
23
Jira– לארגון ללא מגבלה$ 5000מקסימום
RALLY - למשתמש לחודש$ 35או , חינם - 10עד
(almost free)PractiTest
BUG track - לחודש לארגון$ 200-100או , לחודש$ 30עד.
TRAC )free(
Free)(Bugzila
כלים לבדיקות פונקציונאליות
QTP-HP
RFT-IBM
Silk Test-Borland
Test partner-Compuware
Test complete-Automated QA
24
test suite2010 VSTS -Microsoft
Auto It
Badboy
Selenium
AQUA-Jsystem
כלים לבדיקות עומסים
HP - Load Runner
IBM - RPT
Borland - Silk Performer
Compuware – QA Load
Test Complete (web)
25
Radview - web load
VSTS 2010 (load agent for web)
Jmeter -free
Open STA - free
back
כלי עזר לתכנון בדיקות
Pair wise testing tools list
All Pairs test case generation tool
Perl clip
Log watch
PICT-Microsoft
26
back
...למה מתכוון המתכנת כאשר הוא אומר ש
.אין לי מושג איך עושים את זה–אפשרי בעליל בלתי .אין לי כוח לעשות את זה - אפשרי בלתי .מתקמפל–עובד
.לא מתקמפל–אני מלטש את זה .מחפש מצבים שבהם התוכנית לא עפה–בודק על בעיות לדוגמא
.עדיין אין לנו מושג מה לעשות–אנו מנסים כמה גישות שונות .'סטודנטים שנה א 3כרגע גייסנו - ח מסכם על הגישה החדשה שלנו לפתרון הבעיה"אנו מכינים דו
.שהלקוח יהיה מאושר כשיקבל לפחות משהו, Deadlineאנחנו כל כך לא עומדים ב –אנו ערבים שהלקוח יהיה מרוצה .לא ציפינו שזה יעבוד–בדיקות קבלה עברו בסדר .כרגע התפטר, הבן אדם היחיד שהבין בזה לפחות משהו–צריך לשנות את כל הגישה
27
.כל עוד מה שאתם אומרים לא משפיע על מה שכבר עשינו, כמובן, אנו יכולים לשמוע את דעתכם–בא ונשמע את דעתכם .תוכנית אחת בסוף התחילה לעבוד - שנים של פיתוח
! אנחנו תמיד עושים ככה–! אנו עושים את זה לפי סטנדרטים
.תשכח מלקבל תשובה נורמאלית–יש הרבה גורמים שמשפיעים על זה ! בפעם האחרונה התוכנית כמעט עבדה–אנו על סף פריצת דרך
.אם הקודמת לא תעבוד, אנו מבטיחים לשלוח עוד גרסה–יש לתוכנה תמיכה מלאה .לא יהיה לכם עם מי לדבר, אם משהו יקרוס–יש לתוכנה תמיכה חלקית
back.התוכנה התקמפלה בסדר–התוכנה עומדת בתקני איכות
זיהוי ותיקון תקלות בשלב מוקדם בתהליך הפיתוח
28
back
כלי בקרת קוד וכלים אחרים
)Web Accessibility Tool)WAT -בדיקות נגישות
Browser compatibility tool -בדיקות תאימות
analysis tools:
�EMMA - Code coverage tool (java)
�Check Style - code style checker (java)
29
back
Agile -מתודולוגיות פיתוח חדשות
לפתח מהר ולבדוק מהר
?עדיין רלוונטי -האם ה
)פיתוח ובדיקות ביחד, אפיון(צוותי משימה אורגניים
)Drop, sprint( - פיתוח ב
מעט מאוד תיעוד
Iterative model
V model
30
מעט מאוד תיעוד
חייבים להכניס אוטומציה כמה שיותר מהר
מחברות הזנק ועד תאגידי ענק: כולם במשחקwww.scrumalliance.com
www.danko.org.il
www.planningpoker.com
www.controlchaos.com
www.implementingscrum.com
www.agilemanifesto.org
www.scrum-master.com
http://scrumforteamsystem.com
www.winnowmanagement.com
http://scrumoogle.com/
back
עקרונות לאיכות בתהליך הפיתוח 6
)הוראות הפעלה לשימוש בספר במקום מגילה( business -להבין את ה1.
-) cem kaner(" טופס פתיחת תקלה"התוצר הכי חשוב של הבודק הינו 2.
המפתח חייב לרשום את מהות התיקון
ישיבות , כלי תקשורת, )?ALM(קונסולידציה של מערכות : שיתוף מידע3.
...)DR(משותפות
31
...)DR(משותפות
, מדידה ושיפור, תיעוד, גילוי מוקדם של תקלות(מתודולוגיה זו לא מילה גסה 4.
)תחזוקתיות
.5Just do it (test) )תנאי סף, אינטגרציה, בדיקות יחידה(
...)למה מתכוון המפתח כשהוא אומר ש(לתקשר , להקשיב, לדבר6.back