[webinar] so geht ux research heute
Post on 26-Jun-2015
709 Views
Preview:
DESCRIPTION
TRANSCRIPT
So geht UX Research heute 19. November 2013
Jakob Biesterfeldt Managing Director, UserZoom GmbH #uxwebinar @jbiest
free WEBINAR
2
So geht UX Research heute Unmoderated Remote Usability Testing
free WEBINAR
3
• Überblick und Kontext
• Stärken und Schwächen von Unmoderated Remote Usability Testing (URUT)
• Funktionsweise von URUT Tools (mit Beispielen) o Planung & Vorbereitung o Messwerte & Metriken o Rekrutierung o Durchführung o Ergebnisse und Auswertung
• Fragen & Antworten
Inhalt
free WEBINAR
4
Überblick & Kontext
Usability Tes/ng
Unmoderiert
Moderiert
Usability Labor
Remote
Quan/ta/v
Qualita/v
free WEBINAR
5
Unmoderated Remote Usability Testing (URUT, ARUT)
Überblick & Kontext
free WEBINAR
6
Überblick & Kontext
1. Studie konzipieren und implementieren, testen
2. Teilnehmer einladen
3. Hunderte Nutzer nehmen vom eigenen Endgerät aus teil
4. Daten werden im Tool aggregiert und zur Auswertung vorbereitet
free WEBINAR
7
ü Kosten, Ressourcen, Skalierbarkeit, Agilität
ü „Wir haben keine Zeit / kein Budget für Usability Testing“
ü „Dafür lohnt es sich nicht, eine Usability Testing Studie durchzuführen“
ü Quantitativ & qualitativ
ü „Wir müssen Designentscheidungen absichern”
ü „Uns interessieren auch Meinungen, subjektive und emotionale UX Faktoren“
ü „Wir wollen vergleichen – sind wir besser geworden? Besser als Wettbewerber?
ü „Wir brauchen überzeugende Daten für die interne Kommunikation“
ü Globale Reichweite, realer Kontext
ü „Unsere Nutzer sind weltweit verteilt / haben keine Zeit in ein Usability Labor zu kommen“
ü „Im Usability Labor fehlt den Nutzern doch der natürliche Kontext“
Stärken & Schwächen
free WEBINAR
8
• Spart Zeit • Spart Geld • Skalierbar • Flexibel & agil • Statistisch nutzbare Messwerte • Vergleich (Zeit, Länder, Wettbewerb…) • Verfügbarkeit von Teilnehmern • Natürlicher Kontext • Kommunikation
Stärken & Schwächen
• Keine Nachfragen möglich • Weniger geeignet für rein explorative
Beobachtung oder extrem lange Tasks • Nur Web- und mobile Uis • Keine Vertraulichkeit
free WEBINAR
9
• Warum “heute”?
o Websites und Web komplexer – Testing Bedarf steigt o Kosten- und Zeitdruck o Wettbewerbsdruck o “Big Data” Trend – UX, MaFo und Web Analytics integrieren o Technische Möglichkeiten o Komplettierung traditioneller Methoden
Überblick & Kontext
free WEBINAR
10
• Planung & Vorbereitung
o Studienziele festlegen o Geschäftsziele – Web KPIs – UX Metriken verknüpfen o Teilnehmerprofile definieren und Rekrutierung planen o Zeit- und Budget planen
• Durchführung
o Studienkonzeption o Implementierung der Studie im Tool o Monitoring
• Ergebnisse & Auswertung
Funktionsweise URUT
free WEBINAR
11
Geschäftsziele
Web Analytics KPIs
UX Zahlen, Daten, Fakten
Foto: kevinzim http://www.flickr.com/photos/86624586@N00/
Planung & Vorbereitung
free WEBINAR
12
• Studienziele, z.B.
o Usability Probleme identifizieren o User Experience messen o Vergleich von Design-Varianten
(A/B) o Benchmarking mit dem
Wettbewerb o Navigationsstruktur optimieren
(“Findability”) o Emotionale Ansprache /
Markenwahrnehmung der Nutzer messen
o Iterativ und agil den Designprozess begleiten
Planung & Vorbereitung
free WEBINAR
13
• Studienziele, z.B.
o Usability Probleme identifizieren o User Experience messen o Vergleich von Design-Varianten
(A/B) o Benchmarking mit dem
Wettbewerb o Navigationsstruktur optimieren
(“Findability”) o Emotionale Ansprache /
Markenwahrnehmung der Nutzer messen
o Iterativ und agil den Designprozess begleiten
• von Geschäftszielen ableiten, z.B.
o Mehr Registrierungen o App-Downloads +30% o Conversion Rate Optimierung
o No.1 in Kundenzufriedenheit
o Warenkorbgrößen maximieren,
Abbruchraten senken o Überzeugen durch
Vertrauenswürdigkeit
o Risiko von Designänderungen managen
Planung & Vorbereitung
free WEBINAR
14
• Studienziele, z.B.
o Usability Probleme identifizieren o User Experience messen o Vergleich von Design-Varianten
(A/B) o Benchmarking mit dem
Wettbewerb o Navigationsstruktur optimieren
(“Findability”) o Emotionale Ansprache /
Markenwahrnehmung der Nutzer messen
o Iterativ und agil den Designprozess begleiten
• mit UX Zielen verknüpfen
o Success Rate o Zufriedenheits-Ratings o Time on Task, Success Rate
o UX Messwerte im Vergleich
o Findability Rate
o NPS
o UX Messwerte über die Zeit
Planung & Vorbereitung
free WEBINAR
15
• Studienziele, z.B.
o Usability Probleme identifizieren o Vergleich von Design-Varianten
(A/B) o Benchmarking mit dem
Wettbewerb o Navigationsstruktur optimieren
(“Findability”) o Emotionale Ansprache /
Markenwahrnehmung der Nutzer messen
o User Experience messen o Iterativ und agil den
Designprozess begleiten
• Methode/Tool auswählen
Remote aufgabenbasiert (+ Lab) Card Sorting / Tree Testing Voice of Customer (VoC) VoC + Remote aufgabenbasiert
Planung & Vorbereitung
free WEBINAR
16
• Internationale Online Panel Anbieter • On-Site Rekrutierung • E-Mail • Social Networks
• Datenschutz beachten
Rekrutierung von Teilnehmern
free WEBINAR
17
• Teilnehmerprofile hängen von der Fragestellung/Zielsetzung der Studie ab. o Soziodemographische Daten o Zielgruppe o Relevantes Fachwissen o Verhaltensdaten
• Sind Profildaten relevant für Auswertung/Design? • Gewünschtes Konfidenzintervall definiert Anzahl der Testpersonen • Kosten: 6-10 € / Person bei Panelanbietern, nur “Completes”
Rekrutierung von Teilnehmern
free WEBINAR
18
Zeit- und Budgetplanung
Laborstudie
Vorbereitung 2 - 3 Tage
Zeitaufwand Moderation 2 Tage
Anzahl Teilnehmer 5 - 10
Zeitaufwand Auswertung & Doku 1-2 Wochen
Kosten €€€
URUT Studie
0,5 – 3 Tage
0 Tage
5 – 10.000
1-5 Tage
€ - €€€
Außerdem: Laborkosten, Toolkosten, Rekrutierungskosten (und –zeit!), No-Show-Kosten, Kommunikationskosten… Durchschnittlich 50% Zeit- und Kostenersparnis
Planung & Vorbereitung
free WEBINAR
19
Wann was testen?
• Iterativ im gesamten Entwicklungs- und Releasezyklus • Bestehendes Produkt testen • Wettbewerber testen • Wireframes / Interaktive Prototypen testen, iterativ, von Lo-Fi zu Hi-Fi • Informationsarchitektur / Struktur / Produktkategorien • Neues Produkt
• Früh und häufig
Planung & Vorbereitung
free WEBINAR
20
Studienkonzeption & Implementierung • Testskript • Aufgaben • (standardisierte) Fragebögen • Logik & Konditionen • Anleitung, Welcome Page
• Look & Feel • Qualitätskontrolle • Sprache(n)
• Der Teufel steckt im Detail – Formulierungen, Tonfall, Erwartungsmanagement
• Testen und auf Plausibilität prüfen
Durchführung
free WEBINAR
21
• Fragen und Fragebögen
o Vorerfahrung mit Website (à Logik zur Verzweigung einsetzen) o Filter-Fragen (z.B. Demographie, Nutzungskontext) o Hypothetische Fragen vermeiden (“Würden Sie, …, wenn…?”) o So konkret wie möglich (“täglich” statt “häufig”) o Doppelfragen vermeiden (“Wie einfach und schnell war das…?”)
o Standard-Fragebögen: • SUS, SUMI, ISONORM… • NPS • Eigene Standard-Fragebögen
Durchführung
free WEBINAR
22
Durchführung
free WEBINAR
23
Durchführung
free WEBINAR
24
• Testaufgaben
o “Core Tasks” – Typische Aufgaben, “New Tasks” o “High cost of failure” o Aufgaben, die direkten Bezug zu Geschäftszielen haben o Input aus Usability Labor, VoC Studien, Marktforschung oder Call Center o Validierbare Ziele (wenn nötig)
Durchführung
free WEBINAR
25
• Testaufgaben – Tipps
o Aufgaben sollten einfach zu verstehen, aber nicht einfach zu erraten sein o Randomisierung der Aufgabenreihenfolge vermeidet Reihenfolgeneffekte o Wie ist die erfolgreiche Aufgabenlösung validiert?
• Frage – auf Eindeutigkeit achten • URL
o Keine führenden Fragen, keine führenden Begriffe o Website und Aufgabeninhalte während der Datensammlung nicht ändern o Mit Fragen ergänzen
Durchführung
free WEBINAR
26
Durchführung
free WEBINAR
27
Durchführung
free WEBINAR
28
• Ergänzende Online Methoden und Fragearten
o Screenshot Click Testing o Multimedia-Fragen o Tree Testing o Skalen, Semantische Differentiale, NPS o Sortieraufgaben
Durchführung
free WEBINAR
29
Durchführung
free WEBINAR
30
Durchführung
free WEBINAR
31
Ergebnisse & Auswertung
free WEBINAR
32
• Ergebnisse & Auswertung – typische Metriken o Completion Rate (Success Rate)
• Error Rate • Abandon Rate • Timeout Rate
o Time on Task (auch subjektiv) o Bewertungen (Usability, Content, Zufriedenheit – pro Aufgabe und insgesamt) o Usability Probleme (Anzahl, Schwere)
Ergebnisse & Auswertung
free WEBINAR
33
Aufgabe
Validierung
Timeout Ques/ons
Abandon Ques/ons
Error Ques/ons
Success Ques/ons
Erfolg BuJon
Abbrechen BuJon Timeout
Ergebnisse & Auswertung
free WEBINAR
34
Ergebnisse & Auswertung
free WEBINAR
35
Ergebnisse & Auswertung
Die Website ist…
free WEBINAR
36
Ergebnisse & Auswertung
free WEBINAR
37
Videos
• Pro Aufgabe pro Nutzer • Selektiv auswerten:
o Non-Success o Sehr lange Bearbeitungsdauer o Schlechte Bewertungen o Interessante Kommentare…
• Clips generieren, Marker setzen
Ergebnisse & Auswertung
free WEBINAR
38
• Quantitative UX Messdaten • Quantitative “Self-reported” Daten • Qualitatives Nutzerfeedback • Verhaltensdaten (Clickstreams, Heatmaps) • Qualitative, quantifizierbare Video Screen Recordings
Ergebnisse & Auswertung
free WEBINAR
39
URUT löst drei Herausforderungen für UX Researcher heute:
• Quantitative Messdaten komplettieren rein qualitative Daten: Risikomanagement, Vergleich, Kommunikation
• URUT ist vergleichsweise kostengünstig, agil und skalierbar und ermöglicht eine höhere Testfrequenz
• URUT erreicht Nutzer in ihrem natürlichen Kontext
Fazit
free WEBINAR
40
• http://www.measuringusability.com/blog/right-tool.php • http://johnnyholland.org/2010/08/how-to-shop-for-unmoderated-usability-testing-
tools/ • http://remoteresear.ch/tools/
Tools
free WEBINAR
41
Buchtipps
free WEBINAR
42
Vielen Dank!
Jakob Biesterfeldt Managing Director, UserZoom GmbH
München jbiesterfeldt@userzoom.com
@jbiest
www.linkedin.com/company/userzoom
@UserZoom_DE
www.userzoom.de
Sprechen Sie uns gerne an: München (DE) Ainmillerstr. 11
80801 München
Haben Sie Fragen?
top related