ADR › Perspective-based inspection als Evaluationsmethode
| status |
proposed |
| date |
2023-04-18 |
| deciders |
Lining Bao |
| consulted |
|
| informed |
Katrin Hartz |
Kontext und Problemstellung
Im Rahmen des Projekt 1 - Konzeption wurde ein Prototyp entwickelt, der nun evaluiert werden soll. Dazu muss ein Forschungsdesign aufgestellt werden, um die Durchführung der Evaluation zu ermöglichen.
Entscheidungstreiber
- Bestehendes Wissen im Team
- Forschungsökonomie
- Durchführbarkeit
In Betracht gezogene Optionen
- Quantitative Datenerhebung (Umfragen)
- Usability Testing
- Experteninterviews
- Cognitive Walkthrough (perspective-based inspection)
Ergebnis der Entscheidung
Cognitive Walkthrough (perspective-based inspection), weil es die forschungsökonomischste Variante ist.
Pro und Kontra der Optionen
Quantitative Datenerhebung
- 🟢 Gut, da nicht zeit- und personenaufwändig
- 🟢 Gut, da leicht remote durchführbar
- 🟡 Neutral, da durch quantitative Daten die Priorisierung der Probleme deutlicher wird
- 🟡 Neutral, da abhängig von externen Personen
- 🔴 Schlecht, weil es sich nicht zum Identifzieren und Nachvollziehen von Usability Problemen eignet
Usability Testing
- 🟢 Gut, da (teilweise) Erfahrung im Team besteht
- 🟢 Gut, da es sich zum Identifzieren und Nachvollziehen von Usability Problemen eignet
- 🟢 Gut, da mit echten potenziellen Nutzern getestet wird
- 🟡 Neutral, da abhängig von externen Personen
- 🔴 Schlecht, da Rekrutierung von geeigneten Personen sehr viel Zeit kostet
- 🔴 Schlecht, da das Testing unter realen Bedingungen (in vivo) äußerst! aufwändig ist
- 🔴 Schlecht, da die Rekrutierung von geeigneten Personen eine große Hürde darstellt
- 🔴 Schlecht, da die Durchführung sehr viel Zeit in Anspruch nimmt
Experteninterviews
- 🟢 Gut, da unabhängig von externen Personen
- 🟢 Gut, da leicht remote durchführbar
- 🟡 Neutral, da verhältnismäßig wenig Zeitaufwand
- 🟡 Neutral, da mäßige Erfahrung im Team
- 🔴 Schlecht, da nur Heuristiken abgedeckt werden und die in P1 identifizierten Values komplett außen vor gelassen werden
- 🔴 Schlecht, da keine echten User befragt werden
Cognitive Walkthrough (perspective-based inspection)
- 🟢 Gut, da (teilweise) Erfahrung im Team besteht
- 🟢 Gut, da es sich zum Identifzieren und Nachvollziehen von Usability Problemen eignet
- 🟢 Gut, da die in P1 identifizierten Values berücksichtigt werden können
- 🟢 Gut, da leicht remote durchführbar
- 🟡 Neutral, da verhältnismäßig wenig Zeitaufwand
- 🟡 Neutral, da die Durchführung im Team aufgeteilt werden kan
- 🟡 Neutral, da das ganze Team in der Durchführung involviert werden kann
- 🔴 Schlecht, da keine echten User befragt werden