Skip to content

Latest commit

 

History

History
1115 lines (649 loc) · 35 KB

ke07.md

File metadata and controls

1115 lines (649 loc) · 35 KB
recall
header
<style type="text/css"> ol ol { list-style-type: lower-alpha; } </style>

Was sind die 3 Ziele der Evaluation eines Systems?

  • Beurteilung von Funktionalität
  • Beurteilung von Bedienbarkeit der Schnittstelle (Gebrauchstauglichkeit)
  • Identifikation von Fehlern

Wann kommt die Evaluation idealerweise zum Einsatz?

begleitend zum gesamten Entwicklungsprozess, vom Prototypen zum Produkt

Was ist das allgemeine Ziel einer Evaluation / Bewertung?

eine Entscheidungshilfe für verschiedene Handlungsalternativen zu erhalten

Wie ist das allgemeine Vorgehen einer Evaluation / Bewertung

systematische Analyse ausgewählter Aspekte eines Untersuchungsgegenstandes

In welchem Ziel der Evaluation wird die Erreichbarkeit von Funktionen bewertet?

Beurteilung von Funktionalität

In welche drei Fragen lässt sich die Bewertung der Gebrauchstauglichkeit unterteilen?

  • Wie leicht ist es, das System zu erlernen?
  • Wie groß ist die Zufriedenheit mit dem System?
  • Gibt es Bereiche, in denen Anwender überfordert werden?

Was ist der Hauptaspekt für Zufriedenheit für in der Freizeit eingesetzte Systeme?

Freude und Vergnügen

Was ist der Hauptaspekt für Zufriedenheit für beruflich eingesetzte Systeme?

Arbeitserleichterung

Welchen Disziplinen fasst die Stochastik zusammen?

Wahrscheinlichkeitstheorie und Statistik

Was ist ein Merkmalsträger (Beobachtungseinheit)?

das Objekt der Untersuchung, dessen Werte einiger Merkmale erfasst werden

Was ist ein Merkmal?

statistische Variable, die bestimmten Wert (Merkmalsausprägung) annehmen kann

Was ist eine Merkmalsausprägung?

Wert aus einem festgelegten Definitionsbereich (Skala), beschreibt komprete Beschaffenheit / Ausmaß eines Merkmals

Welche Skalen gibt es zur Auswertung von Merkmalsausprägungen?

  • Nominalskala
  • Ordinalskala
  • metrische Skala

Was ist eine Nominalskala?

Skala, die nur Gleichheit / Ungleichheit erlaubt, aber keine Ordnung

Was ist eine Ordinalskala?

Skala, die natürlich Ordnung erlaubt, aber keine metrischen Abstände erlaubt

Was ist eine metrische Skala?

Skala, deren Werte eine natürlich Ordnung und einen definierten Abstand besitzen

Was ist eine Stichprobe?

Erhebung von Merkmalsausprägungen von Merkmalsträgern aus einer Grundgesamtheit

Was ist eine Vollerhebung?

eine Stichprobe, die alle Merkmalsträger aus einer Grundgesamtheit abdeckt

Was ist eine Teilerhebung?

eine Stichprobe, die nicht alle Merkmalsträger aus einer Grundgesamtheit abdeckt

Was ist der Unterschied zwischen eindimensionalen und mehrdimensionalen Stichproben?

eindimensionale Stichproben erheben nur die Ausprägung eines Merkmals pro Merkmalsträger, eine mehrdimensionale mehrere

Worum handelt es sich bei dem Objekt der Untersuchung im Kontext der Evaluation interaktiver Systeme?

i.d.R. um eine Versuchsperson

Was ist eine Zufallsvariable?

eine Funktion, die dem Ergebnis eines Zufallsexperiments eine Zahl zuordnet

Was ist eine Wahrscheinlichkeitsverteilung?

gibt an wie sich die Wahrscheinlichkeiten aller möglichen Ergebnisse eines Zufallsexperiments verteilen

Was ist eine diskrete Zufallsvariable?

ein Zufallsvariable, die auf einen endlichen oder abzählbar unendlich großen Wertebereich abbildet

Was ist eine reelle Zufallsvariable?

ein Zufallsvariable, die auf die reellen Zahlen abbildet

Was ist eine stetige / kontinuierliche Zufallsvariable?

eine Zufallsvariable mit stetiger Verteilungsfunktion

Was ist die Dichtefunktion?

erlaubt für eine kontinuierliche Zufallsvariable die Bestimmung der Wahrscheinlichkeit, dass eine Zufallsvariable Werte zwischen zwei Grenzen annimmt, mittes Integration in ebendiesen Grenzen

Wie berechnet man die Wahrscheinlichkeit, dass eine Zufallsvariable einen Wert zwischen a und b annimmt?

Integration der Dichtefunktion in den Grenzen von a und b

Wie groß ist die Fläche unter der Dichtefunktion?

1

Wie wird die diskrete Gleichverteilung auch genannt?

Laplace-Verteilung

Was ist eine diskrete Gleichverteilung / Laplace-Verteilung?

bei einer endlichen Ergebnismenge eines Experiments tritt jedes Ergebnis mit gleicher Wahrscheinlichkeit ein

Was ist eine Indikatorfunktion?

Für eine Indikatorfunktion $I_A$ ist $I_A(a) = 0$ wenn $a \notin A$ und $I_A(a) = 1$ wenn wenn $a \in A$

Wie unterscheiden sich deskriptive und induktive Statistik?

Die deskriptive Statistik stellt erhobene Daten möglichst übersichtlich dar und beschreibt sie mit Kenngrößen. Die induktive Statistik versucht aus Datensätzen auf die Grundgesamtheit zu schließen.

Was ist der Mittelwert?

das arithmetische Mittel, also die Summe aller Werte geteilt durch die Anzahl der Werte

Was ist der Erwartungswert?

Mittelwert einer Zufallsvariablen, beschreibt welchem Wert sich der Mittelwert eines Experiments bei ausreichender Anzahl an Ausführungen annähert

Wie wird der diskrete Erwartungswert berechnet?

die Summe aller Werte einer Zufallsvariable multipliziert mit der jeweiligen Eintrittswahrscheinlichkeit des Ereignisses

Wie wird der stetige Erwartungswert berechnet?

[E(X) = \mu = \int_{-\infty}^\infty x \cdot f(x) dx]

wenn

[\int_{-\infty}^\infty \vert x \vert \cdot f(x) dx < \infty]

wobei $f(x)$ die Dichtefunktion der Zufallsvariablen x ist

Was sind Streuungsmaße?

Maße, die die Nähe von Daten um einen zentralen Wert beschreiben

Für welche Merkmalsausprägungen können Steuungsmaße berechnet werden?

Merkmalsausprägungen mit metrischer Skala

Warum kommt der mittlere Abstand nicht als Streuungmaß zum Einsatz?

Betragsfunktion nicht differenzierbar

Wie wird die Varianz einer Stichprobe berechnet?

[ s^2 = \frac{1}{n-1} \cdot \sum_{i=1}^n (x_i - \overline{x}) ^2 ]

Was ist die Standardabweichung einer Stichprobe?

die Quadratwurzel der Varianz

Wie wird die Varianz einer diskreten Zufallsvariablen berechnet?

[ \sigma^2 = E(X-\mu)^2 = \sum_{i=1}^m (X(\omega_i) - \mu)^2 \cdot p_i ]

Wie wird die Varianz einer stetigen Zufallsvariablen berechnet?

[ \sigma^2 = E(X-\mu)^2 = \int_{-\infty}^\infty (x-\mu)^2 \cdot f(x) dx < \infty ]

Was sind andere Namen für die Normalverteilung?

  • Standardnormalverteiltung
  • Gauß-Verteilung

Welche Form hat die Dichtefunktion der Standardverteilung?

Gaußsche Glockenkurve

Wie nennt man eine Normalverteilung mit Mittelwert 0 und Varianz 1?

Standardnormalverteilung

Wie lautet die Dichtefunktion der Normalverteilung?

[ \phi(t) = \frac{1}{\sigma \sqrt{2\pi}} \cdot e^{-\frac{1}{2\sigma^2} \cdot (t-\mu)^2} ]

Wie wird die Verteilungsfunktion aus der Dichtefunktion berechnet?

Was sagt der Wert der Verteilungsfunktion an einer Stelle x aus?

Die Wahrscheinlichkeit, dass die zugehörige Zufallsvariable ≤ x ist [ \Phi(x) = P(X \leq x) ]

Wie liest man den Erwartungswert im Graphen einer Normalverteilung ab?

Abzissenwert am höchsten Punkt des Graphen

In welche 2 Kategorien können statistische Hypothesentests eingeteilt werden?

  • parametrische
  • nicht-parametrische

Was zeichnet parametrische Tests aus?

Es wird vorausgesetzt, dass die Verteilung der Grundgesamtheit aus der eine Stichprobe entnommen wird so verteilt ist, dass die Verteilung (Verteilungsfunktion / Dichtefunktion) mit Parametern beschrieben werden kann. Trifft die Voraussetzung nicht zu, ist der Test eigentlich unzulässig, aber meist noch besser als ein nicht-parametrischer

Welcher Kategorie von Hypothesentests ist der t-Test zuzuordnen?

ein parametrischer Hypothesentest (erfasste Merkmalsausprägung muss normalverteilt sein)

Welche Aussage kann mit dem Zwei-Stichproben-t-Test getroffen werden?

ob die zwei Stichproben zugrundeliegenden Grundgesamtheiten / Populationen den gleichen Erwartungswert haben

Was sind andere Worte für einen Hypothesentest?

  • Signifikanztest
  • statischer Test

Was wird mit einem Hypothesentest bewertet?

ob die zugrundeliegende Hypothese falsch ist, sie kann nicht verifiziert werden

Was ist eine unabhängige Variable?

Dinge, die verändert werden um unterschiedliche Bedingungen während eines Experiments zu erzeugen

Was ist eine abhängige Variable?

abhängige Variablen werden während eines Experiments gemessen und werden von unabhängigen Variablen beeinflusst (zumindest hofft man das)

Was ist eine statistische Hypothese?

eine zu überprüfende Behauptung über einen Parameter einer Verteilung oder die Verteilung selbst

Was sind die Parameter eine Normalverteilung?

Erwartungswert und Standardabweichung

Welche 2 Arten von Hypothesen gibt es?

  • Nullhypothese
  • Alternativhypothese

Was ist die Nullhypothese?

die Hypothese, die mittels statistischer Untersuchung und Hypothesentest widerlegt werden soll. Ihr gegenüber steht die Alternativhypothese.

Was bezeichnet $\mathcal{H}_0$?

Nullhypothese

Was ist die Alternativhypothese?

eine zur Nullhypothese entgegengesetzte Aussage, die Aussagt, was durch eine Untersuchung gezeigt werden soll

Was bezeichnet $\mathcal{H}_1$?

Alternativhypothese

Wie stehen Null- und Alternativhypothese zueinander?

schließen sich gegenseitig aus

Was ist ein signifikanter Unterschied?

wenn die Wahrscheinlichkeit, dass der Unterschied zufällig zustande gekommen ist, gering ist

Wie wird das Signifikanzniveau noch genannt?

Irrtumswahrscheinlichkeit

Mit welcher Variable wird die Irrtumswahrscheinlichkeit meist bezeichnet?

$ \alpha $

Welche Fehler können bei Hypothesentests auftreten?

  • Fehler 1. Art: eigentlich wahre Nullhypothese als falsch verwerfen
  • Fehler 2. Art: eigentlich falsche Nullhypothese als wahr anzuerkennen

Was bedeutet es, wenn das Signifikanzniveau 5% beträgt?

  • Mit einer Wahrscheinlichkeit von 5% wird die Nullhypothese auf Grund der Beobachtung als falsch verworfen, obwohl sie eigentlich wahr ist.
  • Ist die Nullhypothese wahr und wird auf Basis der Beobachtung verworfen, ist die Eintrittswahrscheinlichkeit für diese Beobachtung 5%.

Auf wen geht der t-Test zurück?

William Sealy Gosset

Was haben alle Varianten des t-Tests gemeinsam?

die geprüfte Variable unterliegt der t-Verteilung

Wie unterscheiden sich die Varianten des t-Tests?

  • geforderte Verteilung der Merkmalsausprägung in der Grundgesamtheit
  • Anzahl Stichproben (1 oder 2)
  • Varianzen der Stichproben bekannt oder nicht

Was ist das Ziel des Zwei-Stichproben-t-Tests?

Prüfung, ob die einer Stichprobe zugrundeliegende Population den gleichen Erwartungswert haben.

Was ist bei einem Zwei-Stichproben-t-Test die Nullhypothese?

die Erwartungswerte der zugrundeliegenden Populationen der Stichproben sind gleich

Was ist bei einem Zwei-Stichproben-t-Test die Alternativhypothese?

  • der Erwartungswert einer Population ist kleiner als der andere (einseitiger Test)
  • der Erwartungswert einer Population ist kleiner oder größer als der andere (zweiseitiger Test)

Wie groß ist der Erwartungswert einer standardisierten Zufallsvariable?

0

Wie groß ist die Varianz einer standardisierten Zufallsvariable?

1

Was ist die Kernaussage des Zentralen Grenzwertsatzes?

die Mittelwerte von unabhängigen, aber identisch verteilten Zufallsvariablen (gleicher Erwartungswert, gleiche (endliche) Varianz) sind normalverteilt

Was ist die t-Verteilung?

eine von der Normalverteilung abweichende Verteilung, die daraus resultiert, dass bei der Standardisierung eines Mittelswerts die nötige Varianz (der Grundgesamtheit) geschätzt wird (aus der Stichprobe)

Welche Form hat die t-Verteilung im Vergleich zur Normalverteilung?

flacher und breiter, nähert sich mit wachsender Stichprobe der Normalverteilung an

Was ist die Kernidee des t-Tests zur Bestimmung der Unterschiedlichkeit von Stichproben?

sind die Varianzen der Stichproben klein (Dichtefunktion schmal und hoch), dann ist ein kleinerer Unterschied in den Mittelwerten aussagekräftiger als bei großen Varianzen

Wird die gewichtete Varianz beim Zwei-Stichproben-t-Test berechnet?

die Summe der durch die Größe der Stichproben geteilten Varianzen der Stichproben

Warum wird bei der Berechnung der gewichteten Varianz beim Zwei-Stichproben-t-Test durch die Stichprobengröße geteilt?

die Varianz einer kleinen Stichprobe ist nur wenig aussagekräftig. Bei einer kleinen Stichprobe wird sie so gegenüber einer großen Stichprobe vergrößert

Was folgt aus einer kleinen Varianz für die Form der Dichtefunktion?

schmal und hoch

Wie wird der t-Wert beim Zwei-Stichproben-t-Test berechnet?

Differenz der Mittelwerte von Stichproben geteilt durch die gewichtete Standardabweichung

Wie unterscheidet sich die Berechnung des t-Wertes beim einseitigen und zweiseitigen t-Test?

beim einseitigen werden die Mittelwerte der Stichproben so voneinander abgezogen, dass der Wert positiv ist, beim zweiseitigen wird der Betrag der Differenz gebildet

Ab welcher Anzahl Freiheitsgrade nähert dich die t-Verteilung an die Normalverteilung an?

30

Wie wird die Anzahl Freiheitsgrade beim Zwei-Stichproben-t-Test bestimmt?

Summe der Stichprobengrößen minus 2

Wie entscheidet man sich beim Zwei-Stichproben-t-Test für für eine der Hypothesen?

der berechnete t-Wert wird mit einem Tabellenwert verglichen, der abhängig von

  • Signifikanzniveau
  • Freiheitsgraden
  • einseitiger / zweiseitiger Test

aus einer Tabelle gewählt wird. Ist der berechnete t-Wert kleiner als der Tabellenwert, wird die Nullhypothese behalten, sonst verworfen

Aus welcher Spalte muss beim einseitigen t-Test der t'-Wert entnommen werden?

die Spalte, die mit dem Signifikanzniveau überschrieben ist

Aus welcher Spalte muss beim zweiseitigen t-Test der t'-Wert entnommen werden?

die Spalte, die mit dem halben Signifikanzniveau überschrieben ist

Welche Studienformen gibt es um Hypothesen zu Testen?

  • Laborstudie
  • Feldstudie

Was sind die Vorteile von Laborstudien?

  • vergleichsweise kostengünstig
  • geringerer Zeitaufwand
  • keine externen Einflüsse

Was sind die Nachteile von Laborstudien?

künstliche, sterile Atmosphäse schlecht auf Realität generalisierbar, daher geringere Gültigkeit

Was sind die Vorteile von Feldstudien?

Teilnehmer wissen nicht, dass sie am Experiment teilnehmen -> unbefangene Reaktionen

Was sind die Nachteile von Feldstudien?

störende Einflüsse schlecht kontrollierbar, dadurch niedrige interne Validität

Welche Evaluationsmethoden werden grundsätzlich unterschieden?

  • analytische Evaluation
  • Evaluation mit Nutzern

Welche analytischen Evaluationsmethoden gibt es?

  • Cognitive Walkthrough
  • Heuristische Evaluation
  • Modellbasiert Evaluation
  • Evaluation auf Basis bestehender Studien

Worauf stützen sich analytische Evaluationsmethoden?

Befragungen von Experten, die sich in Nutzer hinein versetzen

Wann kommen analytische Evaluationsmethoden im Entwicklungsprozess zum Einsatz?

meist in der frühen Phase und projektbegleitend, wenn es noch keine große Nutzergruppe gibt

Was ist das Ziel analytischer Evaluationsmethoden?

Erkennung von problematischen Bereichen in Design und Implementierung, die anerkannten Studienergebnissen oder Grundregeln der menschlichen Wahrnehmung widersprechen

Was war die Grundlage der Entwicklung des Cognitive Walkthrough?

Code Walkthrough der Softwareentwicklung

Was ist der Code Walkthrough der Softwareentwicklung?

Evaluationstechnik, bei der Quelltext von mehreren Gutachtern durchgegangen und geprüft wird

Welche Schritte werden beim Cognitive Walkthrough durchlaufen?

  1. Erarbeitung von Beispielaufgaben, Zerteilen in Aktionssequenzen, Erstellen von Nutzerprofilen (Personas)
  2. Gutachter + Mitglied des Design Teams gehen Aktionen durch. Für jede Aktion:
  3. Bericht anfertigen
  4. Design auf Basis des Berichts überarbeiten

Worauf liegt der Fokus beim Abarbeiten der Aktionen beim Cognitive Walkthrough?

Bewertung der Bedienbarkeit und intuitiven Erlernbarkeit des Systems

Welche 4 Fragen klären beim Abarbeiten der Aktionssequenz im Cognitive Walkthrough die Bedienbarkeit / Erlernbarkeit?

  1. Entspricht Reaktion des Systems bei Aktion der Erwartung des Nutzers?
  2. Ist die nächste Aktion sichtbar / verfügbar (nicht ob als "richtig" erkennbar) ?
  3. Ist die gefundene Aktion die richtige?
  4. Versteht Nutzer die Reaktion?

Was ist Inhalt des Berichts beim Cognitive Walkthrough?

  • Liste der aufgetretenen Probleme:
    • Annahmen der Gutachter begründen
    • geschätzte Dringlichkeit
    • Datum
    • Name des Gutachters
  • Notizen über Randprobleme
  • Zusammenfassung

Wozu dienen im Allgemeinen heuristische Methoden?

zuverlässige Lösungen für ein bestimmtes Problem mit geringem Rechenaufwand in kurzer Laufzeit erhalten

Was unterscheidet heuristische Methoden von algorithmischen?

heuristische Methoden vernachlässigen entweder die Optimalität der Lösung oder der Rechenzeit. Rechnungen werden mit

  • Schätzungen
  • Faustregeln
  • intuitiv-intelligentem Raten
  • zusätzlichen Hilfsannahmen

zu guten Lösungen geführt

Wozu dient die heuristische Evaluation von Benutzungsschnittstellen?

zeit- und kostengünstige Evaulationsmethode, die primär für Designspezifikation gedacht war, aber auch später zum Einsatz kommt, Ziele sind die gleichen wie von nicht-heuristischen Evaluationen: Probleme im Entwurf aufdecken oder zwischen Alternativen entscheiden

Welche Skala kommt bei den Nielsen Heuristics zum Einsatz und welche Stufen hat sie?

Ordinalskala: 0. kein Bedienbarkeitsproblem

  1. kosmetisches Problem - beheben wenn Zeit
  2. kleines Problem - niedrige Prio
  3. großes Problem - hohe Prio
  4. Katastrophe - Behebung zwingend

Was sind die 10 Nielsen Heuristics?

  1. Sichtbarkeit des Systemzustands
  2. Verknüpfung zwischen System und realer Welt
  3. Kontrolle und Freiraum
  4. Kontinuität und Standardisierung
  5. Fehler-Vermeidung
  6. Wiedererkennung ist besser als Erinnerung
  7. Flexibilität und Anwendereffizienz
  8. ästhetisches und minimalistisches Design
  9. Unterstützung bei Erkennung, Diagnose und Behebung von Fehlern
  10. Hilfe und Dokumentation

Was beschreibt die Heuristik Sichtbarkeit des Systemzustands von Nielsen?

System informiert jederzeit innerhalb angemessener Zeitspanne mit Rückmeldung über Abläufe

Was beschreibt die Heuristik Verknüpfung zwischen System und realer Welt von Nielsen?

  • Begriffe, Phrasen und Benennungen vertrauter Sprache
  • keine systemorientierten Ausdrücke
  • Anordnung von Informationen nach Konventionen der realen Welt (natürlich und logisch)

Was beschreibt die Heuristik Kontrolle und Freiraum von Nielsen?

  • erkennbarer "Notausgang" (Abbruch)
  • Unterstützung von undo/redo

Was beschreibt die Heuristik Kontinuität und Standardisierung von Nielsen?

  • Plattform-Konventionen beachtet
  • keine Synonyme für Situationen und Aktionen

Was beschreibt die Heuristik Fehler-Vermeidung von Nielsen?

  • fehlerträchtige Situationen verhindern
  • vor kritischen Aktionen warnen

Was beschreibt die Heuristik Wiedererkennung ist besser als Erinnerung von Nielsen?

  • geringe Beanspruchung des Gedächtnis
  • Aktionen und Optionen sichtbar machen
  • keine Erinnerung an andere Dialogteile benötigt, um aktuellen zu verstehen
  • Hilfe / Hinweise leicht zugänglich

Was beschreibt die Heuristik Flexibilität und Anwendereffizienz von Nielsen?

  • Shortcuts
  • Favoriten-Kommandos

Was beschreibt die Heuristik ästhetisches und minimalistisches Design von Nielsen?

Dialoge aufs wesentliche beschränken für maximale Sichtbarkeit der relevanten informationen

Was beschreibt die Heuristik Unterstützung bei Erkennung, Diagnose und Behebung von Fehlern von Nielsen?

  • klare Sprache statt Fehlercodes
  • präzise aufs Problem hinweisen
  • Lösungsvorschläge

Was beschreibt die Heuristik Hilfe und Dokumentation von Nielsen?

  • Hilfe anbieten
  • Information leicht findbar
  • Fokus auf jeweilige Aufgabe
  • knappe Beschreibung der nötigen Schritte

Wie viele Gutachter sollten laut Nieslen zur Bewertung von Systemen mit den Nielsen Heuristics herangezogen werden?

3-5 für 75%ige Erkennung von Problemen

Welche modellbasierten Evaluationsmethoden werden vorgestellt?

  • GOMS-Modell
  • Keystroke Level Methode

Was sind vorhersagende Modelle in der analytischen Evaluation?

Umrechnung von bei Experten gemessene Leistungswerte bei der Benutzung der Software auf Normalnutzer

Was beschreibt das G in GOMS?

Goals: das zu erreichende Ziel / der zu erreichende Zustand

Was beschreibt das O in GOMS?

Operators: die Aktionen zu zum Ziel führen und ausgeführt werden müssen

Was beschreibt das M in GOMS?

Methods: erlernte Methoden, mit denen Ziele erreicht werden (exakte, wiederkehrende Sequenzen von Einzelschritten)

Was beschreibt das S in GOMS?

Selection rules: Regeln um aus mehreren Methoden eine auszuwählen

Wie wird die GOMS-Struktur erstellt?

  • einzelnes High-Level-Ziel
  • Zerteilung in Teilziele
  • Zerteilung in atomate Operationen

Welche Aussagen erlaubt das GOMS Modell?

  • Bewertung der Anforderungen an Kurzzeitgedächtnis mittels Tiefe der GOMS-Struktur
  • Zeitbedarf von verschiedenen Nutzergruppen für Aufgaben

Was ist das Ziel der Keystroke Level Methode?

genaue Vorhersagen der benötigten Zeit zur Bewältigung von Aufgaben

Welche Operationen werden im Keystroke Level Modell unterschieden?

  • Tasten- / Knopfdruck (mit unterschiedlichen Trainingsgraden)
  • mit Maus auf Ziel zeigen
  • Maustaste drücken
  • Hand zur Maus / Tastatur führen
  • Linie mit Maus ziehen
  • mentale Vorbereitung (Entscheidung treffen)
  • Antwortzeit des Systems (Wartezeit)

Wie wird der logarithmische Term in Fitts' Law genannt?

index of difficulty

Wer nimmt die Evaluation auf Basis bestehender Studien vor?

Experten mit Fachkompetenz, um geeignete von ungeeigneten Studien für das aktuelle System unterscheiden zu können

In welche Kategorien lassen sich Evaluationstechniken bei der Evaluation mit Nutzern einordnen?

  • Beobachtung
  • Fragetechniken

Wie ist der Ablauf des Entwurfs eines Experiments zur Evaluation?

  1. Bestimmen was untersucht werden soll
  2. abhängige und unabhängige Variablen definieren
  3. Nullhypothese definieren
  4. Zusammensetzung der Probandengruppe bestimmen

Wie werden die Testpersonen für ein Experiment ausgewählt?

  • wenn es ein System gibt: bestehende Anwender
  • wenn es kein System gibt: Auswahl über
    • Alter
    • Bildungsgrad
    • Erfahrung mit vergleichbaren Systemen

Was ist eine repräsentative Stichprobe?

eine Stichprobe, bei der mittels theoretischer Überlegungen von der Verteilung der Merkmalsausprägungen in der Stichprobe auf die der Grundgesamtheit geschlossen werden kann

Welche Arten von Stichproben werden unterschieden?

  • Zufallsstichprobe
  • Geschichtete Stichprobe
  • Klumpenstichprobe

Was zeichnet eine eine Zufallsstichprobe aus?

jedes Element der Grundgesamtheit ist mit gleicher Wahrscheinlich Teil der Stichprobe

Wann empfieht sich die Verwendung einer Zufallsstichprobe?

wenn über die Verteilung der für die Untersuchung relevanten Merkmale der Probanden nichts (oder wenig) bekannt ist

Was zeichnet eine eine geschichtete Stichprobe aus?

Gleiche Verteilung der für die Untersuchung relevanten Merkmale der Probanden in der Stichprobe wie in der Grundgesamtheit

Was zeichnet eine eine Klumpenstichprobe aus?

alle Elemente eines "Klumpens" werden einbezogen. Beispiel: 10 Abteilungen nutzen eine Software, alle Mitarbeiter von 2 Abteilungen sind Teil des Experiments

Welche 2 Designs werden beim Entwurf eines Experiments unterschieden?

  • Within-Subjects-Design
  • Between-Subjects-Design

Was ist das Within-Subjects-Design von Experimenten?

alle Testpersonen werden unter allen Bedinungen getestet

Was sind Nachteile des Within-Subjects-Design von Experimenten?

Lerneffekte, die das Ergebnis beeinflussen

Was sind Vorteile des Within-Subjects-Design von Experimenten?

geringere Gesamtzahl von Probanden nötig

Wie kann den Lerneffekten beim Within-Subjects-Design von Experimenten begegnet werden?

aufteilen der Testpersonen in Gruppen, unterschiedliche Reihenfolge der Bedinungen zwischen den Gruppen

Was ist das Between-Subjects-Design von Experimenten?

jede Testperson wird nur unter einer Bedingung getestet

Was sind Vorteile des Between-Subjects-Design von Experimenten?

keine Lerneffekte

Was sind Nachteile des Between-Subjects-Design von Experimenten?

viele Testpersonen für repräsentatives Ergebnis nötig

Was ist eine Beobachtung zur Evaluation von Systemen?

systematisches Verfolgen von Interaktion unter Zuhilfenahme von Notizen, Protokollen oder medialen Aufzeichnungen

Was ist eine unstrukturierte Beobachtung?

dem Beobachter wird überlassen, welche Daten relevant sind und welche nicht

Was ist eine strukturierte Beobachtung?

vor der Beobachtung wird festgelegt, welche Daten relevant sind

Welche Rollen kann ein Gutachter bei Beobachtungen einnehmen?

  • aktiv an Situation teilnehmen
  • passiv (sichtbar aber nicht aktiv)
  • unsichtbar

Was ist der Nachteil eines aktiven Gutachters bei einer Beobachtung?

Beeinflussung der Probanden

Was ist der Hauptnachteil Beobachtung?

über Beweggründe für Aktionen kann keine Information gesammelt werden

Welche Techniken gibt es, um bei Beobachtungen auch über die Beweggründe für Aktionen Daten zu sammeln?

  • lautes Denken
  • Post-Testdurchlauf

Was ermöglicht die Methode des lauten Denkens?

Einblick in die mentalen Prozesse von Probanden

Wie wird beim lauten Denken vorgegangen?

Probanden äußern während einer Tätigkeit ihre Gedanken

Welchen Vorteil hat lautes Denken gegenüber dem Post-Testdurchlauf?

beim lauten Denken wird das "Warum" schon wärend des Experiments klar, beim Post-Testdurchlauf erst danach

Was ist kooperative Evaluation?

  • Gutachter stellen den Probanden während des lauten Denkens Rückfragen
  • Proband kann Gutachter um Rat fragen

Was sind die Vorteile kooperative Evaluation?

  • weniger Interpretationsspielraum beim Gutachter -> einfachere Umsetzung
  • Proband kann Kritik äußern
  • unklare Punkte können vom Gutachter direkt erfragt werden

Was ist die Protokollanalyse?

Stufe der Evaluationstechnik Beobachtung in der Aufzeichnungen des Experiments ausgewertet werden

Welche Aufzeichnungsmethoden bieten sich für Beobachtungen?

  • Mitschrift durch Gutachter
  • Audio-Aufnahmen
  • Video-Aufnahmen
  • Bildschirmaufzeichnungen
  • Mitschrift der Testperson

Was sind die Probleme der Aufzeichnungstechnik Mitschrift durch Gutachter (aka Papier und Stift)?

Schreibgeschwindigkeit des Gutachters limitiert den Umfang der Aufzeichnungen

Was sind die Probleme der Aufzeichnungstechnik Audio-Aufnahme?

Synchronisation von Audio mit anderen Protokollformen (Notizen)

Was sind die Probleme der Aufzeichnungstechnik Video-Aufnahme?

mehrere Kameras nötig, um Person und System gleichzeitig zu erfassen

Was sind Vorteile der Aufzeichnungstechnik Bildschirmaufzeichnung?

günstig und wertvolle Ergänzung zu anderen Protokollen

Was sind die Probleme der Aufzeichnungstechnik Mitschrift der Testperson?

Proband muss entscheiden was ein Problem ist und was nicht

Was ist ein Post-Testdurchlauf?

nachträgliche Durchsprache einer aufgezeichneten Beobachtung mit der beobachteten Person, um Beweggründe für Verhalten zu erfahren

Welche Fragetechniken zur Evaluation von Systemen werden unterschieden?

  • Interview
  • Fragebogen

Was beschreibt die Top-Down-Struktur der Fragen in einem Interview?

Interviewer kann auf Basis der bereits beantworteten Fragen tiefergehende Fragen stellen

Wer hat den größeren Redeanteil in einem Interview?

interviewte Person

Wie ist der Ablauf eines Interviews nach Empfehlung von Robson?

  1. Einführung
  2. Aufwärmphase
  3. Hauptphase
  4. Abkühlungsphase
  5. Abschluss

Was umfasst die Phase Einführung eines Interviews?

  • Selbstvorstellung Interviewer
  • Beweggründe für Interview erläutern
  • Bedenkenlosigkeit der Testperson klären
  • Aufzeichnungserlaubnis einholen

Was umfasst die Phase Aufwärmphase eines Interviews?

  • einfache unkritische Fragen
  • Testperson auflockern

Was umfasst die Phase Hauptphase eines Interviews?

  • für Untersuchung relevante Fragen
  • ggf. tiefergehende Fragen
  • kein Druck aufbauen, nicht beeinflussen

Was umfasst die Phase Abkühlungsphase eines Interviews?

  • einfache Abschlussfragen
  • Spannung abbauen

Was umfasst die Phase Abschluss eines Interviews?

  • Bedanken
  • Aufzeichnung beenden

Welche Fragetypen werden im Fragebogen unterschieden?

  • Allgemeine Fragen
  • Offene Fragen
  • Rating-Skalen
  • Multiple-Choice-Fragen
  • Rangordnungen

Was zählt zu allgemeinen Fragen in einem Fragebogen?

Fragen zum Hintergrund der Testperson:

  • demographische Fragen
  • Selbsteinschätzung zu Fähigkeiten am System

Was zählt zu den offenen Fragen in einem Fragebogen?

Antwort wird frei formuliert, keine Beschränkung (W-Fragen)

Was sind die Vorteile von offenen Fragen in einem Fragebogen?

Möglichkeit für

  • Vorschläge
  • Anregungen
  • Bedenken

, die sonst in keiner Antwort geäußert werden könnten

Was sind die Nachteile von offenen Fragen in einem Fragebogen?

  • subjektive Antworten
  • setzen Selbstwahrnehmung und Ehrlichkeit voraus
  • schwer auszuwerten

Welche 3 Fragentypen gehören zu den geschlossenen Fragen?

  • Rating-Skalen
  • Multiple-Choice-Fragen
  • Rangordnungen

Was zählt zu den Rating-Skalen in einem Fragebogen?

Einordnung der Antwort auf einer vorgegeben Skala

Welcher Fragentyp fordert die Einordnung einer Aussage in eine der Kategorien zutreffend, eher zutreffend, weder/ noch, eher unzutreffend, unzutreffend?

Rating-Skalen

Welchen Nachteil hat eine zu geringe Zahl Stufen einer Rating-Skala?

zu wenig Spielraum für Zwischeneinschätzungen

Welchen Nachteil hat eine zu große Zahl Stufen einer Rating-Skala?

Zwischenstufen lassen zu viel Interpretationsspielraum

Warum haben Rating-Skalen meist eine ungerade Anzahl von Stufen?

damit es eine neutrale Mitte gibt

Wozu führt eine gerade Anzahl von Stufen bei Rating-Skalen?

Entscheidungszwang mit der Antwort zumindest eine Tendenz zu geben -> Selbstreflektion ist vorausgesetzt

Was ist die versteckte dritte Antwort-Form bei Ja-Nein-Fragen?

nichts ankreuzen

Was zählt zu den Rangordnungen in einem Fragebogen?

Ordnung von Begriffen in eine Reihenfolge (z.B. beliegt -> unbeliebt)

Welchen Vorteil haben geschlossene Fragen in Fragebögen?

  • keine Last der Formulierung einer freien Antwort -> höhere Rücklaufquote
  • einfachere Auswertung

Was ist ein Pilotstudie (Evaluationstechnik Fragebogen)?

Fragebogen an einer kleine Testgruppe austeilen, um Unmissverständlichkeit der Fragen zu prüfen

Wie hoch ist durchschnittlich die Rücklaufquote von Fragebögen?

25%

Was ist der Nachteil der meisten Evaluationstechniken mit Probanden?

Ergebnis hängt immer von Aussagen der Testpersonen ab. Möglichkeit der

  • Interpretation
  • bewussten Falschaussagen

Was sind physiologische Reaktionen, die überwacht werden können?

  • Puls
  • Blutdruck
  • Schweiß
  • Atemfrequenz
  • Bewegungen der Augen

Welche Arten von Bewegungen des menschlichen Auges werden unterschieden?

Bewegung

  • des Augapfels
  • der Pupillen
  • des Lids

Welche Augapfelbewegungen werden unterschieden?

  • Ausgleichsbewegungen, um bewegte Objekte im Fokus zu halten
  • Ausrichten der Sehgrube auf neue Objekte (Sakkaden -> Fixation)
  • Mikrobewegungen

Was sind Sakkaden?

schnelle Bewegungen des Auges beim Betrachten der Umgebung

Wie wird die Phase zwischen Sakkaden genannt?

Fixation

Wie lang dauert die Phase der Fixation (Auge)?

200-300ms

Welche Mikrobewegungen des Auges werden unterschieden?

  • Drift
  • Tremor
  • Mikrosakkaden

Was ist die Mikrobewegung Drift des Auges?

stetige, minimale Abweichung vom Fixationsort

Wozu dient die Mikrobewegung Drift des Auges?

verschiebt das einfallende Licht auf andere Sehzellen, um Ermüdung vorzubeugen

Was ist die Mikrobewegung Tremor des Auges?

Zitterbewegungen mit einer Frequenz von etwa 50Hz

Wozu dient die Mikrobewegung Tremor des Auges?

verschiebt das einfallende Licht auf andere Sehzellen, um Ermüdung vorzubeugen

Was ist die Mikrobewegung Mikrosakkade des Auges?

kleine schnelle Bewegung, die den Drift ausgleichen und ein Objekt refixieren

Welche Augenbewegungen können mit Eye-Tracking erfasst werden?

  • Sakkaden
  • Fixationen
  • Abstand der Augen zum Ziel
  • Durchmesser der Pupille
  • uvm.

Was ist der scan-path beim Eye-Tracking?

die Sequenz der Fixationen

Welche Daten sind beim Eye-Tracking von besonderem Interesse?

  • scan-path
  • Anzahl aufeinanderfolgender Fixationen
  • Zeit der Fixierung eines Objekts
  • Suchzeit, bis ein Objekt fixiert wird

Welche Systeme zum Eye-Tracking gibt es?

  • stationäre Systeme (geringste Beeinflussung)
  • Head-Mounted-Devices (höhere Genauigkeit)

Welche Möglichkeiten der Visualisierung der Daten des Eye-Tracking gibt es?

  • Heatmap
  • Gaze Opacity
  • Areas of Interest
  • Gaze Plot

Was ist eine Heatmap-Darstellung?

färbt Bereiche des Sichtfelds abhängig von der Intensität der Betrachtung farblich ein

Was ist eine Gaze-Opacity-Darstellung?

Bereiche des Sichtfelds werden verdeckt und transparenter gemacht, je länger der Blick darauf verweilte

Was ist ein anderer Name für die Gaze-Opacity-Darstellung?

Schlüssellochdarstellung

Was ist eine Areas of Interest-Darstellung?

ähnlich der Heatmap, aber das Sichtfeld wird in Sektoren eingeteilt und die Betrachtungsdauer für jeden Sektor kumuliert

Was ist eine Gaze-Plot-Darstellung?

zeigt den Verlauf des Blicks durchs Sichtfeld, Linien stehen für Sakkaden und Kreise für Fixationen, je größer der Kreis desto länger wurde fixiert

Welche Reaktionen können durch die Aufzeichnung von physiologischen Reaktionen bewertet werden?

emotionale Reaktionen wie Stress und Entspannung

Welche Größen können für eine Messung von physiologischen Reaktionen erfasst werden?

  • Blutdruck
  • Herzfrequenz
  • Widerstand der Haut
  • elektrodermale Aktivität der Haut
  • elektrische Aktivität der Muskeln
  • elektrische Aktivität des Gehirns

Wie kann die Aktivität der Schweißdrüsen gemessen werden?

  • Widerstand der Haut
  • elektrodermale Aktivität der Haut

Wofür steht die Abkürzung EMG?

Elektromyogramm: misst elektrische Aktivität der Muskeln

Was wird mit einem EMG bei der Evaluation über physiologische Messungen gemessen?

die muskuläre Anspannung während einer Aufgabe

Wofür steht die Abkürzung EEG?

Elektroenzephalogram: misst elektrische Aktivität des Gehirns

Was ist das Problem bei der Interpretation der Messung physiologischer Reaktionen?

Auslöser der Reaktion ist nicht bekannt

Welche 10 Kriterien helfen bei der Auswahl einer Evaluationstechnik?

  • Eignung für welche Entwicklungsphase (Entwurf / Implementierung / durchgehend)
  • Studienformen (Labor / Feld)
  • Grad der Objektivität
  • Art der Prüfmaße: qualitativ / quantiativ
  • Flughöhe / Informationsgehalt: Low-Level / High-Level
  • Unmittelbarkeit
  • Störanfälligkeit / Beeinflussung
  • Zeitaufwand
  • Hilfsmittel
  • Fachkompetenz