Does it matter where we test?

Autor: Greifeneder, Elke
Jazyk: angličtina
Rok vydání: 2012
Předmět:
Druh dokumentu: Doctoral Thesis
DOI: 10.18452/16545
Popis: Die Benutzerforschung zu digitalen Bibliotheken sieht sich aktuell zwei Herausforderungen gegenüber: dem Bestreben, Studien vermehrt über das Internet durchzuführen, und dem Wunsch, Benutzerverhalten in natürlichen Umgebungen statt in Laborsituationen zu erforschen. Asynchrone Remote-(Usability-)Tests sind eine methodische Herangehensweise, die möglicherweise die Lösung beider Bedürfnisse sind. Sie erlauben Personen die Teilnahme an einer Studie zu einem Zeitpunkt und an einem Ort ihrer Wahl; der Ort der Wahl entspricht dabei i.d.R der natürlichen Nutzungsumgebung der Teilnehmer. Da die Validität einer Studie von der Qualität der Daten abhängt, ist es für die Forschung sehr wichtig, die möglichen Einflüsse von Ablenkungen in der natürlichen Umgebung auf das Nutzerverhalten in der Testsituation zu bedenken. Das Dissertationsprojekt untersuchte, inwieweit asynchrone Remote-Studien aufgrund von störenden Ablenkungsfaktoren systematischen Fehler bei der Evaluierung digitaler Bibliotheken produzieren. In einem Experiment wurde das Vorhandensein von Ablenkung während der Testdurchführung in natürlichen Umgebungen ermittelt sowie der Einfluss dieser Ablenkung auf das Nutzungsverhalten analysiert. Experimentell wurde die Zeit gemessen, die Teilnehmer in einem Labor und Teilnehmer in ihrer natürlichen Umgebung zur Fertigstellung des Tests benötigten. Die Ergebnisse des Experiments zeigen, dass die Teilnehmer während der Studie stark abgelenkt waren und dass sie in ihrer natürlichen Umgebung deutlich mehr Zeit für denselben Test benötigten. Der Ort der Testdurchführung beeinträchtigte jedoch statistisch gesehen weder die Erledigung der Aufgaben noch die abgegebenen Bewertungen der Teilnehmer noch ihren Entscheidungsprozess. Aus den Ergebnissen folgt, dass der Ort der Testdurchführung nicht relevant ist, aber dass es von großer Bedeutung für die Validität der Daten ist, im Test zu erheben, was während der Durchführung in der natürlichen Umgebung des Teilnehmers geschieht.
User studies in digital libraries face two fundamental challenges. The first is the necessity of running more user studies in an online environment. Users can access digital library collections and services worldwide and the services should be usable at any time. This need for more online studies is coupled with a second need, a demand to test under realistic conditions outside of laboratories in users’ natural environment. Asynchronous remote usability tests are a methodological approach that might answer both needs: they allow participants to take part in a study at a time and place of their choice, often in the participants’ natural environment. Any chosen place, however, might be noisy. Distractions are ubiquitous in a user’s natural environment. An awareness of the potential influences of distractions on users’ behavior during test situations is of great importance, because the validity of a study depends on the quality of the data. If an instrument allows systematic mistakes in measurements because of distractions, the validity is at risk. This dissertation examined if distraction in the users’ natural environment produces a systematic mistake in digital library studies that take place at a time and location of participants’ choice. In order to investigate the existence of distractions during online user studies in digital libraries and to analyze the influence(s) of that distraction, a psychological experiment was set up. It ex¬amined completion time scores between participants in a laboratory and participants in their natural environment. The results of the experiment showed that participants were highly distracted and that participants in their natural environment needed more time to complete the same test. The setting did not affect successful task completions, the participants’ judgments of sites or their decision-making processes. This work can conclude that it does not matter where we test, but it matters what happens during the test.
Databáze: Networked Digital Library of Theses & Dissertations
Externí odkaz: