Can Cueing Improve Orientation in VR? The Influence of Cueing on Learning, Search Times, Mental Representation, and Presence

Abstract

Virtual Reality (VR) bietet erhebliches Potenzial für das Lernen, indem es die Möglichkeit bietet, Bildungsszenarien sicher und wiederholt zu üben (Arnaldi et al., 2018). Allerdings kann eine VR-Lernumgebung für Lernende verschiedene Herausforderungen mit sich bringen, wie zum Beispiel sich zu orientieren (Makransky & Petersen, 2021). Da sie von der virtuellen Szenerie umgeben sind, müssen sie ihre Blickrichtung selbst wählen. Folglich nehmen die Lernenden nur den ausgewählten Bildausschnitt wahr, wodurch wichtige Inhalte möglicherweise außerhalb ihres aktuellen Sichtfeldes liegen könnten. Darüber hinaus werden die Lernenden neben der Orientierung möglicherweise auch mit weiteren Lerninhalten konfrontiert, was eine herausfordernde Dual-Task-Situation darstellt (A. D. Bender et al., 2017). Daher sollte das Design von VR-Umgebungen die Orientierung erleichtern, beispielsweise durch Cueing (Bereitstellung von Hinweisen). Diese Dissertation besteht aus vier pre-registrierten Experimenten, die sich mit handwerklichen Inhalten in einem virtuellen Werkstattsetting befassen. Experiment 1 (Between-Subject-Design, n = 200) wurde verwendet, um die Glaubwürdigkeit und Angemessenheit dieses Werkstattsettings für die nachfolgenden (Desktop-) VR-Experimente sowie die Angemessenheit des sogenannten Pedagogical Agent (ein virtueller Instruktor), der in Experiment 3 verwendet werden sollte, sicherzustellen. Zusätzlich wurden das Lernen, die wahrgenommene Expertise des Pedagogical Agent und die Professionalität des Videos untersucht. In den nachfolgenden drei Experimenten untersuchte ich die Auswirkungen verschiedener Cueing-Methoden auf Orientierung und Lernen. Experiment 2.1 (Within-Subject-Design, n = 60) und Experiment 2.2 (Between-Subject-Design, n = 159), die beide online durchgeführt und im zweiten Manuskript veröffentlicht wurden, verglichen Licht- und Bewegungs-Cues mit einer Bedingung ohne Cues in einer Desktop-VR-Umgebung. Es zeigte sich eine konsistente Reduktion der Suchzeiten für den Bewegungs-Cue, der jedoch in Experiment 2.2 mit einer Reduktion der Presence einherging. Der Licht-Cue reduzierte die Suchzeiten nur im Between-Subject-Design in Experiment 2.2, wo der nächstfolgende Cue vorhersehbar war, reduzierte allerdings nicht die Presence und unterstützte das Lernen. In Experiment 3 (Between-Subject-Design, n = 91) beabsichtigte ich daher eine Cueing-Methode zu testen, die die Aufmerksamkeit automatisch lenkt, ohne die Presence zu reduzieren. Ich verglich daher die Effekte von Cueing, das durch die Position und gelegentliche Blickwechsel eines Pedagogical Agent vermittelt wurde, mit einer Bedingung mit Licht-Cues und einer Bedingung ohne Cueing in einer VR-Umgebung unter Verwendung eines Head-Mounted-Displays (HMD) im Rahmen einer Laborstudie. Beide Cueing-Methoden in Experiment 3 reduzierten die Suchzeiten, jedoch unterstützte keine den Lernerfolg. Die Tatsache, dass der Licht-Cue in Experiment 2.2 das Lernen unterstützte, jedoch nicht in Experiment 3, könnte darauf hindeuten, dass HMD-VR herausfordernder ist als Desktop-VR. Darüber hinaus könnte der Pedagogical Agent erfolglos geblieben sein, da er die wahrgenommene Präsenz reduziert hat. Zusammenfassend ist es entscheidend, die Desorientierung der Lernenden zu adressieren, um das volle Potenzial von VR-Lernumgebungen auszuschöpfen. Meine Experimente zeigten, dass verschiedene Cueing-Methoden zwar die Suchzeiten reduzieren können, ihre Wirksamkeit auf Lernen jedoch variiert. Licht-Cues erwiesen sich in vorhersehbaren Desktop-VR-Szenarien als vorteilhaft, jedoch nicht in HMD-VR-Umgebungen, was darauf hindeuten könnte, dass die Entwicklung neuer Cueing-Methoden nötig sein könnte.

Virtual reality (VR) offers considerable potential for learning by providing possibilities to safely and repeatedly practice educational scenarios (Arnaldi et al., 2018). However, VR can present learners with various challenges, such as how they should orient themselves in such an environment (Makransky & Petersen, 2021). Since they are surrounded by the virtual environment, they have to choose their viewing direction themselves. Therefore, learners only perceive their chosen field of view, leading to important content possibly being outside their current field of view. Moreover, in addition to this challenge, learners might also be confronted with a “dual-tasking” situation in the form of further educational content (A. D. Bender et al., 2017). Consequently, the design of VR environments should facilitate orientation, for example, by cueing. This dissertation consists of four pre-registered experiments dealing with craft content in a virtual workshop setting. Experiment 1 (between-subject, n = 200) was used to assess both the credibility and appropriateness of the workshop setting used for the (desktop-) VR environments and of the so-called “pedagogical agent” used in the head-mounted display (HMD)-VR environment in Experiment 3. Learning, the perceived expertise of the agent, and the professionalism of the video were additionally investigated. In the following three experiments, I investigated the effects of different cueing methods on orientation and learning. Experiment 2.1 (within-subject design, n = 60) and Experiment 2.2 (between-subject design, n = 159), both of which were conducted online and published in one manuscript, compared light and movement cues to a condition without cues in a desktop-VR environment. The result was a consistent reduction in search times for the movement cue, which, however, entailed a reduction in presence in Experiment 2.2. The light cue reduced search times in the between-subject design in Experiment 2.2 when the type of cue was predictable, did not reduce presence and supported learning. Thus, in Experiment 3 (between-subject, n = 91), my intention was to test a cueing method that guided attention naturally without reducing presence. Therefore, I compared the effects of cueing provided by a pedagogical agent’s position and occasional gaze shifts to both a condition with light cueing and to a condition without cueing. Experiment 3 was a laboratory experiment with an immersive VR environment using an HMD. Both of the cueing methods in Experiment 3 reduced search times, but neither supported learning. The fact that the light cue supported learning in Experiment 2.2 but not in Experiment 3 could possibly indicate that HMD-VR is more challenging than desktop-VR. Additionally, the pedagogical agent may have been unsuccessful because it reduced presence. In summary, it's crucial to address user disorientation to fully exploit the potential of VR learning environments. My experiments showed that while various cueing methods can reduce search times, their effectiveness on learning outcomes varied. Light cues proved beneficial in predictable desktop-VR scenarios but not in HMD-VR settings, hinting at a need to develop new cueing methods.