Action Recognition in the Visual Periphery

Abstract

Humans are social beings that interact with others in their surroundings. In a public space, for example on a train platform, one can observe the wide array of social actions humans express in their daily lives. There are for instance people hugging each other, waving to one another or shaking hands. A large part of our social behavior consists of carrying out such social actions and the recognition of those actions facilitates our interactions with other people. Therefore, action recognition has become more and more popular as a research topic over the years. Actions do not only appear at our point of fixation but also in the peripheral visual field. The current Ph.D. thesis aims at understanding action recognition in the human central and peripheral vision. To this end, action recognition processes have been investigated under more naturalistic conditions than has been done so far. This thesis extends the knowledge about action recognition processes into more realistic scenarios and the far visual periphery. In four studies, life size action stimuli were used (I) to examine the action categorization abilities of central and peripheral vision, (II) to investigate the viewpoint-dependency of peripheral action representations, (III) to behaviorally measure the perceptive field sizes of action sensitive channels and (IV) to investigate the influence of additional actors in the visual scene on action recognition processes. The main results of the different studies can be summarized as follows. In Study I a high categorization performance for social actions throughout the visual field with a nonlinear performance decline towards the visual periphery was shown. Study II revealed a viewpoint–dependence of action recognition only in far visual periphery. In Study III large perceptive fields for action recognition were measured that decrease in size towards the periphery. And in Study IV no influence of a surrounding crowd of people on the recognition of actions in central vision and the visual periphery was shown. In sum, this thesis provides evidence that the abilities of peripheral vision have been underestimated and that peripheral vision might play a more important role in daily life than merely triggering gaze saccades to events in our environment.

Menschen sind soziale Wesen, die mit anderen Menschen in ihrer Umgebung interagieren. An einem öffentlichen Ort, zum Beispiel auf einem Bahnsteig, kann man die große Vielfalt sozialer Handlungen beobachten, die Menschen täglich ausführen. Beispielsweise sieht man dort Menschen die einander umarmen, die sich zuwinken oder sich die Hände schütteln. Ein großer Teil unseres Sozialverhaltens besteht darin solche Handlungen auszuführen und solche Handlungen anderer Menschen zu verstehen. Die Erkennung dieser Handlungen ermöglicht es uns mit anderen Menschen zu interagieren. Deshalb ist die Erkennung von menschlichen Handlungen mittlerweile ein beliebtes Forschungsthema. Allerdings erscheinen Handlungen nicht nur an der Stelle auf die wir gerade fixiert sind, sondern auch in unserer visuellen Peripherie. Das Ziel dieser Dissertation ist es menschliche Handlungserkennungsprozesse im zentralen Sehfeld und im peripheren Sehfeld besser zu verstehen. Hierfür, wurden Handlungserkennungsprozesse unter natürlicheren Bedingungen als bisher untersucht. Diese Dissertation erweitert das Wissen über Handlungserkennungsprozesse hin zu realistischeren Szenarios und der fernen visuellen Peripherie. In vier Studien wurden lebensgroße Handlungsstimuli verwendet (I) um Handlungs-Kategorisierung im zentralen und peripheren Sehen zu untersuchen, (II) um die Gesichtspunkt-Abhängigkeit der Handlungserkennung zu überprüfen, (III) um die Größe der perzeptiven Felder von Handlungssensitiven neuronalen Kanäle auszumessen und (IV) um den Einfluss zusätzlicher Menschen im Sehfeld auf Handlungserkennungsprozesse zu erforschen. Die Hauptergebnisse der verschiedenen Studien kann wie folgt zusammengefasst werden. Studie I ergab eine hohe Kategorisierungsleistung für soziale Handlungen durch das Visuelle Feld (bis zu 60° von der Fovea entfernt) mit einer nichtlinearen Abnahme der Erkennungsleistung zur Peripherie hin. Studie II zeigte, dass die Erkennung sozialer Handlungen in der Peripherie abhängig ist vom Gesichtspunkt der beobachteten Handlung. In Studie III wurden große perzeptive Felder gemessen für die Erkennung von menschlichen sozialen Handlungen, die zur Peripherie hin kleiner werden. Und in Studie IV wurde gezeigt dass die Anwesenheit einer Menschenmenge Handlungserkennungsprozesse im zentralen Sehe und im peripheren Sehen nicht beeinflusst. Zusammengefasst, diese Dissertation liefert Evidenz dafür, dass die visuellen Fähigkeiten des peripheren Sehfeldes bislang unterschätzt wurden und dass peripheres Sehen eine weitaus wichtigere Rolle in unserem täglichen Leben spielt als nur Blick Sakkaden zu Ereignissen in unserer Umgebung zu initiieren.