Meta-Learning: A Unifying Framework for Testing Theories of Human Learning

Abstract

Von der Integration in ein fremdes Land bis zum Erlernen einer anspruchsvollen Sportart – die Fähigkeit zu lernen prägt zentrale Aspekte unseres Alltags. Sie lässt diese Leistungen so mühelos erscheinen, dass sie die zugrunde liegende, bemerkenswert komplexe kognitive Architektur verschleiert. Wie tiefgreifend diese Komplexität ist, zeigt sich auch daran, dass wir trotz erheblicher Investitionen an Zeit, Aufwand und Ressourcen noch keine Maschinen entwickelt haben, die ebenso schnell und robust denken, handeln und lernen wie der Mensch.

Im Laufe der Jahre haben Kognitionswissenschaftler*innen zahlreiche theoretische Rahmen entworfen, um die Prinzipien menschlichen Lernens zu verstehen. Einige betonen das Zusammenspiel von Zielen und Umwelt, andere konzentrieren sich auf kognitive Begrenzungen als treibende Faktoren. Dennoch ist es bislang keinem Ansatz gelungen, menschliches Lernen umfassend zu erklären. Was fehlt, ist ein integrierender Rahmen, der Ziele, Umweltstruktur und kognitive Einschränkungen zugleich berücksichtigt – und es Modellen ermöglicht, to learn how to learn, anstatt auf einzelne Aufgaben zugeschnitten zu sein.

In dieser Arbeit zeige ich auf, dass meta-learning einen solchen Rahmen bietet. Durch das Trainieren von Systemen – typischerweise neuronalen Netzwerken – auf Aufgaben aus strukturierten Umgebungen unter Ressourcenbeschränkungen entsteht eine rechnerische Instanziierung von Lernen, die flexibel, stichprobeneffizient, ressourcenschonend und adaptiv ist.

Ich beginne diese Arbeit mit einer Darstellung, wie meta-learning (1) die Entwicklung stichprobeneffizienter Lernalgorithmen unterstützt, welche Bayes-optimale Strategien implementieren; (2) gezielte Steuerung der computational complexity dieser Algorithmen erlaubt; (3) präzise Anpassungen an adaptive Umgebungen ermöglicht; und (4) die Integration neurowissenschaftlicher Erkenntnisse in die Modellarchitektur erleichtert. Auf diese Weise kombinieren die resultierenden Modelle die Stärken zweier klassischer Ansätze: Bayesian und connectionist models. Anschließend illustriere ich die besonderen Möglichkeiten von meta-learning anhand von vier Studien.

Zunächst nutze ich meta-learning, um eine rationale Analyse des optimism bias durchzuführen – der Tendenz, aus besser als erwarteten Ergebnissen stärker zu lernen als aus schlechteren. Anhand idealisierter, meta-gelernter Lernalgorithmen zeige ich, dass dieses Phänomen als rationale Strategie verstanden werden kann, die aus optimaler Anpassung an zuvor erlebte Umwelten resultiert.

Zweitens präsentiere ich eine resource-rational Erklärung für kompositionelles reinforcement learning beim Menschen. Ich demonstriere zunächst, dass neuronale Netzwerke, die mittels meta-learning trainiert wurden, nahezu optimale kompositionelle Inferenz in strukturierten Bandit-Aufgaben leisten. Anschließend zeige ich, dass nur eine ressourcenbegrenzte Variante desselben Modells die Abweichungen vom optimalen Verhalten beim Menschen erklären kann – und somit die kognitiven Kapazitätsgrenzen menschlicher Generalisierung aufzeigt.

Drittens leite ich mithilfe von meta-learning Modelle von ecological rationality ab, um menschliches Kategorisierungslernen zu erklären. Large language models (LLMs) generieren dafür in großem Maßstab ökologisch valide Klassifikationsaufgaben. Modelle, die auf die Statistik dieser Aufgaben abgestimmt sind, erfassen zentrale Merkmale menschlicher Kategorisierung – einschließlich Lernschwierigkeiten, Strategien und Generalisierungsmuster. Viertens stelle ich die ecologically rational analysis vor – einen neuen rechnerischen Rahmen, der die normativen Grundlagen der rational analysis mit der ökologischen Fundierung heuristischer Modelle verbindet. Die durch meta-learning herausgearbeiteten ecological priors führen zu Modellen, die einen erheblichen Teil menschlichen Verhaltens in drei zentralen kognitiven Domänen erklären: Funktionslernen, Kategorisierungslernen und Entscheidungsfindung.

Insgesamt zeigen meine Ergebnisse, dass meta-learning einen domänenübergreifenden Rahmen zur Überprüfung theoretischer Modelle des menschlichen Lernens bereitstellt. Es eröffnet eine integrierende Perspektive, die Brücken schlägt zwischen Bayes und connectionism, zwischen optimality und boundedness sowie zwischen Struktur und Anpassungsfähigkeit. Dieser Ansatz bringt uns einer allgemeinen Theorie des menschlichen Lernens näher – einer Theorie, die erklärt, wie Menschen sich erfolgreich an die reale Welt anpassen, sei es beim Zurechtfinden in fremden Kulturen oder beim Erlernen komplexer Fertigkeiten.

From integrating into a foreign country to picking up a fast-paced sport, the ability to learn shapes key aspects of our everyday lives. It makes these feats seem so deceptively simple that it conceals the remarkably complex machinery that underlies them. The depth of this complexity becomes even more evident given the fact that, despite significant investments of time, effort, and money, we have yet to build machines that think, act, and learn as quickly and robustly as humans.

Over the years, cognitive scientists have developed a wide range of frameworks to understand the factors that drive human learning. While some have emphasized the interplay between goals and environments, others have focused on mechanistic constraints as key determinants of learning. Yet, none of these frameworks has succeeded in offering a complete account of human learning. What is missing is a unifying framework that simultaneously incorporates goals, environmental structure, and cognitive constraints—crucially, one that enables models to learn how to learn, rather than being hand-crafted for individual tasks.

In this thesis, I argue that meta-learning provides such a framework. By training systems, typically neural networks, to adapt to tasks drawn from structured environments under constraints, meta-learning offers a computational instantiation of learning that is flexible, efficient, bounded, and adaptive.

I begin this thesis by illustrating how meta-learning (1) supports the construction of sample-efficient learning algorithms that implement Bayes-optimal policies; (2) allows for easy manipulation of computational complexity of so derived learning algorithms; (3) enables precise control over adaptive environments; and (4) facilitates the integration of neuroscientific insights into model architecture. In doing so, the resulting models combine the strengths of two classic computational modeling approaches: Bayesian and connectionist models. Subsequently, I showcase the unique capabilities of meta-learning through four different studies.

First, I use meta-learning to perform a rational analysis of optimism bias—the tendency to learn more from better-than-expected outcomes than from worse-than-expected ones. Using idealized learning algorithms derived via meta-learning, I demonstrate that this tendency can emerge as a rational strategy, shaped by optimal adaptation to the diverse environments previously observed or interacted with.

Second, I provide a resource-rational account of human compositional reinforcement learning. I begin by showing that neural networks trained via meta-learning can perform near-optimal compositional inference in structured bandit tasks. Then, I demonstrate that a resource-limited version of the same model is necessary to capture the deviation from optimal inference observed in human behavior, revealing that the extent of human compositional reasoning is limited by their cognitive capacity.

Third, I derive models of ecological rationality using meta-learning to explain human category learning. I show that large language models (LLMs) can generate ecologically valid classification tasks at scale and that models adapted to the statistics of these generated tasks capture key aspects of human categorization, including learning difficulties, learning strategies, and patterns of generalization.

Fourth, I introduce ecologically rational analysis, a new computational framework that unifies the normative foundations of rational analysis with the ecological grounding of heuristic models. I show that models derived using this framework—by leveraging meta-learning to distill ecological priors into neural networks—account for a substantial portion of human behavior across three core cognitive domains: function learning, category learning, and decision making.

Overall, my findings suggest that meta-learning offers a domain-general framework for testing theories of human learning. In doing so, it provides a unifying perspective that bridges Bayes and connectionism, optimality and boundedness, and structure and adaptation. Looking ahead, this framework brings us closer to a general theory of human learning—one that explains how we adapt and thrive in the real world, whether by navigating an unfamiliar culture or mastering a demanding sport.