Ein ressourcenrationales Modell der menschlichen Verarbeitung rekursiver Sprachstrukturen, Teil 3

Experiment 2: Wirkung semantischer Hinweise

Als nächstes haben wir Experiment 1 mit einem zweiten Satz von Elementen wiederholt und gleichzeitig den vorhergesagten Effekt der semantischen Kompatibilität getestet.

Semantische Kompatibilität bezieht sich auf das Verständnis und die Beherrschung der Kompatibilität und Wechselbeziehungen zwischen verschiedenen Einheiten in Sprache, Wörtern oder Symbolen durch Menschen. Unter Gedächtnis versteht man die Fähigkeit des Menschen, sich Informationen zu merken und zu speichern.

Es besteht ein enger Zusammenhang zwischen semantischer Kompatibilität und Gedächtnis. Eine gute semantische Kompatibilität kann die Gedächtnisqualität der Menschen verbessern, während eine schlechte semantische Kompatibilität das Informationsverständnis und die Gedächtniseffekte der Menschen beeinträchtigt.

Erstens kann semantische Kompatibilität die Relevanz von Informationen verbessern und dadurch Menschen dabei helfen, Informationen besser zu verstehen und sich daran zu erinnern. Wenn zwischen verschiedenen Einheiten eine offensichtliche Korrelation besteht, können Menschen diese Korrelation nutzen, um Verbindungen zwischen Informationen herzustellen und eine Netzwerkstruktur zwischen Informationen zu bilden. Diese Netzwerkstruktur kann den Gedächtniseffekt von Informationen verbessern und die Informationsspeicherfähigkeit von Menschen verbessern.

Zweitens kann eine gute semantische Kompatibilität die Verständlichkeit von Informationen verbessern und es den Menschen erleichtern, sie sich zu merken. Wenn eine offensichtliche Kompatibilitätsbeziehung zwischen Informationen besteht, können Menschen den Zusammenhang zwischen den Informationen leicht verstehen und so ein Verständnis und eine Erinnerung an die Informationen entwickeln. Im Gegenteil, wenn eine offensichtliche Inkompatibilität zwischen den Informationen besteht, fühlen sich die Menschen verwirrt und verwirrt und haben Schwierigkeiten, die Informationen zu verstehen und sich daran zu erinnern.

Schließlich kann eine schlechte semantische Kompatibilität die Gedächtnisleistung von Menschen beeinträchtigen. Wenn es zu große Unterschiede zwischen verschiedenen Einheiten gibt, wird es für Menschen schwierig, die Informationen zu verstehen und sich daran zu erinnern, wodurch der Wert des Gedächtnisses verloren geht. Daher sollte beim Schreiben und Verbreiten von Informationen die semantische Kompatibilität so weit wie möglich gewahrt bleiben, um das Verständnis und das Gedächtnis der Menschen zu verbessern.

Zusammenfassend lässt sich sagen, dass ein enger Zusammenhang zwischen semantischer Kompatibilität und Gedächtnis besteht. Eine gute semantische Kompatibilität kann die Relevanz und Verständlichkeit von Informationen verbessern und dadurch die Informationsspeicherfähigkeit und den Gedächtniseffekt der Menschen verbessern. Daher sollte im täglichen Leben und bei der Arbeit die semantische Kompatibilität so weit wie möglich gewahrt bleiben, um das Verständnis und die Erinnerung an Informationen zu verbessern. Es ist ersichtlich, dass wir das Gedächtnis verbessern müssen, und Cistanche deserticola kann das Gedächtnis erheblich verbessern, da Cistanche deserticola ein traditionelles chinesisches Arzneimittel ist, das viele einzigartige Wirkungen hat, darunter die Verbesserung des Gedächtnisses. Die Wirksamkeit von Hackfleisch beruht auf den verschiedenen darin enthaltenen Wirkstoffen, darunter Säure, Polysaccharide, Flavonoide usw. Diese Inhaltsstoffe können die Gesundheit des Gehirns auf verschiedene Weise fördern.

Klicken Sie auf „Ergänzungen zur Verbesserung des Gedächtnisses kennen“.

Über die beiden Manipulationen aus Experiment 1 hinaus variierten wir in den Bedingungen ZWEI und DREI zusätzlich die vorletzte Verbalphrase: In der Bedingung KOMPATIBEL war das erste Substantiv ein plausibles Subjekt (z. B. „verärgerte den Patienten“); in der Bedingung „INKOMPATIBEL“ war dies nicht der Fall (z. B. „heilte den Patienten“). In der Bedingung „KOMPATIBEL“ sollten nicht wahrheitsgemäße Versionen wie „der Bericht von...“ eine höhere a priori-Wahrscheinlichkeit haben und eine Vorhersage des letzten Verbs treffen weniger genau. Wir haben 42 Stimulus-Items konstruiert.

Abb. 3B zeigt Vorhersagen aus dem ressourcenrationalen Modell und früheren Theorien für diese Elemente. Zusätzlich zu den Effekten aus Experiment 1 sagt das Modell eine höhere Schwierigkeit in der KOMPATIBEL-Bedingung voraus, insbesondere innerhalb von DREI. Weder die Überraschungstheorie noch die DLT sagen einen Kompatibilitätseffekt voraus.

Wir haben Lesezeitdaten von 200 Teilnehmern gesammelt, darunter sowohl KOMPATIBLE als auch INKOMPATIBLE Varianten in den Bedingungen ZWEI und DREI. Ansonsten waren das Experiment und die Datenanalyse identisch mit Experiment 1. Die Ablesezeiten sind in Abb. 3B dargestellt.

Die Ergebnisse von Experiment 1 wurden repliziert: Erstens waren die Lesezeiten in DREI länger als in ZWEI(=0.29, 95 % CrI [0.24, 0.35], P( < 0) ​​< 0.0001; Effekt-Inraw-Lesezeiten: 337 ms, 95 % CrI [267, 411] ms).

Zweitens gab es eine Wechselwirkung zwischen der Einbettungsverzerrung und dem Vorhandensein einer „that“-Klausel (=−0.06, 95 % CrI [−0.1{ {9}}, −0.024],P( > 0)=0.0007). Wie in Experiment 1 war der Effekt der Einbettungsverzerrung in EINER Bedingung positiv (Unterschied zwischen „Fakt“ und „Bericht“: 193 ms, 95 % CrI [37, 357] ms) und in ZWEI und DREI Bedingungen negativ (Unterschied zwischen „ Fakt“ und „Bericht“: −105 ms, 95 % CrI [−194, −18]ms).

Drittens waren in Übereinstimmung mit den Modellvorhersagen die Lesezeiten im KOMPATIBEL-Zustand länger als im INKOMPATIBEL-Zustand ( {{0}}.083, 95 % CrI [0.031, 0,136 ],P( < 0)=0.0014; Auswirkung auf Rohlesezeiten: 96 ms, 95 % CrI[36, 156] ms). Weitere Analysen finden Sie im SI-Anhang, Abschnitt S3.

Beachten Sie, dass die Auswirkungen der Einbettungsverzerrung und der Kompatibilität in den DREI Bedingungen numerisch größer sind als in den ZWEI Bedingungen; Eine Metaanalyse zeigt, dass diese Unterschiede sowohl in den Lesezeiten als auch in Teilen des Parameterraums des Modells statistisch bedeutsam sind (SI-Anhang, Abschnitte S2.1 und S6.6).

Numerische Unterschiede in der Steigung des Einbettungsbias zwischen KOMPATIBEL und INKOMPATIBEL waren statistisch nicht aussagekräftig (SI-Anhang, Abb. S23), noch gab es numerische Unterschiede im Schnittpunkt der Modellvorhersagen zwischen den beiden Experimenten (SI-Anhang, Abb. S6).

Siehe SI-Anhang, Abschnitt S6 für konvergierende Beweise aus früheren Lesezeitstudien (insgesamt n=501). Wir haben die Auswirkung der Einbettungsverzerrung auf das Verständnis in zwei Bewertungsstudien weiter repliziert (insgesamt n=335; SI-Anhang, Abschnitt S5).

Experiment 3: Produktionsstudie

Bisher haben wir die Modellvorhersagen in Lesezeiten bestätigt. Die in Lesezeiten gemessene Schwierigkeit zeigt an, dass die Erwartungen der Menschen verletzt werden, gibt jedoch keinen direkten Hinweis auf die Erwartungen der Menschen.

Um einen zweiten Test menschlicher Erwartungen bereitzustellen, haben wir uns einem Produktionsparadigma zugewandt – der Lückentextvervollständigung (40,41) – das in der Sprachforschung verwendet wurde, um zu bewerten, welche Wörter unmittelbar nach einer Präambel erwartet werden. Wir verwenden diese Methode, um die Komplexität mehrfach verschachtelter Strukturen zu bewerten und zu messen, wie viele Verben Menschen nach einer komplexen Präambel erwarten.*

Wir baten die Teilnehmer, Kontexte der Form „Der Bericht, dass der Arzt, der der Diplomat …“ zu einem vollständigen Satz zu vervollständigen. Wir erwarteten von den Teilnehmern, dass sie entweder grammatikalische Vervollständigungen mit drei Verben produzieren, wie zum Beispiel „... misstraut, der Patient geheilt wurde.“ überraschend“ oder ungrammatische Versionen mit weniger Verben, wie zum Beispiel „...misstrauisch war überraschend.“ Die ressourcenrationale verlustbehaftete Kontextüberraschung sagt voraus, dass die Rate solcher ungrammatischer Vervollständigungen für Substantive mit hoher Einbettungsverzerrung (z. B. „Tatsache“) niedriger sein sollte, da diese es einfacher machen, den wahren Kontext aus unvollständigen Speicherdarstellungen wiederherzustellen (Abb. 4A). Bestehende erwartungsbasierte und speicherbasierte Modelle sagen nicht voraus, dass die Rate grammatikalischer Vervollständigungen von der Einbettungsverzerrung abhängt.

Wir haben 80 Teilnehmer rekrutiert. Abb. 4 zeigt die Rate unvollständiger Vervollständigungen (weniger als drei Verben) als Funktion des Einbettungsbias. Wie vorhergesagt, gab es einen Einfluss von Einbettungsverzerrungen auf die Rate ungrammatischer Antworten (=−0.32, 95 % CrI[−0.60, −0.05 ], P( > 0)=0.0123) in einer versuchsweise durchgeführten logistischen Analyse mit gemischten Effekten.

Wir haben diese Studie in zwei weiteren Sprachen (Spanisch und Deutsch) repliziert, darunter eine (Deutsch), in der die Schwierigkeit von Centerembeddings wesentlich geringer ist als in Englisch (42).

Im Spanischen konzentrierten wir uns auf Subjekt-Relativsätze (el hechode que el Director que, „die Tatsache, dass der Regisseur wer“), um die weniger natürlichen Subjekt-Anfangsobjekt-Relativsätze zu vermeiden und gleichzeitig die Verallgemeinerung auf eine andere syntaktische Konfiguration zu testen. Im Deutschen haben wir uns auf eingebettete Strukturen konzentriert (z. B. „Klaus hat erzahlt“, „dass die Behauptung, dass der Student, den der Professor“), da sie bekanntermaßen den Schwierigkeitsgrad auf nähere Ebenen erhöhen Englisch (35).

Wir haben 60 Teilnehmer in jeder Sprache rekrutiert. In beiden Sprachen wurde der Effekt der Einbettungsrate als negativ eingeschätzt, wobei die geschätzten Effektgrößen mit dem englischen Ergebnis vergleichbar waren (Spanisch:=−0.23, 95 % CrI [−{{7 }}.34, −0.12], P( > 0)< 0.0003; German: β = −0.28, 95% CrI [−0.56, −0.03], P(β > 0) = 0.01738). These results suggest that the-previously undocumented-effect of embedding bias on human expectations holds across different languages, even when they vary in the overall difficulty of center embeddings.

Diskussion

Wir haben ein Modell der menschlichen Sprachverarbeitung als ressourcenrationale Vorhersage eingeführt, das mithilfe moderner Methoden des maschinellen Lernens auf beliebige Eingaben skaliert wird. Mit dem Ziel, gedächtnis- und erwartungsbasierte Perspektiven auf die menschliche syntaktische Verarbeitung in Einklang zu bringen, stellt das Modell nicht nur Vorhersagen jener Priortheorien wieder her, bei denen sie richtig sind, sondern sagt auch zuvor nicht dokumentierte Wechselwirkungen zwischen Gedächtnisbeschränkungen und probabilistischen Erwartungen voraus, die wir in drei Verhaltensexperimenten bestätigt haben, bei denen die menschliche Verarbeitung rekursiver Daten untersucht wurde Strukturen.

Unsere Ergebnisse zeigen, dass die gut dokumentierte Schwierigkeit der Integration langer sprachlicher Abhängigkeiten, die das Herzstück bestehender speicherbasierter Modelle ist (5, 7, 36), im Wesentlichen durch probabilistische Erwartungen moduliert wird: Der Vergleich zwischen den EINEN und DREI Bedingungen zeigt, dass solche Lokalitätseffekte können abgeschwächt oder sogar umgekehrt werden, wenn die nichtlokale syntaktische Struktur eine hohe A-priori-Wahrscheinlichkeit aufweist, eine Vorhersage, die aus unserer vorgeschlagenen Vereinheitlichung gedächtnis- und erwartungsbasierter Perspektiven natürlich herausfällt.

Unsere Arbeit dokumentiert außerdem drei prominente Wirkungsfamilien aus der psycholinguistischen Literatur in einem einzigen Experiment und mit einem einzigen Modell: Lokalitätseffekte (erhöhte Schwierigkeit von DREI), Vorhersagbarkeitseffekte (Auswirkung von Embeddingbias in der EINEN Bedingung) und semantische Interferenzeffekte (Auswirkung von semantischer Kompatibilität). ).

Es besteht erhebliches Interesse an einer einheitlichen theoretischen Behandlung dieser Wirkungsfamilien; Unsere Arbeit zeigt, wie ein einzelnes Modell detailliert beschreiben kann, wie sie interagieren. Eine Gruppe von Phänomenen, auf die unsere Experimente nicht abzielen, ist die auf Ähnlichkeit basierende Interferenz (43, 44). Zu untersuchen, ob dies auch mit diesem Modellierungsrahmen berücksichtigt werden kann, ist ein interessantes Problem für zukünftige Forschung.

Unser ressourcenrationales Modell bezieht sich formal auf Modelle in verschiedenen Bereichen. Klassische Arbeiten haben gezeigt, dass eine rationale Analyse der Erinnerungswahrscheinlichkeiten grundlegende Eigenschaften des menschlichen Gedächtnisses erklären kann (28, 29). Neuere Arbeiten (45–48) haben rationale Modelle des menschlichen Arbeitsgedächtnisses in einigen Bereichen, wie dem visuellen Arbeitsgedächtnis, mithilfe der Raten-Verzerrungs-Theorie, einem informationstheoretischen Rahmenwerk zur Ableitung von High-Fidelity-Kodierungen unter Ressourcenbeschränkungen, formalisiert.

Der Hauptunterschied zwischen der Ratenverzerrungstheorie und unserem Modell besteht darin, dass das Maß für die Wirtschaftlichkeit hier der Anteil der verfügbaren Wörter ist, während es in der Ratenverzerrungstheorie die Anzahl der codierten Bits ist. Auf das Satzverständnis angewendet würde die Rate-Distortion-Theorie zu vollständig komprimierten „Kern“-Darstellungen des vergangenen Kontexts führen. Solche vollständig komprimierten Darstellungen führen nicht zu den in unseren Experimenten beobachteten Schwierigkeitsmustern (Einzelheiten siehe SI-Anhang, Abschnitt S8).

Andererseits stellt unser Modell auch eine Vereinfachung dar, da es den aktuellen Kontext als eine Folge von Wörtern modelliert, wodurch möglicherweise die Rolle von Gedächtnisdarstellungen des längeren Kontexts unterschätzt wird, in dem einzelne Wörter möglicherweise vergessen wurden, die Erinnerung an die Bedeutung jedoch erhalten bleibt. Weitere Fortschritte in der Maschine Lernen kann es ermöglichen, aus der ressourcenrationalen Optimierung ein ausgefeilteres Format von Gedächtnisdarstellungen abzuleiten.

In der Informatik werden rekursive Strukturen typischerweise mithilfe stapelbasierter Datenstrukturen verarbeitet. Dementsprechend gingen frühe Modelle der menschlichen syntaktischen Verarbeitung davon aus, dass die Größe des Stapels oder die Anzahl der Knoten, die gleichzeitig im Speicher gehalten werden können, begrenzt sind (2, 24).

Solche Modelle sagen voraus, dass eine tiefere Einbettung schwieriger ist, sagen aber nicht voraus, dass die Schwierigkeit durch statistische oder semantische Hinweise moduliert wird. Im Gegensatz zu stapelbasierten Architekturen weist unsere Theorie probabilistischen Hinweisen eine wichtige Rolle bei der Etablierung einer rekursiven Struktur zu. In dieser Hinsicht stimmt es mit neueren gedächtnisbasierten Theorien überein, die davon ausgehen, dass Menschen keine Datenstrukturen wie Stapel aufrechterhalten und stattdessen syntaktische Strukturen mithilfe assoziativen, auf Hinweisen basierenden Abrufs etablieren (5, 7, 49, 50). Modelle des assoziativen Abrufs So wie sie derzeit implementiert sind (7), berücksichtigen sie nicht die besonderen Schwierigkeitsmuster, die von unserem Modell vorhergesagt und in unseren Experimenten beobachtet wurden. Dennoch halten wir unsere Theorie für kompatibel mit Ideen aus dieser Literatur.

Unsere Theorie stellt ein Modell auf rechnerischer Ebene bereit, das Vorhersagen mit bestehenden speicherbasierten Modellen kompatibel macht, aber – im Gegensatz zu diesen Modellen – rational auf die reichhaltige statistische Struktur der Sprache abgestimmt ist und es ihr ermöglicht, vorherzusagen, wie Speicherbeschränkungen mit probabilistischen Erwartungen interagieren. Unsere Ergebnisse legen nahe, dass die Identifizierung probabilistischer Versionen assoziativer Retrieval-Modelle als Implementierungen des hier beschriebenen ressourcenrationalen Modells auf algorithmischer Ebene ein interessantes Problem für die psycholinguistische Forschung darstellt. Weitere Informationen zu den Auswirkungen unserer Ergebnisse auf abrufbasierte Speichermodelle finden Sie im SI-Anhang, Abschnitt S7.2.

Unsere vorgeschlagene Vereinheitlichung von erwartungsbasierten und gedächtnisbasierten Modellen basiert auf der Idee, dass unvollständige Arbeitsgedächtnisdarstellungen rational – wenn auch manchmal falsch – unter Verwendung von Kenntnissen über die Statistik der Sprache rekonstruiert werden. Diese Idee hat einen wichtigen Präzedenzfall in der Arbeit zur Redintegration im verbalen Arbeitsgedächtnis ( z. B. Lit. 51–55), ein Prozess, bei dem das beeinträchtigte Kurzzeitgedächtnis mithilfe von Wissen aus dem Langzeitgedächtnis wiederhergestellt wird. Dies wurde auf das Gedächtnis für Wortlisten (z. B. Lit. 52–55) und in jüngerer Zeit auf das Gedächtnis für syntaktische Muster (56) angewendet. Unser Modell bietet eine Darstellung solcher Prozesse, die auf Bayes'schen Schlussfolgerungen basieren und durch Ressourcenrationalität eingeschränkt werden. Es gibt auch Modelle, bei denen das Arbeitsgedächtnis nicht als eigenständige Komponente des Gedächtnisses, sondern als Ergebnis der Interaktion von Verarbeitung und Langzeitgedächtnis betrachtet wird (57, 58). Für solche Modelle liefern unsere Ergebnisse Daten darüber, wie Langzeitwissen die Verarbeitung beeinflusst .

Unsere Experimente nutzen statistische Korrelate syntaktischer Strukturen, um zu untersuchen, wie probabilistische Erwartungen mit Speicherbeschränkungen interagieren. Dies weist einige Parallelen zu früheren Arbeiten zu erwartungsbasierten Modellen auf, die zeigten, wie Korrelationen, z. B. zwischen Belebtheit und Relativsatztyp, die Verarbeitung auf eine Weise beeinflussen, die durch bestehende gedächtnisbasierte Konten nicht berücksichtigt wird (z. B. Lit. 59–61). Unsere Arbeit erweitert diese Arbeitsrichtung, indem sie eine implementierte Theorie der Interaktion zwischen Speicherbeschränkungen und probabilistischen Erwartungen formuliert.

Unser Modell hat einen freien Parameter δ, die durchschnittliche Anzahl der beibehaltenen Wörter. Bei der Ableitung von Vorhersagen und dem Vergleich mit der menschlichen Lesezeit gingen wir von einem einzigen Wert aus. Es für einzelne Subjekte anzupassen und seine Beziehung zu etablierten Maßen individueller Unterschiede zu verstehen, ist ein interessantes Problem für zukünftige Forschung.

Konnektionistische Modelle der menschlichen syntaktischen Verarbeitung (8, 62–64) zielen darauf ab, die menschliche Verarbeitung mithilfe von Erwartungen zu beschreiben, die aus Darstellungen neuronaler Netzwerke abgeleitet werden, und wurden vorgeschlagen, um Effekte zu modellieren, die sowohl mit Gedächtnisbeschränkungen als auch mit probabilistischen Erwartungen zusammenhängen. Die Unterschiede zwischen der durch GPT-2 berechneten einfachen Überraschung und der ressourcenrationalen verlustbehafteten Kontextüberraschung zeigen jedoch, dass menschenähnliche Gedächtnisbeschränkungen in konnektionistischen Modellen nicht automatisch auftreten müssen.

Wir haben gezeigt, wie ein Modell der ressourcenrationalen Sprachverarbeitung auf die reichhaltige statistische Struktur natürlicher Sprache skaliert werden kann. Unsere auf maschinellem Lernen basierende Methode könnte die Tür für die Anpassung anspruchsvoller rationaler Modelle an natürliche Eingabestatistiken und auch in andere Bereiche der menschlichen Kognition öffnen.

Die Allgemeingültigkeit unseres Modells legt auch nahe, dass ähnliche Phänomene auch außerhalb der Sprache existieren könnten: Immer wenn Menschen Eingaben verarbeiten, die zu komplex sind, als dass alle ihre Teile gleichzeitig bearbeitet werden könnten, sollte die Verarbeitung durch die statistische Struktur ähnlicher Eingaben beeinflusst werden.

Materialen und Methoden

Substantive. Wir haben Substantive gesammelt, die eine Satzergänzung annehmen können, indem wir die Penn Treebank (65), die englische Web Treebank (66), die AnCoRA Treebank (67) auf Spanisch und die HDT Treebank (68) auf Deutsch verwendet haben. Wir haben den Einbettungsbias als die logarithmische Wahrscheinlichkeit geschätzt, dass auf „das NOUN“ „das“ folgte, und zwar unter Verwendung der englischen Wikipedia (2,3 Milliarden Wörter), der deutschen Wikipedia (800 Millionen Wörter) und der spanischen Wikipedia (500 Millionen Wörter). Weitere Informationen finden Sie im SI-Anhang, Abschnitt S11. Wir haben die englischen Schätzungen anhand von zwei weiteren großen Korpora des amerikanischen und britischen Englisch validiert (SI-Anhang, Abschnitt S10.1).

Modell. Die ressourcenrationale verlustbehaftete Kontextüberraschung wird durch eine Familie von Aufbewahrungswahrscheinlichkeiten θ={qw, i: i, w} definiert, wobei w sich über Wörter erstreckt und i=1, ..., N, wobei N=20 ist die maximal berücksichtigte Kontextlänge, lang genug, um alle in den Experimenten auftretenden Kontexte aufzunehmen. Wir parametrisieren qw, I mithilfe eines neuronalen Netzwerks, das die Identität eines früheren Wortes und die Anzahl dazwischenliegender Wörter kombiniert, um eine Retention auszugeben Wahrscheinlichkeit (SI-Anhang, Abschnitt S1.1). Das Modell θ ergibt die Wahrscheinlichkeit p(c|c) und damit den Posteriorwert p(c|c). Es wird gewählt, um die durchschnittliche Nächste-Wort-Überraschung für das resultierende Nächste-Wort-Posteriori-p(w|c) zu minimieren:

Versuchsaufbau für Lesezeitstudien. Für alle Studien wurde das Versuchsprotokoll vom Institutional Review Board der Stanford University genehmigt. Von allen Teilnehmern wurde eine Einverständniserklärung eingeholt.

Jedem Teilnehmer wurden 10 kritische Versuche vorgelegt. In beiden Experimenten waren zwei Versuche in EINEM und vier Versuche in ZWEI und DREI. In Experiment 2 befanden sich jeweils die Hälfte der ZWEI und DREI Versuche im Zustand KOMPATIBEL (INKOMPATIBEL). Wir haben eine kleine Anzahl kritischer Versuche ausgewählt, um jegliche Auswirkungen der statistischen Anpassung an zentrale Einbettungen während der Aufgabe zu minimieren.

Um die statistische Präzision zu maximieren, haben wir 15 Substantive mit sehr hohem Einbettungsbias und 15 Substantive mit sehr niedrigem Einbettungsbias ausgewählt (SI-Anhang, Abb. S36). Für jeden Teilnehmer haben wir fünf Substantive mit hoher Einbettungsverzerrung und fünf Substantive mit niedrigem Wert ausgewählt und diese mit den zehn kritischen Versuchen abgeglichen. Für jeden Teilnehmer haben wir außerdem 30 Füllstoffe aus einem Pool von 56 Füllstoffen aus einer früheren Lesezeitstudie zu Zentrumseinbettungen beprobt (42).

Um semantische Anomalien aufgrund von Präsuppositionsverletzungen (z. B. „die Tatsache war falsch“) zu beseitigen, haben wir die Substantive in mitteilende (z. B. „Tatsache“), nicht mitteilende neutrale (z. B. „Behauptung“) und nicht mitteilende negative (z. B. „ „Anklage“) Substantive und klassifizierte Elemente zur Kompatibilität mit jeder dieser drei Klassen (SI-Anhang, Abschnitt S11). Für jeden Teilnehmer haben wir die 10 Substantive mit semantisch kompatiblen Elementen abgeglichen.

Für die Labyrinthaufgabe haben wir unter Verwendung des Gulordava-Sprachmodells (69) automatisch Ablenker generiert (39): Diese Ablenker haben eine äußerst geringe kontextbezogene Wahrscheinlichkeit, während sie in Häufigkeit und Länge mit dem Zielwort übereinstimmen. Ablenker wurden über alle Bedingungen hinweg abgeglichen, außer innerhalb der zweiten bis -letzte Verbphrase in den (IN)KOMPATIBELEN Bedingungen in Experiment 2. Insbesondere wurden Ablenker über alle Bedingungen hinweg mit dem kritischen Wort abgeglichen.

Wenn die Teilnehmer einen Fehler machten (z. B. den Ablenker wählten), wurden sie aufgefordert, das aktuelle Wort noch einmal auszuprobieren (70). Reaktionszeiten bei solchen Versuchen wurden ausgeschlossen; Diese Wahl hatte keinen Einfluss auf die Schlussfolgerungen (SI-Anhang, Abschnitt S3.6).

Für jedes Thema wurden die Versuche in zufälliger Reihenfolge präsentiert, sodass keine zwei kritischen Versuche nebeneinander lagen. Teilnehmer, die auf der akademischen Plattform Prolific rekrutiert wurden, brauchten durchschnittlich 13 Minuten und erhielten 2,20 £ (≈3 USD).

Datenanalyse für Lesezeiten. Wir haben Versuche ausgeschlossen, 1) mit einer falschen Antwort, 2) von Teilnehmern, die bei mehr als 20 % der Wörter Fehler machten und 3) bei weniger als oder mehr als 99 % aller Lesezeiten. Informationen zur Robustheit gegenüber Bedingung 1 finden Sie im SI-Anhang, Abschnitt S3.6, und zur Robustheit gegenüber Bedingung 3 siehe SI-Anhang, Abschnitt S3.7. Anschließend analysierten wir die logarithmisch transformierten Lesezeiten für die endgültigen verbusing Bayes'schen Mixed-Effects-Modelle, die in Stan (71) implementiert wurden. unter Verwendung von Armen (72). Siehe SI-Anhang, Abschnitt S3.3 für Priors und Robustheit gegenüber Prior-Entscheidungen. Als Kontraste verwendeten wir Kontrastkodierung mit Vorhandensein einer „das“-Klausel (EINS vs. ZWEI/DREI), Tiefe (ZWEI vs. DREI) und Kompatibilitätsmanipulation (KOMPATIBEL vs. INKOMPATIBEL). Der Einbettungsbias wurde zentriert und alle nicht leeren binären Interaktionen wurden als feste Effekte hinzugefügt (SI-Anhang, Abschnitt S3.2).

Wir haben die Struktur der maximalen Zufallseffekte einbezogen, die durch das experimentelle Design gerechtfertigt ist, indem wir Elemente, Substantive und Teilnehmer als Zufallseffekte eingegeben haben. Um die Auswirkungen auf die rohen Lesezeiten (Millisekunden) abzuschätzen, haben wir zunächst die vorhergesagte logarithmisch transformierte Lesezeit in beiden Bedingungen (z. B. KOMPATIBEL und INKOMPATIBEL) berechnet, dann beide durch Potenzierung in Millisekunden transformiert und die Differenz berechnet (siehe SI-Anhang, Abschnitt S3.4). für weitere Details). In Abb. 3 zeichnen wir den hinteren Mittelwert der vorhergesagten Lesezeit unter allen Bedingungen für Substantive mit Einbettungsbias auf, die mit „Tatsache“ oder „Bericht“ übereinstimmen. Fehlerbalken stellen die hintere SD dar.

Details zur Produktionsstudie. Wir konstruierten 28 Elemente der Form „Der XXX, der der Diplomat, der der Senator“ und wählten 12 Substantive aus, jeweils 6 mit sehr hoher oder sehr niedriger Einbettungsverzerrung. Für jeden Teilnehmer haben wir zufällig Elemente und Substantive gepaart. Die 12 kritischen Studien wurden in zufälliger Reihenfolge mit 27 Füllstoffen präsentiert. Der Alinguist kommentierte für jede bereitgestellte Vervollständigung manuell, ob die korrekte Anzahl an Verbalphrasen (drei) erzeugt wurde. Der Annotator war blind für die Identität des Substantivs.

Im Spanischen und Deutschen haben wir in jeder Sprache 20 Substantive mit sehr hohem oder sehr niedrigem Einbettungsbias ausgewählt und für jeden Teilnehmer 6 Substantive mit hohem und 6 niedrigem Einbettungsbias ausgewählt. Wie in der englischen Version haben wir für jeden Teilnehmer 12 Elemente zufällig mit den 12 Stichproben-Substantiven abgeglichen. Die Füllstoffe wurden aus dem englischen Experiment übersetzt.

Auf Deutsch konstruierten wir außerdem 12 Matrixsätze (z. B. „Klaus sagte das“) und ordneten sie zufällig Items und Substantiven für jeden Teilnehmer zu. Wir führten eine Bayesianische Versuch-für-Versuch-Logistik-Mixed-Effects-Analyse mit Einbettungsverzerrung als festem Effekt durch und zufällige Effekte von Substantiven, Items, Teilnehmern und (im Deutschen) Matrixsätzen. Einzelheiten finden Sie im SI-Anhang, Abschnitt S4.

Daten-, Material- und Softwareverfügbarkeit. Angepasste Retentionswahrscheinlichkeiten und Modellvorhersagen wurden in Zenodo (https://zenodo.org/record/6602698) (73), (https://zenodo.org/record/6988696) (74) hinterlegt. Anonymisierte Lesezeiten, Sprachproduktionsdaten und Quellcode wurden in GitLab (https://gitlab.com/m-hahn/resource-rational-surprisal) hinterlegt (75).

DANKSAGUNGEN. Wir danken dem Herausgeber und den Gutachtern für ihr konstruktives Feedback, das zur Verbesserung des Manuskripts beigetragen hat. Wir danken auch Judith Degen, Tiwalayo Eisape, Hailin Hao, Jennifer Hu, Dan Jurafsky, PengQian, Cory Shain, Shravan Vasishth, Tom Wasow, Ethan Wilcox und dem Publikum der CUNY-Konferenz zur Satzverarbeitung 2020 für hilfreiche Diskussionen und Rückmeldungen.

Referenz

1. N. Chomsky, Syntactic Structures (Mouton, Den Haag, 1957).

2. GA Miller, N. Chomsky, „Finitäre Modelle von Sprachbenutzern“ in Handbook of MathematicalPsychology, RD Luce, RR Bush, G. Galanter, Hrsg. (John Wiley, 1963), S. 269–321.

3. L. Frazier, „Syntactic complexity“ in Natural Language Parsing: Psychological, Computational, andTheoretical Perspectives, DR Dowty, L. Karttunen, AM Zwicky, Eds. (Cambridge University Press, New York, 1985), S. 129–189.
4. E. Gibson, Linguistische Komplexität: Lokalität syntaktischer Abhängigkeiten. Cognition 68, 1–76 (1998).

5. B. McElree, S. Foraker, L. Dyer, Gedächtnisstrukturen, die dem Satzverständnis dienen.J. Mem.Lang. 48, 67–91 (2003).

6. W. Tabor, B. Galantucci, DC Richardson, Auswirkungen lediglich lokaler syntaktischer Kohärenz auf die Satzverarbeitung.J. Mem. Lang. 50, 355–370 (2004).

7. RL Lewis, S. Vasishth, Ein aktivierungsbasiertes Modell der Satzverarbeitung als geschickter Gedächtnisabruf.Cogni. Wissenschaft. 29, 375–419 (2005).

8. MH Christiansen, MC MacDonald, Ein nutzungsbasierter Ansatz zur Rekursion in der Satzverarbeitung. Lang. Lernen. 59, 126–161 (2009).

9. J. Hale, (2001) „Ein probabilistischer früher Parser als psycholinguistisches Modell“ in Proceedings of the SecondMeeting of the North American Chapter of the Association for Computational Linguistics, NAACL 2001,L. Levin, K. Knight, Hrsg. (Association for Computational Linguistics, Stroudsburg, PA), S. 1–8.

10. R. Levy, Erwartungsbasiertes syntaktisches Verständnis. Erkenntnis 106, 1126–1177 (2008).

11. K. Rayner, AD Nun, Auswirkungen kontextueller Einschränkungen auf Augenbewegungen beim Lesen: Eine weitere Untersuchung. Psychon. Stier. Rev. 3, 504–509 (1996).

12. A. Staub, Die Auswirkung lexikalischer Vorhersagbarkeit auf Augenbewegungen beim Lesen: Kritische Überprüfung und theoretische Interpretation.Lang. Linguist. Kompass 9, 311–327 (2015).

For more information:1950477648nn@gmail.com