the emergence of a language in an evolving population of neural networks angelo cangelosi, domenico...
TRANSCRIPT
![Page 1: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/1.jpg)
The Emergence of a „Language“ in an Evolving Population of Neural Networks
Angelo Cangelosi, Domenico Parisi
![Page 2: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/2.jpg)
Überblick
• Pilzwelt
• Sprache
• Diskussion
![Page 3: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/3.jpg)
Pilzwelt
![Page 4: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/4.jpg)
Die Pilzwelt
• Essbare/Giftige Pilze: Fitness-Bonus/-Abzug• Pro Zyklus: 1 Bewegung (inkl. Essen ggf)• Nach 50 Zyklen: neue Pilze• Nach 750 Zyklen: Reproduktion und Tod• Nächste Generation:
Gewichte der Vorfahren (gewichtet nach Fitness) + Mutation (10% der Gewichte zufällig geändert)
Neuronale Netze navigieren durch eine quadratische Welt und essen dabei die Pilze, die sie finden.
![Page 5: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/5.jpg)
+
Die Pilzwelt
Essbarer/GiftigerPilz
![Page 6: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/6.jpg)
Netzarchitektur
![Page 7: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/7.jpg)
00: warten01: rechts drehen10: links drehen11: geradeaus gehen
Riechen(?) HörenSehen
Gehen Sprechen
Denken
Wenn Pilz auf Nachbarfeld:1111100000 (essbar) oder0000011111 (giftig)+ Rauschen (1 bit verändert)
Winkel zum nächsten Pilz (0..1 = 0-360 Grad)
Sprachoutput(010, 110, ...)
Sprachinput(010, 110, ...)
Netzarchitektur
![Page 8: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/8.jpg)
Essbarer Pilz zur Linken
Input: 0.25 1 1 1 1 1 0 0 0 1 0 ? ? ?Evtl.Output: 1 0 ? ? ?
![Page 9: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/9.jpg)
Giftiger Pilz im Rücken
Input: 0.5 0 0 0 0 0 1 1 1 1 0 ? ? ?Evtl.Output: 1 1 ? ? ?
![Page 10: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/10.jpg)
Unbekannter Pilz im Rücken
Input: 0.5 0 0 0 0 0 0 0 0 0 0 ? ? ?Evtl.Output: ???
![Page 11: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/11.jpg)
Sprache
![Page 12: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/12.jpg)
Zusätzlicher Faktor: Sprache
• Wortschatz: 0 0 0 .. 1 1 1 (8 Worte/Laute)
• Keine Syntax
• Genetisch bestimmt, kein Lernen
Eher Ähnlichkeit zu Tierlauten
![Page 13: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/13.jpg)
Fragen
• Wie verändert sich die Leistung der Netze durch Sprache?
• Evolutionärer Druck für Sprachverstehen?
• Evolutionärer Druck für Spracherzeugung?
![Page 14: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/14.jpg)
1. Versuch: keine Sprache
• Sprachinputs bleiben konstant auf .5
• Sprachoutputs werden ignoriert
?
![Page 15: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/15.jpg)
2. Versuch: gegebene Sprache
• Sprachoutput wird ignoriert• Sprachinput durch Experimentatoren
festgelegt:1 0 0 für essbare,0 1 0 für giftige Pilze unabhängig von der Entfernung
• Evolutionsvorteil, falls Signale verstanden werden 1 0 1 !
![Page 16: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/16.jpg)
3. Versuch: evolvierende Sprache
• Sprachinput = Sprachoutput eines anderen Mitglieds der Population, das den Pilz sehen kann
• Selektionsvorteil, falls- Inputs zu richtigem Verhalten führen- Outputs kohärent sind
1 0 1!
![Page 17: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/17.jpg)
Fitness nach 1000 Generationen
• Ohne Sprache:ca. 150 Punkte
• Gegebene Sprache:ca. 250 Punkte
• Eigene Sprache:ca. 250 Punkte (mehr Schwankungen)
?
1 0 1 !
!1 0 1
![Page 18: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/18.jpg)
Diskussion
![Page 19: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/19.jpg)
Fragen
• Wie verändert sich die Leistung der Netze durch Sprache?
• Evolutionärer Druck für Sprachverstehen?
• Evolutionärer Druck für Spracherzeugung?
![Page 20: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/20.jpg)
Fragen
• Wie verändert sich die Leistung der Netze durch Sprache?positiv
• Evolutionärer Druck für Sprachverstehen?
• Evolutionärer Druck für Spracherzeugung?
![Page 21: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/21.jpg)
Fragen
• Wie verändert sich die Leistung der Netze durch Sprache?positiv
• Evolutionärer Druck für Sprachverstehen?Korrekte Interpretation erlaubt effizienteres Pilzesammeln.
• Evolutionärer Druck für Spracherzeugung?
![Page 22: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/22.jpg)
Fragen
• Wie verändert sich die Leistung der Netze durch Sprache?positiv
• Evolutionärer Druck für Sprachverstehen?Korrekte Interpretation erlaubt effizienteres Pilzesammeln.
• Evolutionärer Druck für Spracherzeugung?Noch unklar! Trotzdem scheint eine sinnvolle Sprache zu entstehen.
![Page 23: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/23.jpg)
Warum Spracherzeugung?
• Erzeugung korrekter Signale ist altruistisch, d.h. sie wird nicht direkt belohnt.
• Ein Individuum hat also keinen Selektionsvorteil, wenn es verständliche Signale emittiert.
• Trotzdem scheinen sich (siehe Fitness) sinnvolle Signale durchgesetzt zu haben.
Warum?
![Page 24: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/24.jpg)
Sinnvolle Sprache?
Sprache ist effizient, falls:• Unterschiedliche Kategorien
unterschiedliche Signale erzeugen• Instanzen derselben Kategorie gleiche
Signale erzeugen• Dieselben Signale innerhalb der Population
benutzt werden(Clark 1993: Principle of Contrast)
![Page 25: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/25.jpg)
Ist die erzeugte Sprache effizient?
• Analyse der Sprache: allen Individuen werden giftige und essbare Pilze aus allen Perspektiven gezeigt
• Ergebnis:Konvergenz zu einem Signal für essbar und einem für giftig
• Interessant: Winkel wird korrekt als irrelevant für den Sprachoutput erkannt!
![Page 26: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/26.jpg)
Immer noch: Warum?
Hypothese:
Da sowohl Bewegung als auch Sprachoutput aus dem Hidden Layer gesteuert werden, wirkt sich die Selektion über korrekte Bewegungen indirekt auch positiv auf die Sprachausgabe aus
![Page 27: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/27.jpg)
00: warten01: rechts drehen10: links drehen11: geradeaus gehen
Riechen(?) HörenSehen
Gehen Sprechen
Denken
Wenn Pilz auf Nachbarfeld:1111100000 (essbar) oder0000011111 (giftig)+ Rauschen (1 bit verändert)
Winkel zum nächsten Pilz (0..1 = 0-360 Grad)
Sprachoutput(010, 110, ...)
Sprachinput(010, 110, ...)
Netzarchitektur
![Page 28: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/28.jpg)
Unterstützung für die These
• Die zuvor ignorierten Sprachoutputs der sprachlosen Population werden untersucht.
• Auch dort entstehen konsistente Signale!• Korrekter Sprachoutput entsteht also als
Beiprodukt korrekter Kategorisierung.• Burling 1993: „language has emerged from
cognitive capacities rather than from primate-level communicative behaviour“
![Page 29: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/29.jpg)
Ergebnisse
• Durch genetische Übertragung und Selektion entsteht ein in der Population gemeinsames Repertoire von Signalen.
• Die Signale sind ein Beiprodukt der internen Kategorisierung.
![Page 30: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/30.jpg)
Kritikpunkte
• Erklärung geht direkt aus Netzstruktur hervor
• Erklärung für Überleben der „günstigen“ Gewichte von Hidden Layer zu Sprachneuronen bleibt letztendlich offen
• Sprache entwickelt sich, auch wenn sie nicht muss?
![Page 31: The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi](https://reader034.vdocument.in/reader034/viewer/2022051819/55204d6849795902118be2d3/html5/thumbnails/31.jpg)
: )