PS Einführung in die Bio-Informatik SS 1999 Growing Artificial Neural Networks

Christian Spielberger spielberger@vpn.at Rainer Trummer

rtrummer@cosy.sbg.ac.at

Ferdinand Schober fschober@cosy.sbg.ac.at

Version: 13. April 1999 Uhrzeit: 15:45 - 16:15

LV-Leiter: Schwaiger Roland, Dipl.Ing. Mag.

Zusammenfassung

Kurzbeschreibung: - Diese Abhandlung beschreibt verschiedene Modelle für die Umsetzung der organischen Gehirnstruktur und deren Prozesse in sogenannte künstliche Neuronale Netze (ANN - Artificial Neural Networks). Motiv für die Entwicklung von ANN ist es Probleme zu lösen, die für mathematische Methoden zu komplex sind. Die Idee dafür besteht darin, sich die Werkzeuge der Natur abzuschauen.

Im speziellen soll darauf eingegangen werden, wie diese Netze ohne äußere Einwirkung wachsen können.

Kapitel 1

Einleitung [?]

Schon zum Ende des 19. Jh entstanden erste Ansätze für ANN. Zahlreiche Forscher entwickelten diese ersten Ideen weiter. Heute gibt es unterschiedliche Modelle für ANN, von denen manche schon in bestimmten Bereichen eingesetzt werden (Mustererkennung, Robotersteuerung, Spracherkennung, Börsenkurse, ...).

Das ANN soll mit möglichst wenigen, vom Entwickler vorgegebenen Daten und Algorithmen, ausgestattet werden und sich in eine Richtung selbständig entwickeln, die zu einer möglichst brauchbaren Lösung führt.

William James veröffentlicht eine Theorie, in der er annimmt, daß das Gehirn aus zufällig angeordneten Verbindungen besteht, und daß Gedankengänge und Körperbewegungen auf elektrischen Strömen basieren.

Die Kernaussage, seiner Theorie ist, daß Verbindungen, die öfter benutzt werden gestärkt werden und somit weniger Widerstand für die Nervenströme bieten. Verbindungen, die nicht genutzt werden, verschwinden mit der Zeit.

James gab somit den Anstoß für die Forschungen in Richtung der ANN (Artificial Neural Networks). Eine Vielzahl von Modellen für ANN entstand, die in vielen Dingen ähnlich zu einander sind.

1.1 Biologische Grundlagen [?]

1.1.1 Neuronen

Es gibt viele Typen von Nervenzellen im Gehirn, die alle unterschiedliche Aufgaben erfüllen. Wir wollen davon nur zwei Arten genauer betrachten:

• die relativ großen, wie eine Pyramide aussehenden Pyramidenzellen, die sehr häufig im Gehirn vorkommen,

• und eine kleinere sternförmig aussehende Sorte (Stern- oder Gliazellen).

Nach neueren Erkenntnissen gibt es eine Arbeitsteilung zwischen beiden Zelltypen. Die Pyramidenzellen verarbeiten die elektrischen Impulse und die Sternzellen sichern dabei die Stoffwechselversorgung.

Die Sternzellen sind die Mittler zwischen Blutsystem und Pyramidenzellen und bilden somit die Blut-Hirn-Schranke. Außerdem tragen sie durch die Vorgabe der Wachstumsrichtungen entsheidend zur Entwicklung des Gehirns bei. Folgende Abbildung zeigt eine typische Pyramidenzelle:

Abbildung 1.1: Pyramidenzelle

Die kleinen, astartigen, mit stachelartigen Stellen besetzen Auswüchse der Nervenzellen heißen Dendriten und leiten den elektrischen Strom, den sie erhalten, an den eigentlichen Zellkörper (Soma) weiter. Der Zellkern speichert die elektrische Ladung. Überschreitet die Ladung einen bestimmten Grenzwert, so entlädt sich der Kern mit einem kurzen, hohen Impuls.

Dieser Impuls, den man Spike nennt, pflanzt sich vom Zellkörper auf dem Axon bis in die entferntesten Verzweigungen fort. Axone und benachbarte Dendriten anderer Neuronen können aufeinander zuwachsen und elektro-chemische Kontaktstellen (Synapsen) bilden.

Der Informationsfluß der Nervenzellen geht normalerweise vom Zellkern über das Axon durch die Synapsen auf die Dendriten zum Zellkern des anderen Neurons. Bidirektionale, rein elektrische Synapsen sind zwar bekannt, die chemischen Synapsen sind aber die Regel.

1.1.2 Synapsen

Die Verbindung zwischen dem Axon eines Neurons und dem Dendrit eines anderen Neurons bzw. einem Muskel wird Synapse genannt. An dieser Synapse sind die beiden Zellen durch einen kleine Spalt (ca. 200 nm) getrennt. Das sendende Neuron nennt man in diesem Zusammenhang presynaptisches, das Empfangende nennt man postsynaptisches Neuron. Diese Synapsen können auch direkt am Zellkörper auftreten, wie z.B. bei Muskelzellen.

Die Signale werden durch diese Synapse chemisch übertragen, wobei die elektrischen Impulse eine kleine Menge von einer speziellen Substanz freisetzen, die sogenannten Neurotransmitter. Diese überqueren den Spalt der Synapse und lösen am postsynaptischen Neuron eine Entladung aus.

Stark benutzte Synapsen wachsen und werden verstärkt, selten benutzte Synapsen werden mit der Zeit immer schwächer, dies stellt einen wichtigen Beitrag zum Lernprozeß dar.

1.1.3 Kodierung der Information

Der oben beschriebene Vorgang kann mit Mikroelektroden elektrisch gemessen werden. Eine Stimulation des Zellkörpers mittels Reizstromes bewirkt am Axon des Neurons aber nur eine Potentialerhöhung. Überschreitet der Reiz geringfügig einen Schwellwert, so folgen periodische Entladungen (Aktionspotentiale oder Spikes), deren Größe unabhängig von der Reizstromstärke ist.

Obwohl das resultierende Axonsignal damit von Natur aus binär ist, läßt sich auch nichtbinäre Information darin kodieren. Eine leichte Absenkung der Reizstromstärke bewirkt eine Verkleinerung der Impulsfrequenz der Spikes bzw. eine Vergrößerung der Zeitabstände zwischen den Spikes. Nimmt man für jeden Spike eine Einheitsladung an, die vom Axon zum Dendriten transportiert wird, so ergibt sich die mittlere Stromstärke am Dendriten, die der Reizstromstärke entspricht.

1.1.4 Biologisches Wachstum des menschlichen Gehirns

Die Komplexität des menschlichen Gehirns kann man durch die große Anzahl der Neuronen und deren Verbindungen untereinander erklären. Es gibt im Gehirn verschiedenste Arten von Neuronen, die alle jedoch nach dem gleichen Grundprinzip arbeiten.

Es wird angenommen, daß jedes Neuron im menschlichen Gehirn im Durchschnitt Signale von 10.000 anderen Neuronen erhält und seine eigenen Signale an bis zu 100 Neuronen weitersendet. Es gibt jedoch auch gewisse Neuronen, sog. Purkinje Zellen, die bis zu 80.000 Signale empfangen können. Eine einzige sogenannte Granule Zelle kann mit 50 oder mehr solcher Purkinje Zellen verbunden sein.

Die gesamte Anzahl von Neuronen im menschlichen Gehirn ist immens und kann nur geschätzt werden. Messungen in kleineren Gehirnregionen ergaben eine Dichte von ca. 150.000 bis 200.000 Neuronen pro mm^{2}, woraus auf eine gesammte Neuronenanzahl von ca. 3 ∗ 10^{10} geschlossen werden kann. Dies ergibt eine Höchstanzahl von 10^{15} synaptische Verbindungen, die sich in den ersten paar Monaten nach der Geburt entwickeln.

Die Information über diese Verbindungen kann nicht genetisch vererbt werden, da die Größe der DNA für diese Informationsmenge nicht ausreicht. Es wird daher stark vermutet, daß nur gewisse Grundstrukturen genetisch vererbt werden. Die weiteren Verbindung werden demnach höchstwahrscheinlich vom Gehirn selbst generiert. Wenn gewisse Gehirnstrukturen in diesem Stadium nicht entwickelt wurden, dann können diese auch zu einem späteren Zeitpunkt, obwohl sie voll funktionsfähig wären, nicht mehr gebildet werden. Z.B: Die Unterdrückung gewisser Sinneswahrnehmungen kann zu einer irreperablen Fehlentwicklung führen.

Der Mensch besitzt, im Gegensatz zu anderen Lebewesen, ein zu hohes Gehirn/Körpermasse Verhältnis, das nicht mit der erhöhten Signalmenge des menschlichen Körpers übereinstimmt. Es wird daher angenommen, daß gewisse Regionen des Gehirns, die offensichtlich keinerlei Funktionen erfüllen, einen wichtigen Teil zur allgemeinen Organisation im Gehirn beitragen.

Dadurch wird klar, daß es trotz intensivster Forschungen auf dem Gebiet der Neurologie noch ein weiter Weg bis zum vollständigen Verständnis des menschlichen Gehirns ist. Bei hohen Reizstärken geht die Zellaktivität in eine Sättigung über, die durch eine minimale (ca. 1 ms lange), nötige Regenerationszeit nach einem Aktionspotential (Spike) bestimmt wird. Damit ist die maximale Taktfrequenz der Neuronen auf einen relativ niedrigen Wert von ca. 1 KHz begrenzt.

1.2 Aufbau eines ANN

• Das ANN kann als gerichteter Graph dargestellt werden.

• Die Knoten des Graphen entsprechen den Neuronen.

• Die Kanten des Graphen entsprechen den Verbindungen der Neuronen untereinander.

1.2.1 Knoten - Neuronen

Die Funktion eines Neurons kann sich dynamisch ändern. Z.B. ein einfaches Neuron nach Warren McCulloh und Walter Pitts (1943) besteht aus einer Additionsoperation und einem Schwellwert-Komparator.

Zwei Eingangssignale werden addiert. Erreicht das Ergebnis einen Schwellwert, so wird an den Ausgang eine 1 weitergegeben. Mit einem Schwellwert von 2 hat man eine Und-Funktion mit einer 1 eine Oder-Funktion.

Man nennt diese Art von Logik threshold logic. Später wurden noch komplexere Neuronen-Modelle vorgeschlagen mit mehr Eingängen, Ausgängen und mehr Operationsgliedern. Zusätzlich erreicht man eine höhere Flexibilität indem man Rückkopplungen innerhalb des Neurons einführt.

Jedes Neuron hat jedoch nur einen Ausgang, der sich jedoch aufteilen kann.

1.2.2 Verbindungen

Ausgänge von Neuronen werden mit Eingängen anderer Neuronen verbunden. Hier gibt es grundsätzlich zwei Varianten:

• Verbindungen werden zufällig hergestellt.

• Alle Neuronen werden untereinander verbunden und bilden somit einen vollständigen Graphen.

Das so entstehende Netzwerk ist sehr unüberschaubar und sein Verhalten schwer vorher zu berechnen, zumal viele Rückkopplungen enthalten sind. Die Verbindungen können nun mit einer Gewichtung (weights) versehen werden. Das ist ein Multiplikator der das Signal auf dieser Verbindung abschwächt bzw. verstärkt. Durch diese Methode werden die Verbindungen bewertet. Das Verhalten des gesamten Netzwerks wird durch die Gewichtungen beeinflußt.

Abbildung 1.2: Fig.1.9. Entwicklung des Nervensystems in der menschlichen Hirnrinde, vom (links) Neugeborenen, (mitte) drei Monate alten und (rechts) zwei jahre alten Säugling Abbildung 1.3: Frequenzmodulierung und Dekodierung

7 Abbildung 1.4: Schwellwert Logik, UND Operation

Abbildung 1.5: Neuron mit Rückkopplung

Kapitel 2

Berichte

2.1 Formation of Neural Strucutes [?]

In dieser Abhandlung wird ein neuer Ansatz für das Wachstum von neuralen Strukturen vorgeschlagen.

Es wurde versucht, mit Hilfe von Diffusionsfeld-Modellen (siehe unten) zusammen mit genetischer Vererbung, neurale Systeme möglichst naturnah nachzubauen. Speziell wurde versucht einen virtuellen Roboter durch eine virtuelle Umgebung zu steuern. Diese Steuerung sollte die ANN übernehmen.

2.1.1 Diffusion field modeling

Das Diffusionsfeld Modell (DFM - diffusion field modeling) wurde bis dahin hauptsächlich für Bakterienmodellierung verwendet. Es beruht auf dem Grundsatz, daß eine simulierte Zelle in ein zwei- oder mehrdimensionales Gitter eingetragen wird.

Die Wahrscheinlichkeit der Ausbreitung der Zellen in Nachbarfelder wird mit der Variable η angegeben, wobei eine hohe Wahrscheinlichkeit durch einen hohen Wert repräsentiert wird.

Mit Hilfe dieses Modells können nicht nur Bakterien, sondern, wie in diesem Fall, auch Verzweigungsstrukturen für Verbindungen in 2D, sowie 3D-Räumen realisiert werden.

2.1.2 Wachstum des Neuronalen Netzes

Hier wird, im Gegensatz zu anderen Modellen, wenig genetische Vererbungen benutzt, sondern das Wachstum als Funktion der Umwelt angesehen. Es gibt eine klare Trennung zwischen den simulierten ´ Naturgesetzen´ und der genetischen Information, dadurch zeigt sich, ob ein ANN fähig ist, sich an seine Umwelt während seines Wachstums anzupassen, also ohne genetische Veränderung.

2.1.3 Wachstum der Verbindungen

Mit Hilfe des DFM werden die Verbindungen gebildet. Jede Verbindungseinheit wird über eine andere Verbindung mit der sogenannten Diffusionsmaterie (diffusion matter) versorgt, die nur dazu dient, um festzustellen ob das Wachstum möglich und gewollt ist.

Eine Verbindung die viel Diffusionsmaterie erhält wächst, eine Verbindung die wenig davon erhält wird im Wachstum unterdrückt. Verbindungen, die keinerlei Diffusionsmaterie erhalten, sterben ab. Dadurch wird Platz für neue Verbindungen frei.

2.1.4 Wachstum der Neuronen

In der Natur wachsen nicht nur die Verbindungen zwischen den Neuronen, sondern auch die Anzahl der Neuronen. In diesem Modell ist die Anzahl der Neuronen konstant bei fünf.

2.1.5 Neuronenmodell

Ein Neuron besteht hier aus einem Zellkern (Nucleus), aus Eingangsleitungen (Dendriten) und Ausgangsleitungen (Axone). Der Zellkern wendet eine von zwei Funktionen (S, S´ ) auf das Eingangssignal an. S läßt das Signal eins zu eins durch und S´ invertiert niedrige Signal zu hohe und umgekehrt hohe Signale zu niedrige. Welche von den beiden Funktionen zum Zug kommt, ist in den Erbinformationen festgelegt.

Bei den Dendriten gibt es zwei verschiedene Arten von Ästen. Zum Einen die excitory, zum Anderen die inhibitory Typen. Letztere kehren das Vorzeichen des Signals um.

2.1.6 Signalwirkung

Es gibt mehrere Signalquellen, die wie Sender wirken. Die Verbindungen (Dendrite, Axone) wirken wie Empfangsantennen. Umso näher eine Verbindung zu einer Signalquelle ist, desto stärker ist das Signal. Die Signalquellen können sowohl die Sensoren des virtuellen Roboters, als auch deren Motoren sein. Bei den Verbindungen ist festgelegt, daß Dendrite zu den Sensoren wachsen um das Eingangssignal für den Zellkern zu liefern. Die Axone hingegen wachsen zu den Motoren, um das Antriebssignal zu übertragen.

2.1.7 Lernfähigkeit

Die Lernfähigkeit hängt teilweise von der Anzahl und der Länge der Verbindungen ab, aber es wird auch zusätzlich sogenanntes ´ Verstärkendes Lernen´ (reinforcement learning) benutzt. Dieses beeinflußt sowohl Verbindungswachstum, als auch die Überlebensfähigkeit der Verbindung.

2.1.8 Sensormodell

Die Lichtquellen im virtuellen Raum beeinflussen die Sensoren des Roboters, woraufhin der Sender des Sensors ein Signal zu den Neuronen sendet. Die Stärke hängt von der Entfernung zur Lichtquelle ab, je weiter entfernt, desto schwächer ist das Signal, daß vom Sensor abgegeben wird. Die zweite Art von Sensoren sind die Berührungssensoren, die die Nähe des Roboters zu Hindernissen messen.

2.1.9 Motormodell

Die Motoren erzeugen eine Bewegung, deren Geschwindigkeit vom Signal abhängt, daß sie erhalten. Mit Hilfe unterschiedlicher Geschwindigkeiten der Motoren kann der Roboter gesteuert werden.

2.1.10 Genetischer Code

In den fünf verwendeten Neuronen gibt es jeweils 8 Bit Gencode, die mit 1 Bit Fehlerwahrscheinlichkeit pro Generation übertragen werden. Im Gencode ist festgelegt:

• Konstante η, die das Wachstum der Dendriten und Axone beeinflußt.

• Art der Dendriten (Excitory, Inhibitory)

• Type des Zellkerns (Transparent C, Inversion C´ )

• und ein Parameter, der das Lernen beeinflußt.

2.1.11 Durchführung der Simulation

Die Simulation wurde mit einem virtuellen Roboter mit 5 Neuronen in einem 16x26x12 Diffusionsgitter durchgeführt. Die simulierte Außenwelt bestand aus vier Lichtquellen und mehreren Wänden, die das Licht blockierten. Das Ziel bestand darin, daß die ANN den Roboter von einem Licht zum anderen, ohne Berührung von Wänden, steuern kann. Es wurde das Erreichen eines Lichts mit 100 Überlebenspunkten belohnt und die Kollisionen mit 10 Punkten Abzug bestraft. Es wurde festgelegt, daß aus dem Roboter bis zu 12 neue Generationen entstehen können.

2.1.12 Ergebnisse

Nach Abschluß der Simulation wurde festgestellt, daß 5 Neuronen mehr als ausreichend für diese Aufgabenstellung sind. Die Verbindungen können ohne Probleme mit dem Diffusionsmodell realisiert werden. Die genetische Information kann mit dem verwendeten Modell reduziert werden, indem die Umgebung Teile der Kontrolle übernimmmt. Es wurde nur ein einziger Roboter in der virtuellen Umgebung getestet, aber in Zukunft sollen mehrere Roboter realisiert werden, die untereinander Informationen austauschen.

Anhang A

Fragenaufstellung

Fragen der Version vom 17.03.99 15:45

• Maximale Anzahl der zur Zeit realisierbaren Neuronen?

Ein Schaltwerk aus fast 40 ∗ 10^{6} Neuronen ist geplant.[?]

• Sind Neuronen immer kombinatorische Schaltkreise?

nein

• Hauptanwendungsgebiete für ANN?

Mustererkennung, Börsenkurse, Spracherkennung, Roboterfußball, ...

• Gibt es bevorzugte Programmiersprachen für ANN?

nein

• Sind bereits ANN Beispielprogramme erhältlich?

ja, Stuttgarter Neural Network Simulator. http://www.informatik.uni-stuttgart.de/ipvr/bv/projekte/snns/snns.html

Fragen der Version vom 24.03.99 15:45

• Sollen die Fragen in dieser Liste (wie hier) mitgeführt oder jedesmal überschrieben werden ? mitführen

• Gibt es die Variante beim Festlegen der Verbindungen, wo jeder Knoten mit jedem anderen Verbunden wird wirklich ? Wie schauen dann die Ein-/Ausgänge der Knoten aus ? Ja, die n Knoten haben dann n-1 Eingänge und die Ausgänge teilen sich entsprechend oft auf.

• Inwieweit stimmt diese Skizze ?

Abbildung A.1: ANN als Teil eines Regelkreises ?

Stimmt. Der Trainingsalgorithmus besteht im Prinzip aus einer Tabelle, in der zu Eingangstuppel passende Ausgangstuppel gegenübergestellt werden.

• Kann der Threshold - Wert dynamisch geändert werden ? Der Threshold steckt in der genetischen Information, ob er sich ändert hängt davon

ab, ob sich in dem jeweiligen Modell der Gencode ändert. Fragen der Version vom 14.05.99 15:45

• Gibt es in diesem Proseminar auch mal was praktisches zu machen (z.B.: Programmieren) ?

Anhang B

Glossar

ANN Artificial Neural Network : künstliche neuronale Netze - Modell eines Nervensystems und dessen Umsetzung in ein technisches Netzwerk.

neural neu—ral [gr.-nlat.]: einen Nerv, die Nerven betreffend, vom Nervensystem ausgehend (Med.). manchmal auch: neuronal [?]

Neuron Neu—ron das; -s, ...onen (auch: ...one): Nerveneinheit, Nervenzelle mit Fortsätzen (Med., Biol.). [?]

Dendrit Den—drit [gr.-nlat.] der; -en: 2. verästelter Protoplasmafortsatz (vgl. Protoplasma) einer Nervenzelle (Med.). [?]

Protoplasma Pro—to—plàs—ma [gr.-nlat.] das; -s: Lebenssubstanz aller pflanzlichen, tierischen u. menschlichen Zellen. engl.: protoplasm [?]

Axon Axon [gr.] das; -s, -e u. -en: Neurit (Biol., Med.). [?]

Neurit Neu—rit der; -en -en: oft lang ausgezogener, der Reizleitung dienender Fortsatz der Nervenzellen (Med., Biol.). [?]

Synapse Syn—àp—se [gr.] die; -, -n: (Biol., Med.) 1. Kontakt-, Umschaltstelle zwischen Nervenfortsätzen, an der nervöse Reize von einem Neuron auf ein anderes weitergeleitet werden.

2. Berührungsstelle der Grenzflächen zwischen Muskel u. Nerv. [?]

Stimulus Sti—mu—lus der; -, ...li: a) Reiz, Antrieb; b) ein dem Sprechakt vorausgehender [äußerer] Reiz (Sprachw.). [?]

Habituation Ha—bi—tua—ti—on [...zion; lat.] die; -, -en: a) Gewöhnung (Med., Psychol.); b) physische u. psychische Gewöhnung an Drogen. [?]

Metabolismus Me—ta—bo—lís—mus [gr.-nlat.] der; -: 1. Umwandlung, Veränderung. 2. Stoffwechsel (Med., Biol.). engl.: metabolism [?]

Diffusion Dif—fu—si—on [lat.; ´ das Auseinanderfließen´ ] die; -, -en: 1. a) ohne äußere Einwirkung eintretender Ausgleich von Konzentrationsunterschieden (Chem.) [?]

reinforcement learning verstärkendes Lernen excitory dendrite dendrite, die das Signal ohne Änderung aufnehmen

inhibitory dendrite dendrite, die das Signal aufnehmen,jedoch dessen Vorzeichen invertieren

presynaptisches Neuron sendendes Neuron; (pre = vor)

postsynaptisches Neuron empfangendes Neuron; (post = nach)

Anhang C

Protokolle

C.1 Protokoll vom 17.3.1999, 15:45

Anwesend:

Roland Schwaiger

Rainer Trummer

Ferdinand Schober Christian Spielberger

• Bewertung der Version vom 10.3.1999:

– zu wenig Informationen

– zu ungenau

– folglich: Wir sollen es so schreiben, daß es ein Außenstehender verstehen würde.

• Beantwortung der Fragen vom 10.3.1999

• Aufgaben bis zum nächsten Termin: – Dokument in latex-format umschreiben.

– Titelseite und Literaturübersicht laut Beispiel auf PS-Homepage schreiben.

– Abstract und Protokoll einfügen

– im Text immer Verweise auf Literatur angeben

– Ausbesserung des Textes laut Korrektur

– Glossar ins Paper aufnehmen

– Artikel ´ Formation of Neural Structures´ genau durcharbeiten und zusammenfassen

Ende: 16:15

C.2 Protokoll vom 24.3.1999, 15:45

Anwesend: Roland Schwaiger Rainer Trummer Ferdinand Schober Christian Spielberger

• Bewertung der Version vom 10.3.1999: sehr viel besser

• Leitfaden zum Thema Wachstum von ANN: Growing ANN ist kein allgemein gültiger

Begriff. Vielmehr gibt es: – Network Growing

– Network Prunning

– Evolutionary Design

• Besprechung einiger Details wie:

– Addierer im Knoten mit beliebig vielen Eingängen

– Ausgangsfunktion

– Gewichtungen der Verbindungen

– Wahl der Verbindungen (zufällig oder vollständig)

– Realisierung des Thresholds mittels speziellen Knotens, der ein kontinuierliches

negaties Signal liefert.

• Aufgaben bis zum nächsten Termin:

– Dokument in latex-format umschreiben.

– Das ´ Lexirom-Mini´ ins Bib.-Verzeichnis aufnehmen.

– Zusätzlicher Abschnitt in der Einleitung über die biologischen Grundlagen.

– Wie funktioniert das Wachstum des Neuronalen Netzes in der Natur (Gehirn).

– Grundlagen der GA.

– Wie wächst ein ANN ?

– überwachtes und unüberwachtes Lernen (Robo-Cat)

– reinforcement learning.

Ende: 16:15