Universität Salzburg, Institut für Computerwissenschaften

Proseminar Programmierpraktikum I Sommersemester 1999

Spiele mit Künstlichen Neuronalen Netzwerken (KNN)

Wiesbauer Gerald gerald.wiesbauer@sbg.ac.at Stürzlinger Manuela mstuerz@cosy.sbg.ac.at

Rettenbacher Christopher cretten@cosy.sbg.ac.at

Mayer August \underline{ags@gmx.net}

Projektbetreuer:

Dipl.Ing. Mag. Roland Schwaiger rschwaiger@cosy.sbg.ac.at

Version vom 23. März 1999

Zusammenfassung

Dieses Dokument beschreibt die Planung und Implementierung eines Backgammon-Spiels mit Java, wobei der Computergegner durch ein neuronales Netzwerk möglichst spielstark sein soll.

Inhaltsverzeichnis

1 Einleitung 2

1.1 Spielregeln Backgammon[EH96] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.1.1 Spielidee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.1.2 Würfeln und Ziehen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.1.3 Blockierte Felder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.1.4 Schlagen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.1.5 Wiedereinbringen geschlagener Steine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.1.6 Ausspielen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.1.7 Gammon und Backgammon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.8 Spielbeginn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.9 Dopplerwürfel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.2 Neuronale Netze[Hof93] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

A Protokolle 4 A.1 Protokoll vom 10. März 1999 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 A.2 Protokoll vom 17. März 1999 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

B Glossar 6

C Bibliographie 6

C.1 Inhaltsangaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 C.1.1 Temporal Difference Learning and TD-Gammon [Tes95] . . . . . . . . . . . . . . . . . . . 6 C.1.2 History and Principles of Neural Networks [Olm98] . . . . . . . . . . . . . . . . . . . . . 7

C.2 A ’neuronal’ Network that learns to play Backgammon[And88] . . . . . . . . . . . . . . . . . . . 8 C.3 Bücherliste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1 Einleitung

1.1 Spielregeln Backgammon[EH96]

1.1.1 Spielidee

Backgammon ist ein Spiel, bei dem zwei Spieler mit jeweils 15 Steinen auf einem Brett mit 24 Feldern spielen.Ziel des Spieles ist es, alle Steine vom Brett ins Aus zu spielen. Die Spielsteine haben eine bestimmte Startposition und müssen von dort aus alle in das Heimfeld gezogen werden. Das sind bei Weiß die Felder 1 bis 6, bei Schwarz die Felder 19 bis 24. Die Spieler ziehen deshalb immer in entgegengesetzte Richtung (Weiß von 24 nach 1; Schwarz von 1 nach 24), wobei sie auf ihrem Weg durch Blockaden des Gegners behindert werden können. Sind alle Steine im Heimfeld versammelt, dann können sie ausgespielt, das heißt durch würfeln aus dem Spiel genommen werden. Wer zuerst keine Steine mehr auf dem Brett hat, hat gewonnen.

1.1.2 Würfeln und Ziehen

Jeder Spieler würfelt vor seinem Zug mit zwei Würfeln und zieht die geworfene Augenzahl vorwärts (niemals rückwärts!).Als Beispiel nehmen wir an, Weiß hat in der Ausgangsstellung 6+5 geworfen. Er kann jetzt entweder zwei Steine mit jeweils einer Zahl (13 auf 7 und 13 auf 8) oder nur einen Stein mit beiden Zahlen spielen(24 auf 13). Welche der beiden Zahlen der Spieler dabei zuerst zieht, kann er sich aussuchen. Der Wurf muß aber immer vollständig ausgeführt werden, wenn das nicht durch eine Blockade des Gegners verhindert wird. Dabei darf man beliebig viele Steine seiner Farbe auf ein Feld stellen. Würfelt man zwei gleiche Zahlen, so nennt man dies einen ’Pasch’. Wird ein Pasch geworfen, gilt folgende Sonderregel: Die Augenzahl ist viermal auszuführen- mit einem, zwei, drei, oder vier Steinen.

1.1.3 Blockierte Felder

Ein Feld ist blockiert, wenn dort zwei oder mehr Steine des Gegners stehen. Auf ein blockiertes Feld kann nicht gezogen werden, man darf es jedoch überspringen. Kann nur eine der beiden gewürfelten Zahlen ausgeführt werden, muß die höhere Zahl ziehen.

1.1.4 Schlagen

Steine können nur geschlagen werden, wenn sie einzeln auf einem Feld stehen. Ein geschlagener Stein wird auf die Bar gestellt, das ist der Balken zwischen den Bretthälften. Im nächsten Zug muß er -wenn möglich- wieder ins Spiel gebracht werden.

1.1.5 Wiedereinbringen geschlagener Steine

Wenn ein geschlagener Stein auf der Bar steht, muß er zunächst wieder ins Spiel gebracht werden, bevor man mit einem anderen ziehen darf. Geschlagene Steine müssen von der Bar ins Heimfeld des Gegners gespielt werden. Hierbei landet ein Stein bei einer 1 auf dem 1er(24er) Punkt, usw. Auf vom Gegner blockierte Felder darf nicht gezogen werden.

1.1.6 Ausspielen

Mit dem Ausspielen darf erst begonnen werden, wenn alle 15 Steine im eigenen Heimfeld sind. Man spielt dabei so als gäbe es ein Feld 0, auf das alle Steine ziehen müssen. Sind von den höheren Punkten alle Steine ausgespielt,so müssen die entsprechenden Zahlen vom nächst niedrigeren Punkt ins Aus gespielt werden.

1.1.7 Gammon und Backgammon

Ein Spiel ist Gammon gewonnen, wenn eine Partei alle 15 Steine, der Gegner aber noch keinen Stein ausgespielt hat. Ein mit Gammon gewonnenes Spiel zählt doppelt. Hat der Sieger alle 15 Steine abgetragen, während er Gegner noch einen Stein auf der Bar, oder im Heimfeld des Siegers hat, dann zählt das Spiel dreifach, er hat Backgammon gewonnen.

1.1.8 Spielbeginn

Zu Beginn der Partie würfeln beide Spieler jeweils mit einem Würfel. Der Spieler der die höhere Zahl hat beginnt die Partie mit dem sich ergebenden Wurf.

1.1.9 Dopplerwürfel

Zu jedem Spiel gehört ein Würfel, der auf seinen Seiten die Zahlen 2, 4, 8, 16, 32 und 64 hat. Glaubt ein Spieler einen klaren Vorteil zu haben, nimmt er den Würfel und legt ihn mit der 2 oben auf die Spielfläche. Sein Gegner kann nun aufgeben, dies würde ihn einen Punkt kosten. Nimmt er die Herausforderung an, erhält er das alleinige Recht, bei einer Wende im weiteren Spielverlauf, ebenfalls zu verdoppeln. Auch diese Herausforderung kann angenommen, oder abgelehnt werden. Der Spielwert verdoppelt sich jedes mal.

1.2 Neuronale Netze[Hof93]

NN können als technische Umsetzung der Gehirnfunktionen verstanden werden. Der Aufbau der Nervenzellen in Gehirn weicht in auffälliger Weise von dem aller anderen Zellen des Körpers ab. Sie besitzen sogenannte Dendriten und Axone, die durch Synapsen verbunden sind. Dadurch entsteht zwischen den verschiedenen Neuronen eine hochgradige Vernetzung. Die synaptischen Verbindungenändern sich im Laufe der Zeit, dh neue Synapsen entstehen und alte verkümmern. Wenn ein Neuron aktiv ist, so feuert es kurze Spannungsspitzen, sog. Aktionspotentiale, die sich über das Axon zu den Synapsen fortpflanzen,ab. Zum Begriff des NN gelangt man, wenn man die beschriebenen Vorgängen zu einem stark vereinfachten, abstrakten Modell zusammenfaßt:

1. Aufbau einer Nervenzelle: Eine Nervenzelle besitzt viele Eingänge, nämlich die synaptischen Verbindungen, und einen Ausgang, nämlich das Axon.

2. Zustände einer Nervenzelle: Eine Nervenzelle kann zwei Zustände annnehmen: den Ruhezustand und den Erregungszustand.

3. Verbindungen der Nervenzellen untereinander: der Ausgang einer Nervenzelle führt zu den Eingängen anderer Nervenzellen.

4. Eingänge des Nervensystems: Einige Nervenzellen (z.B. Sinneszellen) können durch Umweltreize erregt werden.

5. Ausgänge des Nervensystems: Einige Ausgänge von Nervenzellen wirken(über Muskelzellen) auf die Umwelt ein.

6. Erregungsbedingung. Eine Nervenzelle geht in den Erregungszustandüber, wenn genügend viele ihrer Eingänge mit erregten Nervenzellen verbunden sind.

7. Unabhängigkeit der Nervenzellen: Der Zustand einer Nervenzelle ist allein durch die Verhältnisse an ihren Eingängen bestimmt. Die einzelnen Zellen arbeiten also unabhängig voneinander.

Ersetzt man in diesem Modell das Wort ’Nervenzelle’ durch ’Verarbeitungselement’, so sind wir bei den Begriff des NN angelangt.

A Protokolle

A.1 Protokoll vom 10. März 1999

• Projekt: Backgammon mittels Artificial Neural Networks • Ort: Hr. Schwaigers Büro

• Zeit: 18^{00}

• Anwesende:

– DI Mag.Roland Schwaiger

– August Mayer

– Gerald Wiesbauer

– Christopher Rettenbacher

– Manuela Stürzlinger

• Protokollführerin: Manuela Stürzlinger

• Themen:

– Wiederholung des administrativen Teils

– Quellen fuer Lehrmaterial(Java,UML,HTML,Latex)

– Präsentation der Web-Site unserer Projektgruppe

– Informationsmaterial ”Temporal Difference Learning and TD-Gammon“ ”Neural Networks “(s.S. 66) by Müller, Reinhardt

– Besprechung des Dokumentaufbaus bis Punkt Protokolle

• Aufgaben – Fotos der Projektmitarbeiter (fur Web-Site)

– Auseinandersetzen mit den Zeitungsartikel ev. auftauchende Fragen in Punkt Literaturuebersicht des Dokumentes vermerken

– Ausarbeitung des Dokuments bis Punkt Einleitung konkret:

∗ Titelseite Name des Projekts Name der Projektmitarbeiter

∗ Abstract kurze und prägnante Beschreibung des Projekts

∗ Einleitung Was ist Backgammon? Wie lauten die Spielregeln? Erscheinungsbild des Spielbrettes

• Ziele bis nächste Woche

– Gestaltung der Web-Site(Fotos)

– Lesen des Zeitungsartikels

– Ausarbeitung des Dokuments bis Dienstag, den 16.03.99 Abgabe per E-Mail(.dvi-File)an DI Mag. Schwaiger

A.2 Protokoll vom 17. März 1999

• Ort: Hr. Schwaigers Büro

• Zeit: 18^{00}

• Anwesende:

– DI Mag.Roland Schwaiger

– August Mayer

– Gerald Wiesbauer

– Christopher Rettenbacher

– Manuela Stürzlinger

• Protokollführer: August Mayer

• Themen:

– Administrative Themen

∗ Fotos für Webseite sind noch nicht eingetroffen. Vorschlag eines Gruppenfotos für die Projekt-Homepage.

∗ Bei Mail an Hr. Schwaiger im Subject ”PPKT 8: “ voranstellen

∗ Bilder als GIF oder JPEG in Dokument einbinden bzw. als GZIPte Postscript-Datei schicken

– Diskussion der Gestaltung des Papers ∗ Titelseite sollte eine separate Seite sein

∗ Inhaltsverzeichnis ist sehr gut

∗ Quellenangabe bei der Einleitung hinzufügen (\cite{...})

∗ Bilder für Spielfelder fehlen; es gibt auf einer Seite im Internet geeignete Illustrationen → Webmaster dieser Seite muß informiert werden, Referenz auf diese Seite

∗ Literaturverweise auf Bücher zu Backgammon-Taktiken hinzufügen; evtl. einige Taktiken selber lernen → Taktik-Spiel gegen Computer wäre vielleicht interessant

∗ Inhaltsangabe TD-Gammon: Was sind diese ”hand-crafted features“?

– Viel Information im Internet zu TD-Gammon verfügbar

– SNNS arbeitet nur bei mehr als 256 Farben

– Fragen zum Text ∗ Neuronen – verbundene Verarbeitungseinheiten

∗ TD(λ) – Formel, neuronales Netz als Minimumsuche, Attraktoren

∗ Diskussion der zwei ”concept features“

• Aufgaben – Gestaltung des Papers aktualisieren, notwendige Änderungen durchführen

– Einführung zu den Neuronalen Netzen (Oldstedt) auf der Projekt-Homepage durcharbeiten

– Glossar zu Begriffen wie Neuron, … anlegen

– Erste Überlegungen über die Umsetzung machen; GUI-Gestaltung (evt. Handzeichnungen); Repräsentation von Elementen, Zügen, Einstellungen (Gegner Mensch oder Computer) usw. Verwendete Umgebung: Java 1.2 / Swing / Java2D Aufteilung der Gruppe in GUI- und Engine-Team; 2 eigenständige Packages machen

– Literatur: Müller, Reinhardt: ”Neural Networks“

B Glossar

(TODO: Literaturverweise)

“abfeuern“: Das Umschalten des Ausgangs der Neuronen von 0 auf 1 wird als “feuern“ bezeichnet.

Algorithmus:

Eine Rechenvorschrift

Back-Propagation Networks:

Neuronale Netze die das Fehlersignal speziell auf die einzellnen Neuronen aufteilen

Fehlersignal:

Ein Signal das den Neuronen anzeigt ob sie etwas falsch machen

Gewicht (weight)

Parameter, der die Stärke der Verbindung zweier Neuronen beschreibt.

GUI:

Graphical User Interface, die von Benutzer sichtbare Oberflache des Programmes

Hopfield-Netz:

Neuronales Netz mit bidirektionalen Verbindungen zwischen den Neuronen

Inhibitorisches Signal:

inhibit = hemmen, ein Signal welches ein Neuron vom “feuern“ abhalt

JAVA:

Eine objectorientierte Programmiersprache

Kuenstliche neuronale Netze:

Ein auf den Computer simmuliertes neuronales Netz

Neuron Biologie: signalverarbeitende Nervenzelle, besteht aus Dendriten (Eingangsfasern), Axonen (Ausgangsfasern) und Zellkörper.

Ruckkopplung:

Das Ausgangssignal wird wieser an den Eingalg gelegt, es entseteht eine Schwingung mit der Resonanzfrwquenz des Kreises

TD-Gammon:

Implementierubng des TD-Algorithmus in ein Backgammon Spiel

C Bibliographie

C.1 Inhaltsangaben

C.1.1 Temporal Difference Learning and TD-Gammon [Tes95]

Dieser Text behandelt das Programm TD-Gammon von Gerald Tesauro, ein ”Backgammon-Lern-System“, das den TD(λ)-Algorithmus zum Lernen verwendet. Dabei spielt das Programm mit sich selbst, bewertet bei jedem Zug die aktuelle Spielsituation und modifiziert die Gewichte des Netzwerks zeitlich abgestuft anhand dieses Fehlersignals. Als Input des Netzes verwendet er neben der Spielposition auch einige ”handgemachte“ Werte.

Im Vergleich zu Neurogammon, das ein von Experten mit menschlichen Regeln trainiertes neuronales Netz realisiert, aber nur gute Fortgeschrittenen-Spielstärke erreicht, erreicht das Programm Weltklasseniveau und findet sogar einige optimale Züge selbständig. So hat eine von TD-Gammon gefundene Zugkombination die alte, in dieser Spielsituation verwendete bereits abgelöst.

TD-Gammon scheint in diesem Zusammenhang tatsächlich zu lernen, und der Autor beobachtet auch verschiedene Stufen der Wissensaneignung beim Lernvorgang, wie das Lernen von Grundzügen und einfachen Strategien (erste paar tausend Spiele), später von komplexeren Strategien (nach einigen zehntausend Spielen).

Fragen zum Text:

• Was sagt die Gewichtung (weights) aus?

• Wie funktioniert das neuronales Netz von TD-Gammon?

• Wie wirken die -two concept features- zusammen?

• Wie entscheidet TD-Gammon über seinen nächsten Zug?

C.1.2 History and Principles of Neural Networks [Olm98]

Die Theorie der KNN hat ihren Ursprung in einer Arbeit des amerikanischen Psychologen W. James, der Gedanken und Aktionen als Resultat von Spannungsverschiebungen im Gehirn interpretierte und Lernen als Modifikation der Pfade dieser Verschiebungen. In den nächsten Jahren bis 1910 wurde diese Theorie zum Standardmodell erweitert, das besagt, daß einzelne Gehirnzellen (Neuronen) Signale über Dendriten (”Eingangsfasern“) sammeln und bei Überschreitung einer Schwelle ein Signal abfeuern.

Zwischen 1938 und 1943 entstanden erste neurale Logiksysteme (N. Rashevsky – binäre logische Operationen im Gehirn; W. McCulloch, W. Pitts – ”Schwellwert-Logik“, ”Mehrwertige Logik“; Erfindung der sog. Gewichte, adaptierbare Parametersysteme und Trennung von der mathematischen Logik). In weiterer Folge trennten sich die Neurowissenschaftler in Artificial-Intelligence- (AI-) und KNN-Forscher (etwa 1963); die AI-Forscher erweiterten und abstrahierten die binäre zu pro- und präpositionaler Logik (Entwicklung der Programmiersprache LISP), während die KNN-Forscher weiter parameterbasierte Klassifizierungsmodelle entwickelten.

1949 formulierte Hebb eine Lernregel, die in etwa besagt, daß bei häufigerer Benutzung einer Verbindung zwischen Neuronen die Effizienz der Verbindung zunimmt. Farley und Clark simulierten 1954 erstmals ein solches Netz am M.I.T. auf einem frühen Elektronenrechner, wobei die Neuronen zufällig verbunden waren. 1956 bauten N. Rochester im IBM-Forschungslabor Poughkeepsie, New York, ein rückgekoppeltes Netz, indem sie die Ausgänge von Neuronen wieder zurück ins Netz führten; es zeigten sich hier erstmals Formen von Selbstorganisation. 1958 baute F. Rosenblatt ein selbstlernendes Netz, das er Perceptron nannte und das Regelmäßigkeiten im Eingangsmuster erkannte. Es benutzte Subnetze, die untereinander konkurrieren. Allerdings bauten diese Netze alle auf einer zufälligen Verschaltung der Neuronen, die sich als zu aufwendig und ressourcenverbrauchend herausstellte, sodaß eine natürliche Verwendung wenig wahrscheinlich ist.

B. Widrow und M. Hoff entwickelten 1960 das ADALINE-System, bei dem vor der Summation eine Gewichtung erfolgt. Sie stellten 1962 eine Lernregel auf, nach der aktive Verbindungen mehr zum Fehler beitragen. F. Rosenblatt kombinierte ebenfalls 1962 das ursprüngliche Perceptron mit dem ADALINE-System zum ”Klassischen Perceptron“. M. Minsky und S. Papert, Vertreter der AI-Richtung, schrieben schließlich 1969 ein Buch über die inhärenten Grenzen der Perceptrons, das zu einer Stillegung der Forschung auf dem Gebiet der KNN in den USA für einige Zeit führte.

J. Anderson und T. Kohonen veröffentlichten 1972 Schriften über assoziative Netze, die zur nächsten Entwicklungsstufe führten. Dabei produzieren mehrere Eingangssignale mehrere analoge Ausgangssignale. Weiter entwickelte K. Fukushima 1975 das Cognitron, das ähnlich dem Perceptron funktionierte, aber bei einigen Problemstellungen durch spezielle inhibitorische Signale besser funktioniert. Dieses Modell erweiterte er 1980 zum Neocognitron, das auch Musterverschiebungen toleriert.

J. Hopfield entwickelte 1982 in den USA einen neuen rückgekoppelten Netztyp, indem er bidirektionale Verbindungen zwischen den Neuronen verwendete, und löste einen neuen Forschungsschub auf dem Gebiet aus. D. Reilly, L. Cooper und Ch. Elbaum entwickelten ebenfalls 1982 sog. hybride Netze, die mehrere Netzebenen kombinierten. Dabei bewirkt die erste Ebene eine Verallgemeinerung der Informationen, die zweite eine Spezialisierung.

Drei unabhängige Forschergruppen entwickelten 1986 den Typ der assoziativen Backpropagation-Netzwerke, die Fehlerwerte auf spezielle Weise im Netzwerk verteilen. Dabei wird angenommen, daß näher am Ausgang liegende Neuronen mehr für den Fehler verantwortlich sind als näher am Eingang liegende. Dieser Typ von Netzen lernt relativ langsam.

1987 entwickelten S. Grossberg und G. Carpenter Netzwerke zur Erkennung von Regelmäßigkeiten, die sog. Adaptive Resonance Networks (ART). Hier wurde versucht, zu erkennen, ob ein Netzteil ein Muster nicht erkennt, indem positive Rückkopplung verwendet wird.

1990 schließlich entwickelte D. Olmsted das Mehrwertig-Logische Neurale Netzwerk, das nach dem Vorbild der retikulären Strukturen im Gehirn arbeitet und später zur Mustererkennung verwendet wurde.

C.2 A ’neuronal’ Network that learns to play Backgammon[And88]

Backgammon ist ein komplexes Brettspiel, das besonders geeignet für die Anwendung Neuronale Netze scheint, da die Zugauswahl in erster Linie auf Basis von Mustererkennung im Gegensatz zur expliziten ’Look-ahead’ Methode funktioniert. Dies folgt aus den nicht vorhersehbaren Würfelresultaten, die die Zugmöglichkeiten in einer typischen Spielsituation auf über 400 erhöhen. Der wichtigste Faktor, der die Effektivität des Netzes entscheidet, war die Methode, die bei der Kodierung der Information angewandt wurde, wobei die Hinzunahme von ’precomputed features’ eine signifikante Leistungssteigerung zur Folge haben. Das hier beschriebene Netz greift auf eine Datenbank zurück, die ca. 3000 ,teilweise bewertete Brettsituationen sowie daraus resultierende optimale Züge [-/+100] enthält. Da einige Spielprinzipien verhältnismäßig oft zum Einsatz kommen, benötigt man einen intelligenten Auswahlmechanismus, um ein ’overlearning’ zu verhindern. Das verwendete NN besteht aus 459 Input-Neuronen(je 18 pro Feld+Bar, sowie einige für pre-computed information) Auf die Hinzunnahme von ’hand-crafted features’ wurde bewußt verzichtet, einige einfache Bewertungsmechanismen jedoch hinzugenommen, da es für das Netz zu schwierig scheint in absehbarer Zeit aus der reinen ’Spielsituation’ einen Lerneffekt zu erzielen. Der Lernprozeß unterscheidet sich hier jedoch insofern vom ’standard back propagation lerning algorithmus’, als dem Netz auch nicht bewertete Spielzüge vorgeschlagen werden. Dabei wird -unter der Annahme, daß i.A. ungünstige Szenarien nicht bewertet wurden- ein zufälliges ’teacher signal’ [- 65/+35]erzeugt. Das Netzwerk wurde nach 4 Kriterien bewertet:

1. Performance beim Lernprozeß

2. Performance bei dem Netz unbekannten Situationen

3. Performance bei einem Wettkampf gegen ein konventionelles Programm

4. Performance bei einem Wettkampf gegen einen menschlichen Gegner

Das Netzwerk gewinnt in 60Vergleichszwecken herangezogenes konventionelles Backgammonprogramm. Beim Entfernen der ’precomputed features’ fällt die Erfolgsquote auf 41auf 4550von ’hidden units’, Schichten im NN oder Größe der Datenbank das Ergebnis kaum. Verstärkt man das NN durch die Bewertungsmechanismen von Gammontool, so wird die Effizienz des Systems erhöht. In der Verbindung von digitaler Technologie und NN scheint die Zukunft der AI zu liegen. Momentan erreichen NN jedoch nur mittelmäßiges Spielniveau da nur einzelne Spielsituationen bewertet, der daraus entstehende zukünftige Spielverlauf jedoch nicht berücksichtigt wird.

C.3 Bücherliste

Literatur

[And88] D[ana] Z. Anderson. Neural Information Processing, pages 794–803. American Institute of Physics, 1988.

[EH96] M[artin] B. Fischer E[nno] Heyken. Backgammon für Einsteiger, pages 7–18. Falken Verlag GmbH, 1996.

[Hof93] N[orbert] Hoffmann. Neuronale Netze, chapter 1.1. Vieweg, 1993.

[Olm98] David D. Olmsted. History and principles of neural networks. \underline{http://www.neurocomputing.org/history.htm} , 1998.

[Tes95] G[erald] Tesauro. Temporal difference learning and td-gammon. Comm. ACM, 38(3):58+, March 1995.