\documentclass[a4paper]{article}

% Times-New-Roman font
\usepackage{times}

% german spelling and strings
\usepackage{german}
\selectlanguage{austrian}

% usage of umlauts without the crazy TeX escapes
\usepackage[latin1]{inputenc}

% use parskip instead of parindent
\setlength{\parindent}{0pt}
\setlength{\parskip}{5pt plus 2pt minus 1pt}

%
%titlepage

\title{Spiele mit Neuronalen Netzwerken}
\author{Wiesbauer~Gerald, Manuela~Stürzlinger, \\ Rettenbacher~Christopher, Mayer~August}

%
%
\begin{document}
%

\maketitle

\begin{abstract}
Dieses Dokument beschreibt die Planung und Implementierung eines Back\-gammon-Spiels mit Java,
wobei der Computergegner durch ein neuronales Netzwerk möglichst spielstark sein soll.
\end{abstract}


\tableofcontents


\section{Einleitung}
\subsection{Spielregeln Backgammon}

\subsubsection{Spielidee}
Backgammon ist ein Spiel, bei dem zwei Spieler mit jeweils 15 Steinen auf einem
Brett mit 24 Feldern spielen.Ziel des Spieles ist es, alle Steine vom Brett ins
Aus zu spielen. Die Spielsteine haben eine bestimmte Startposition und m"ussen von dort aus alle in das heimfeld gezogen werden. Das sind bei Wei"s die Felder 1 bis 6, bei Schwarz die Felder 19 bis 24. Die Spieler ziehen deshalb immer in entgegengesetzte Richtung (Wei"s von 24 nach 1; Schwarz von 1 nach 24), wobei sie auf ihrem Weg durch Blockaden des Gegners behindert werden k"onnen.
Sind alle Steine im Heimfeld versammelt, dann k"onnen sie ausgespielt, das hei"st durch W"urfeln aus dem Spiel genommen werden. Wer zuerst keine Steine mehr auf dem Brett hat, hat gewonnen.

\subsubsection{Würfeln und Ziehen}
Jeder Spieler würfelt vor seinem Zug mit zwei W"urfeln und zieht die geworfene Augenzahl vorw"arts (niemals r"uckw"arts!)Als Beispiel nehmen wir an, Wei"s hat in der Ausgangsstellung 6+5 geworfen. Er kann jetzt entweder zwei Steine mit jeweils einer Zahl (13 auf 7 und 13 auf 8) oder nur einen Stein mit beiden Zahlen spielen(24 auf 13). Welche der beiden Zahlen der Spieler dabei zuerst zieht, kann er sich aussuchen. Der Wurf mu"s aber immer vollst"andig ausgef"uhrt werden, wenn da"s nicht durch Blockade des Gegners verhindert wird. Dabei darf man beliebig viele Steine seiner Farbe auf ein Feld stellen.\\
W"urfelt man zwei gleiche Zahlen, so nennt man dies einen Pasch. Wird ein Pasch geworfen, gilt folgende Sonderregel: Die Augenzahl ist viermal auszuf"uhren- mit einem, zwei, drei, oder vier Steinen.

\subsubsection{Blockierte Felder}
Ein Feld ist blockiert, wenn dort zwei oder mehr Steine des Gegners stehen. Auf ein blockiertes Feld kann nicht gezogen werden, man darf es jedoch "uberspringen. Kann nur eine der beiden gew"urfelten Zahlen ausgef"uhrt werden, mu"s die h"ohere Zahl ziehen.


\subsubsection{Schlagen}
Steine k"onnen nur geschlagen werden, wenn sie einzeln auf einem Feld stehen. Ein geschlagener Stein wird auf die Bar gestellt, das ist der Balken zwischen den Bretth"alften. Im n"achsten Zug mu"s er -wenn m"oglich- wieder ins Spiel gebracht werden.

\subsubsection{Wiedereinbringen geschlagener Steine}
Wenn ein geschlagener Stein auf der Bar steht,mu"s er zun"achst wieder ins Spiel gebracht werden, bevor man mit einem anderen ziehen darf. Geschlagene Steine m"ussen von der Bar ins Heimfeld des Gegners gespielt werden. Hierbei landet ein Stein bei einer 1 auf dem 1er(24er) Punkt,usw. Auf vom Gegner blockierte Felder darf nicht gezogen werden.
\subsubsection{Ausspielen}
Mit dem Ausspielen darf erst begonnen werden, wenn alle 15 Steine im eigenen Heimfeld sind. Man spielt dabei so als g"abe es ein Feld 0, auf das alle Steine ziehen m"ussen. Sind von den h"oheren Punkten alle Steine ausgespielt,so m"ussen die entsprechenden Zahlen vom n"achst niedrigeren Punkt ins Aus gespielt wedren.
\subsubsection{Gammon und Backgammon}
Ein Spiel ist Gammon gewonnen, wenn eine Parei alle 15 Steine, der Gegner aber noch keinen Stein ausgespielt hat. Ein mit Gammon gewonnenes Spiel z"ahlt doppelt.\\
Hat der Sieger alle 15 Steine abgetragen, w"ahrend er Gegner noch einen Stein auf der Bar, oder im Heimfeld des Siegers hat, dan z"ahlt das Spiel dreifach, er hat Backgammon gewonnen.
\subsubsection{Spielbeginn}
Zu Beginn der Partie w"urfeln beide Spieler jeweils mit einem W"urfel. Der Spieler der die h"ohere Zahl hat beginnt die Partie mit dem sich ergebenden Wurf.
\subsubsection{Dopplerw"urfel}
Zu jedem Spiel geh"ort ein W"urfel, der auf seinen Seiten die Zahlen 2, 4, 8, 16, 32 und 64 hat. Glaubt ein Spieler einen klaren Vorteil zu haben, nimmt er den W"urfel und legt ihn mit der 2 oben auf die Spielfl"ache. Sein Gegner kann nun aufgeben, dies w"urde ihn einen Punkt kosten. Nimmt er die Herausforderung an, erh"alt er das alleinige recht, bei einer Wende im weiteren Spielverlauf, ebenfalls zu verdoppeln. Auch diese Herausforderung kann angenommen, oder abgelehnt werden. Der Spielwert verdoppelt sich jedes Mal.




\appendix

\section{Protokolle}

\section{Protokoll vom 10. März 1999}

\begin{itemize}
\item {\bf Projekt:} ~Backgammon mittels Artificial Neural Networks
\item {\bf Anwesende:}
 
     \begin{itemize}
     \item DI Mag.Roland Schwaiger
     \item August Mayer
     \item Gerald Wiesbauer
     \item Christopher Rettenbacher
     \item Manuela St"urzlinger
     \end{itemize}

\item {\bf Protokollf"uhrerin:} ~Manuela St"urzlinger
\item {\bf Themen:}
     \begin{itemize}
     \item Wiederholung des administrativen Teils
     \item Quellen fuer Lehrmaterial(Java,UML,HTML,Latex)
     \item Pr"asentation der Web-Site unserer Projektgruppe
     
     \item Informationsmaterial\\
     \mbox{\glqq Temporal Difference Learning  and TD-Gammon \grqq}\\
     \glqq Neural Networks \grqq (s.S. 66) by M"uller, Reinhardt
     
     \item Besprechung des Dokumentaufbaus bis Punkt Protokolle
     \end{itemize}

\item {\bf Aufgaben}
     \begin{itemize}
     \item Fotos der Projektmitarbeiter (fur Web-Site)
     \item Auseinandersetzen mit den Zeitungsartikel\\
     ev. auftauchende Fragen in Punkt Literaturuebersicht des Dokumentes vermerken
     \item Ausarbeitung des Dokuments bis Punkt Einleitung
     konkret:
          \begin{itemize}
          \item Titelseite\\
          Name des Projekts\\
          Name der Projektmitarbeiter\\
          \item Abstract\\
          kurze und pr"agnante Beschreibung des Projekts\\
          \item Einleitung\\
          Was ist Backgammon?\\
          Wie lauten die Spielregeln?\\
          Erscheinungsbild des Spielbrettes\\
          \end{itemize}
     \end{itemize}

\item Ziele bis n"achste Woche

    \begin{itemize}
    \item Gestaltung der Web-Site(Fotos)
    \item Lesen des Zeitungsartikels
    \item Ausarbeitung des Dokuments bis Dienstag, den 16.03.99\\
    Abgabe per E-Mail(.dvi-File)an DI~Mag.~Schwaiger
    \end {itemize}

\end{itemize}


\section{Bibliographie}

\subsection{Inhaltsangaben}

\subsubsection{Temporal Difference Learning and TD-Gammon \cite{Tesauro-1}}

Dieser Text behandelt das Programm TD-Gammon von Gerald Tesauro, ein "`Back\-gammon-Lern-System"', das den
TD($\lambda$)-Algorithmus zum Lernen verwendet. Dabei spielt das Programm mit sich selbst, bewertet bei
jedem Zug die aktuelle Spielsituation und modifiziert die Gewichte des Netzwerks zeitlich abgestuft
anhand dieses Fehlersignals. Als Input des Netzes verwendet er neben der Spielposition auch einige
"`handgemachte"' Werte.

 Im Vergleich zu Neurogammon, das ein von Experten mit menschlichen
Regeln trainiertes neuronales Netz realisiert, aber nur gute Fortgeschrittenen-Spielstärke erreicht,
erreicht das Programm Weltklasseniveau und findet sogar einige optimale Zü\-ge selb\-ständig. So hat
eine von TD-Gammon gefundene Zugkombination die alte, in dieser
Spielsituation verwendete bereits abgelöst. 

TD-Gammon scheint in diesem Zusammenhang tatsächlich
zu lernen, und der Autor beobachtet auch verschiedene Stufen der Wissensaneignung beim Lernvorgang, 
wie das Lernen von Grundzügen und einfachen Strategien (erste paar tausend Spiele), später 
von komplexeren Strategien (nach einigen zehntausend Spielen).
\par

Fragen zum Text:
\begin{itemize}
\item Was sagt die Gewichtung (weights) aus?
\item Wie funktioniert das neuronales Netz von TD-Gammon?
\item Wie wirken die -two concept features- zusammen?
\item Wie entscheidet TD-Gammon über seinen nächsten Zug?
\end{itemize}

\subsection{Auflistungen}

\bibliographystyle{alpha}
\bibliography{Backgammon}

\end{document}
