Učenje igranja igre štiri v vrsto z uporabo globokega spodbujevalnega učenja

Lušina, Domen (avtor), Guid, Matej (mentor)

Učenje igranja iger je ena izmed tem, s katero se raziskovalci s področja umetne inteligence ukvarjajo že od njenega začetka. Želimo ustvariti programe, s katerimi računalniku omogočimo inteligentno igranje iger. V zadnjih letih se za to vedno večkrat uporabljajo metode globokega učenja. AlphaZero je eden izmed algoritmov globokega spodbujevalnega učenja, ki je z velikim uspehom brez ekspertnega znanja naučil nadčloveško igrati šah, šogi in Go. V tem delu smo algoritem AlphaZero uporabili za učenje igre štiri v vrsto s poudarkom na raziskovanju vplivov vpeljave ekspertnega znanja na uspešnost delovanja programa. Predstavili smo več metod vpeljave ekspertne hevristike igre štiri v vrsto v fazo učenja algoritma AlphaZero. Uporabili smo več ekspertnih hevristik in različne metode vpeljave ekspertnega znanja. Evalvacija je potekala na vnaprej pripravljenih množicah pozicij iz različnih stadijev iger, s pomočjo iger s popravljanjem potez ter z igranjem proti nasprotnikom različnih težavnosti, vključno z optimalnim nasprotnikom. S hevristiko značilk, ki med drugim spodbuja povezovanje žetonov v vrsto, smo dosegli rahlo izboljšavo rezultatov.

• Jezik: Slovenski jezik
• Ključne besede: umetna inteligenca, globoko učenje, spodbujevalno učenje, drevesno preiskovanje Monte Carlo, nevronske mreže, ekspertna hevristika
• Vrsta gradiva: Magistrsko delo/naloga
• Organizacija: FMF - Fakulteta za matematiko in fiziko
• Leto izida: 2021
• PID: 20.500.12556/RUL-124785
• Datum objave v RUL: 18.02.2021

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: Learning to play the game of connect four with deep reinforcement learning

Izvleček

Learning to play games has been a topic of interest to researchers since the early days of artificial intelligence. The goal is to create programs that enable computers to play games intelligently. In recent years, we have seen deep learning being used more and more. AlphaZero is one of the deep reinforcement learning algorithms that has achieved superhuman level of play in Chess, Shogi and Go without any domain knowledge. In this paper, we used AlphaZero to learn how to play the game Connect Four, with a focus on using expert knowledge to improve it. Several methods are presented that introduce expert heuristics into the learning phase of the AlphaZero algorithm. Using field and feature heuristics, we analyzed different methods on sets of positions, games with error corrections, and four different opponents, one of which plays optimally. By using the feature heuristic, which encourages connecting game pieces, we were able to slightly improve the results of the position sets as measured by various metrics.

• Ključne besede: artificial intelligence, deep learning, reinforcement learning, Monte Carlo tree search, neural networks, expert heuristic