Maskininlärningsmetoder tillämpade på StarCraft 2 - En undersökning av reinforcement och imitation learning

Abstract

Inom artificiell intelligens, som kontinuerligt utvecklas, har maskininlärning tagit en central roll. Medan regelbaserad AI varit tillräcklig för att lösa grundläggande uppgifter behöver dagens utmaningar mer avancerade metoder. Arbetet undersöker olika tekniker för att utveckla avancerad artificiell intelligens till spelet StarCraft 2, och jämför dem mot varandra. Totalt utvecklades tre agenter. De första två baserades på en reinforcement learning-metod kallad Advantage Actor Critic (A2C) där den andra även inkluderade imitation av en interaktiv expertpolicy. Den tredje var en behavioral cloning-agent (BC), som är en sorts imitation learning, tränad på en datamängd förgenererad av en expertpolicy. A2C med imitation resulterade i den högsta vinstandelen på 73;4% mot den svåra inbyggda AI:n medan BC-agenten enbart uppnådde en vinstandel på 17 %. Den grundläggande A2C-agenten kunde enbart vinna mot den mycket lätta AI:n. Slutsatsen är att de agenter som använde sig av imitation learning presterade bättre än den som enbart använde reinforcement learning, möjligtvis på grund av en otillräcklig implementering av A2C.