"最強"のパネポンAIを作りはじめた
このゲームを作った理由は単純で、ちょうどいい強さの対戦相手がいなかったからです。人間の対戦相手を常時確保するのは難しい。既存のCPUは物足りない。ならば、自分に合わせて育つ対戦相手を自分で作ればいい — そうして生まれたのが「きたえる」です。
ルールを教えないという選択
昔のパズルゲームのCPUは、「こういう形なら消せる」「危なくなったら消せ」というルールを人間が書いて作ります。本家パネポンもそうでしょう。でもそれでは、書いた人間より強くなりません。私が作りたいのは少なくとも私より強いAIなので、この道は最初からありませんでした。
採用したのは、盤面の良し悪しを数値で答える小さなニューラルネットワークに、自己対戦で強くなってもらう方式です。パラメータ数は約6万2千。囲碁や将棋のAIに比べれば豆粒のようなサイズですが、その代わりブラウザの中で1手1ミリ秒で考えられます。アクションパズルは思考の速さも実力のうちなので、これは大事なところです。
最初の3分間
学習はまず、既存CPU「つよい」の棋譜60試合を見よう見まねするところから始めました。これだけで「ふつう」に9割勝てるようになります。ここから自己対戦に切り替えて、勝てば報酬、負ければ罰、を延々と繰り返す。1時間に約4,500試合を消化します。
設計段階では「意味のある強さになるまで8時間はかかるだろう」と悲観していたのですが、フタを開けてみると自己対戦3分で「つよい」への勝率が6割を超えました。この瞬間がこのプロジェクトで一番テンションが上がった瞬間かもしれません。「やるやん」と思いましたね。
チャンピオン制度
学習は続ければ必ず強くなる、というものではありません。調子を崩して弱くなることもあります。そこで「現チャンピオンに勝ち越し、かつ標準CPUにも弱くなっていない」個体だけを新チャンピオンとして昇格させる、ラチェット式の世代交代制度を入れました。ゲーム内の「きたえる」は常にその時点のチャンピオンです。この日記を書いている時点で第2世代。行けるところまで行くつもりです。
最強のCPUを作るのが目的なので、「きたえる」戦では、人間が負けてもCPUのレートは下がりません。CPUだけでなく人間側も鍛えられてほしい、手加減は不要、という思想です。皆さまに公開するバージョンでは丁度良い強さのCPUを演出するため人間が負けた場合はCPUのレートを下げるようにする予定です。