人間の手筋を学ぶ「まねっこ」— あなたの対戦ログが教材になる話
「きたえる」は自己対戦で強くなりますが、自己対戦には弱点があります。AI同士の対局に出てこない手は、永遠に学べないのです。人間の対戦を眺めていると、AIがやらない手がたくさん出てきます。あえて消さずに待つ。消えている連鎖のそばに、次の種をそっと置いておく。こういう"人間の手筋"を取り込むために作ったのが、人間模倣CPU「まねっこ」です。
33%の壁
まねっこの学習は、収集した対戦ログを再生して「この場面で人間はどの手を選んだか」を当てるクイズを大量に解かせる方式です。ところが最初のバージョンは、的中率が33%あたりでピタリと頭打ちになりました。データを4倍に増やしても変わらない。つまりデータ不足ではなく、AIに見せている盤面情報が足りないということです。
この状態のまねっこの強さは、「つよい」に対しての勝率がたったの1％。「かんたん」と五分五分の勝負をする雑魚でした。大幅な改善が必要なのは言うまでもありません。
人間は「どのパネルが消えている最中で、そこにどの色が繋がりうるか」「お邪魔が変換中で、何色が見えているか」を見て手を決めています。当時のまねっこにはそれが見えていませんでした。見えていないものは真似できません。
人間が見ているものを、見せる
そこで、人間プレイヤーが実際に使っている情報を特徴量として大幅に追加しました。消えている最中の連鎖にあと何手で合流できるか。連鎖の種がどこに転がっているか。直前の数手でカーソルがどこにいたか。お邪魔の変換で開示された色は何か。この拡張で的中率は44%近くまで伸び、連鎖が絡む場面に限れば半分以上の手を当てられるようになりました。人間の3択(トップ3)まで許せば8割。まねっこは、けっこう人間です。
おまけに「待つ」ことも覚えました。人間がスワップの手を止めている区間を「待ちの教師」として学習させたところ、落下してくるパネルを狙って待ち構える、実に人間くさい挙動をするようになりました。
この改善によって、「つよい」に対しての勝率が一気に75％を超えました。「かんたん」どころか「ふつう」が相手になりません。7連鎖、8連鎖といった大連鎖も普通に繰り出してきます。
ただ、今までのCPUが弱すぎた弊害で、人間がピンチに陥った時の対戦ログが足りていません。攻撃はそれなりに強くなりましたが、ゲームオーバー直前の粘りが雑魚のままです。
だから、対戦ログをください
まねっこの教材は、このゲームで遊んでくれた皆さんの対戦ログ(盤面操作の記録・表示名・匿名ID)です。オンライン対戦とCPU対戦のログを収集していて、上手い人のログは学習で少し重み付けされます。あなたの必殺の連鎖は、まねっこの必殺の連鎖になります。
まねっこが人間の手筋を覚えると、その手筋は自己対戦のスパーリング相手として「きたえる」にも流れ込みます。あなたと対戦する → まねっこが人間らしくなる → きたえるが強くなる → もっと強い相手とあなたが戦える。この循環を回すことが、"最強"への現在の作戦です。詳しい収集内容はプライバシーポリシーに書いてあります。それでは盤上でお会いしましょう。