AIがポケモンをプレイ、というデモや実験は以前、OpenAIやAI各社がやってましたが、今度は規模が違います。2000万件の対戦ログ、100チーム超が参加したNeurIPS 2025の公式コンペ「PokeAgent Challenge」——このベンチマークが明らかにしたのは、既存のAI評価では見えていなかったある能力の欠如でした。
AI研究と「ポケモン」の相性は意外にいい？
2016年、AlphaGoが囲碁の世界チャンピオンを破り、AIが複雑なゲームで人間を凌駕する時代が到来しました。チェスや将棋でもAIは人間を圧倒しています。しかし、これらのゲームには共通する特徴があります。盤面の情報がすべて公開されている「完全情報ゲーム」であるという点です。
ポケモン対戦の世界は、まったく異なる様相を呈します。対戦相手の手持ちポケモン6匹のうち、場に出ていない残りは見えません。相手がどの技を選ぶか、次のターンに交代するかどうかも分かりません。この「不完全情報」という壁が、現代AIにとって極めて厄介な障害となります。
さらに、ポケモン対戦には高度な心理戦が存在します。「相手はこちらの交代を読んで攻撃技を選ぶだろうから、あえて居座って攻撃しよう」——こうしたゲーム理論的推論の連鎖は、単純な計算力では太刀打ちできません。加えて、RPGとしてのポケモンでは、パーティ編成からアイテム管理、マップ移動に至るまで、数千ステップに及ぶ長期的な計画立案が求められます。
問題は、「不完全情報」「ゲーム理論的推論」「長期計画」という3つの難題を同時に、しかも現実的な規模で試せるベンチマークがほとんど存在しなかったことです。既存のAI評価環境は、これらの要素のうち1つか2つを扱うものが大半であり、3つすべてを大規模に組み合わせたものは極めて少なかったのです。
この空白を埋めるべく登場したのが、本論文で提案されたPokeAgent Challengeです。ポケモンの対戦システムとRPG環境を土台に、AIの意思決定能力を多角的かつ大規模に評価する枠組みです。AI研究の最高峰であるNeurIPS 2025のコンペティションとして実施され、世界中から100チーム以上が参加しました。
2つの試練：対戦トラックとスピードラン・トラック
PokeAgent Challengeは、性質の異なる2つのトラックで構成されています。
対戦トラック（Battling Track）
第1のトラックは、ポケモンの対戦そのものを舞台とします。このトラックの最大の特徴は、2,000万件を超える対戦ログという圧倒的なデータ量です。これらはオンライン対戦プラットフォームから収集された実際のプレイヤー同士の対戦記録であり、AIの学習素材として活用されます。
ポケモン対戦の難しさは、その意思決定の複雑さにあります。毎ターン、プレイヤーは4つの技から1つを選ぶか、控えのポケモンに交代するかを判断しなければなりません。一見シンプルに思えますが、相手の行動が見えない中での読み合いが絡むと、状況は一気に複雑化します。タイプ相性の有利不利、能力変化の蓄積、残りHP、控えポケモンの構成——これらすべてを考慮した上で、相手の意図を推測しながら最善手を選ぶ必要があります。
研究チームは、ヒューリスティック（ルールベース）、強化学習（RL）、大規模言語モデル（LLM）の3種類のベースラインAIを用意し、それぞれが高レベルの対戦能力を発揮できることを示しました。これにより、参加者は自らの手法をこれらのベースラインと比較しながら改善を進めることが可能となりました。
スピードラン・トラック（Speedrunning Track）
第2のトラックは、RPGとしてのポケモンを対象とします。いわゆる「RTA（リアルタイムアタック）」——ゲームをいかに早くクリアするかを競う課題です。
このトラックが測定するのは、長期的な計画能力（Long-horizon planning）です。ポケモンのRPGをクリアするには、戦闘だけでなく、どのルートでマップを移動するか、どのタイミングでどのアイテムを購入するか、どのポケモンを育成するか、といった無数の判断を数千ステップにわたって積み重ねなければなりません。1つの判断ミスが後々のプレイ全体に波及するため、先を見通した計画が不可欠です。
特筆すべきは、このトラックがRPGスピードランにおける世界初の標準化された評価フレームワークを提供している点です。研究チームはオープンソースのマルチエージェント・オーケストレーションシステムを開発し、LLMベースのアプローチをモジュール化して再現可能な形で比較できる環境を整備しました。これにより、異なる研究グループの手法を公平かつ透明に評価することが初めて可能となりました。
衝撃の結果：最新AIでもエリート人間には遠く及ばない
NeurIPS 2025で開催されたコンペティションには、100チーム以上が2つのトラックに参加しました。その結果は、AI研究者にとって謙虚さを突きつけるものでした。
対戦トラックでは、汎用AI（LLM）、専門AI（RL）、そしてエリート人間プレイヤーの間に、明確かつ大きな性能差が存在することが明らかになりました。
まず、GPT-4クラスの最新LLMは、ポケモン対戦の基本的な知識——タイプ相性や技の効果——はある程度理解しているものの、実戦での判断には大きな限界を見せました。特に苦手としたのが、想定外の局面への対応です。相手が定石から外れた行動を取った場合、LLMは柔軟に戦略を切り替えることが難しく、パターン化された応答に陥りがちでした。
強化学習モデルは、特定の対戦環境においてはLLMを上回る成績を収めました。大量の対戦データから学習したRLエージェントは、局所的な判断においてはより洗練された行動を選択できます。しかし、学習時に遭遇しなかった未知の戦略やポケモンの組み合わせに直面すると、その性能は大きく低下しました。
そして、トップレベルの人間プレイヤーは、いずれのAI手法をも大きく引き離しました。人間のエリートプレイヤーが持つ強みは、相手の意図を読む洞察力、試合の流れに応じた柔軟な戦略変更、そしてリスクとリターンを天秤にかけた大胆な判断にあります。これらの能力は、現時点のAIでは十分に再現できていません。
コンペティションの優勝チームの手法も論文中で詳細に分析されていますが、それでもなお人間のトッププレイヤーとの間には相当な開きが残っています。ポケモン対戦は、AIにとって依然として「未解決の問題」なのです。
既存ベンチマークでは測れない能力が浮き彫りに
本論文で最も注目すべき発見の1つは、ポケモン対戦で求められる能力が、既存のLLMベンチマークとほぼ直交しているという分析結果です。
研究チームは、BenchPressと呼ばれる評価マトリクスを用いて、ポケモン対戦の成績と、コード生成、数学的推論、言語理解といった従来のLLMベンチマークの成績との相関を調べました。その結果、両者の間にはほとんど相関が見られませんでした。
これは何を意味するのか。端的に言えば、「既存のテストで優秀なAIが、ポケモンでも強いとは限らない」ということです。コーディング能力や数学の問題を解く力がいくら高くても、不完全情報下での戦略的推論や、相手の心理を読んだ駆け引きには直結しません。
この発見は、AI研究における評価の盲点を鮮明に浮かび上がらせます。現在のLLM開発競争では、ベンチマークのスコアを上げることが主要な目標となっています。しかし、そのスコアが測定しているのは、AIの能力のごく一部に過ぎない可能性があります。ポケモン対戦という一見「遊び」に見える課題が、実は既存の評価体系では捉えきれない重要な知的能力——動的な環境での適応力、不確実性下での意思決定、対戦相手のモデリング——を測定しているのです。
この知見は、AI研究コミュニティに対して重要な問いかけを投げかけます。我々は本当にAIの「賢さ」を正しく測れているのだろうか、と。
「生きたベンチマーク」としての未来：AI研究はどこへ向かうのか
PokeAgent Challengeは、NeurIPS 2025のコンペティションで終わりではありません。研究チームは、このプロジェクトを「生きたベンチマーク（Living Benchmark）」として継続運用する方針を打ち出しています。
対戦トラックにはライブリーダーボードが設置され、研究者や開発者はいつでも自らのAIエージェントを登録し、他のエージェントや過去の記録と比較できます。スピードラン・トラックには自己完結型の評価環境が用意されており、手元で再現可能な実験が行えます。いずれも公式サイト（https://pokeagentchallenge.com）で公開されています。
この「生きたベンチマーク」という設計思想は、AI研究の評価のあり方に一石を投じるものです。従来のベンチマークは、一度公開されると固定化し、やがてAIがスコアを「攻略」してしまうことで評価としての意味を失う傾向がありました。一方、ポケモン対戦は対戦相手が常に変化し、メタゲーム（流行する戦術や構成）も進化し続けるため、静的な攻略が通用しにくいです。これは、AIの真の適応力を継続的に試す場として理想的です。
ポケモンという世界的に親しまれたゲームを題材にすることの利点も大きいです。専門的なAI研究の成果を、一般の人々にも直感的に理解してもらえます。「AIがポケモン対戦でどこまで強くなれるか」という問いは、研究者でなくとも興味を引くテーマでしょう。
より広い視点で見れば、PokeAgent Challengeが突きつけている課題は、ポケモンに限った話ではありません。不完全情報下での意思決定、長期的な計画、対戦相手の意図の推測——これらは、自動運転、金融取引、医療診断、外交交渉など、現実世界のあらゆる複雑な場面で求められる能力です。ポケモンという安全で再現可能な環境でこれらの能力を磨くことは、最終的にはAIが現実世界の難問に取り組むための基盤を築くことにつながります。
AIは「ポケモンマスター」になれるのでしょうか。その答えはまだ出ていません。ですが、その問いに挑み続けることこそが、次世代のAI研究を前に進める原動力となるのです。
注：著作権について補足すると、バトルトラックの基盤となっているPokémon Showdownは、任天堂・ポケモン社から正式な許諾を受けていないファン製のオンライン対戦シミュレーターです。キャラクター名やバトルシステムなどのIPを無断使用しているという意味では法的グレーゾーンに位置しますが、2021年の公開以降、任天堂がこれまで法的措置を取らずに黙認してきた経緯があります。
なお本コンペのスポンサーにはGoogle DeepMindも名を連ねており、学術研究としての性格が前面に出た企画です。
論文情報
タイトル：The PokeAgent Challenge: Competitive and Long-Context Learning at Scale
著者：Seth Karten, Jake Grigsby, Tersoo Upaa Jr ほか多数- 公開先：arXiv:2603.15563v2
プロジェクトサイト：https://pokeagentchallenge.com
