「新しいAI、うちも入れるか」を3分で決める3つのチェック

朝、新しいAIの発表がタイムラインに流れてくる。数字が並んでいる。

『うちも入れたほうがいいのか』。

そう思って、後で読もうとタブを開いたままにする。結局その日は、判断がつかないまま終わる。

翌週、また別の会社から新しいのが出る。タブがもう1つ増える。

この状態、しんどくないですか。

正直に言うと、私も同じでした。ニュースを開くたびに「これは押さえておかないと」と思って、記事を10本読んで、結局その日は何も進んでいない。

昨日も、まさにそれが起きました。

2026年9月3日、OpenAIが新しいモデルを発表したんです。数字がすごかった。あるテストで99.9%。別のテストで100%。記事の見出しには「AGI（人間並みの汎用的な知能）の時代へようこそ」という言葉まで並んでいました。

見た瞬間、『うわ、これは変えたほうがいいのか』と思いました。

で、発表ページの隅と、テストを作っている側の検証ページを開いてみたんです。

同じテストの点数が、62.7% と書いてありました。

「もう少し様子を見よう」の3日間に、失っているもの

数字の話をする前に、この状況で本当に減っているものの話をさせてください。

新しいAIが出るたびに検討していると、だいたいこうなります。

記事を読む。比較サイトを見る。無料で試す。社内に共有する。結論は「もう少し様子を見よう」。

かかった時間は、合計で数時間から数日。

でもこの間、今ある業務は1ミリも良くなっていません。毎月10時間かかっている転記も、毎週やっている集計も、そのまま残っています。

しかも、乗り換えた場合の話をすると、もう少し具体的に痛いです。

今回発表されたモデル、料金は前の世代の2.5倍でした。前の世代が、外部から使うときの料金で入力4ドル・出力20ドル。新しいほうが入力10ドル・出力50ドル。いずれも「100万トークンあたり」の値段です（トークンはAIが文章を数える単位で、日本語ならざっくり文字数に近い感覚です）。

同じ仕事をさせて、請求が2.5倍。

体力のある会社なら、試して外してもダメージは小さいです。1ヶ月使って「違ったね」で戻せる。

中小企業だと、その1回が重い。だからこそ、飛びつかない判断が要る。

そして「様子を見よう」は、判断ではなく先送りです。来月また同じところに戻ってきます。

必要なのは、その場で答えを出すための、確かめる順番です。

私が今回のリサーチで実際に使った3つを、そのまま渡します。

チェック1：「同じ条件で測った数字ですか」

さっきの99.9%の話に戻ります。

これは「ARC-AGI-3」という、AIの応用力を測るテストの点数です。ちなみに前の世代のモデルは、同じテストで7.8%でした。

7.8%が99.9%。飛躍がすごい。

ここで、テストを作って運営している団体（ARC Prize）が、自分たちで検証した結果を公開していました。それがこうです。

• 標準の測り方: 62.7%
• 発表した会社が用意した専用の測り方: 99.9%

同じモデル、同じテスト。測るときの周辺の道具立てが違うだけで、37ポイント動いています。

例えるなら、「うちの車、燃費リッター40キロです」という話に、「ただし平坦な直線を一定速度で走ったとき」と小さく書いてあるようなものです。嘘ではない。でも、あなたが毎日走る道での数字ではない。

『いや、そんな細かい注釈まで読めないよ』って思いますよね。

読まなくていいです。聞けばいいんです。

「これ、標準の条件で測った数字ですか？」

この1問だけ。提案してきた業者でも、社内の推進担当でも、AIに聞くのでも構いません。答えに詰まったら、その数字はまだ判断材料になっていない、というだけの話です。

ちなみに今回、この62.7%は隠されていたわけではありません。テストの運営元が自分から公開していました。探せば出てくる場所にあった。ただ、ニュース記事の見出しには99.9%しか載っていなかった、という話です。

チェック2：「新しい問題でも同じですか」

2つ目の数字、100%のほうです。

これはセキュリティ関連のテストでした。過去に見つかったソフトの弱点を、実際に突けるかどうかを試すもの。満点を取っています。

ただ、発表資料を読み進めると、その会社自身がこう書いていました。過去の弱点に触れた経験が結果に影響した可能性があるため、新しく作ったテストでも評価した、と。

要するに、答えを事前に知っていた可能性を、自分で疑ったわけです。ここは誠実だと思います。

で、直近3ヶ月に新しく見つかった問題だけで作り直したテストの結果が、**39.0%**でした。

100%が39%。

これも、そのモデルが弱いという話ではありません。前の世代は同じテストで11.5%だったので、3倍以上に伸びています。伸びは本物です。

ただ、「100%だから完璧」と読むのは間違い、というだけ。

これ、AIの話に限りません。

営業資料に「導入企業の満足度98%」と書いてあったら、いつのアンケートで、誰に聞いたのか。ツールの比較表で自社が全項目◎だったら、その項目を選んだのは誰か。

見るべきは、初めて見る問題での点です。過去問で満点を取った塾と、模試で点が出る塾は違います。

聞き方はこれです。

「新しいデータや、初めてのケースでも同じ結果ですか？」

チェック3：「誰が測りましたか」

3つ目は、地味ですが一番効きます。

今回の発表には、数学の難問を解くテストの点数も載っていました。97.6%。ほぼ満点です。

このテストを運営している団体（Epoch AI）は、自分たちのサイトにこう書いていました。

「OpenAIから資金提供を受けており、一部の問題への独占的なアクセスを許している」

自分から開示しているので、隠しているわけではありません。ただ、点数を見る側としては、知っておく必要がある情報です。

『じゃあ、その数字は信用できないってこと？』と思いますよね。

そこまでは言いません。「割り引いて見る」でいいです。

判断が変わるのは、比べる相手がいるときです。

今回、いろんな団体が測った数字の中で、測る側と測られる側が完全に別だったものが1つありました。Artificial Analysisという第三者機関が独自に測った総合点です。

結果はこうでした。

• 新しいモデル: 61.2点
• 前の世代: 60.9点

0.3点差。 ほぼ横ばいです。

料金は2.5倍。総合点は0.3点上。しかも他社のモデルのほうが数点高いという結果まで、発表した会社が自分のページに載せていました。

99.9%と100%の隣に、この数字も並んでいた。ただ、見出しにはならなかった。

聞き方はこれです。

「この数字、誰が測りましたか？ 測った人と作った人は別ですか？」

3つ通すと、答えはこうなりました

私が今回のリサーチでたどり着いた結論は、こうです。

画面を操作させる仕事と、長い資料を丸ごと読ませる仕事をさせているなら、乗り換えを検討する価値があります。それ以外なら、今は動かなくていい。

理由は3つ通した結果です。飛躍して見えた数字は条件付きだった。満点は新しい問題では39%だった。第三者が測った総合点は横ばいで、料金は2.5倍だった。

一方で、パソコンの画面を見ながら操作する能力と、本1冊どころではない長さの文章を一度に扱う能力は、明確に伸びていました。だから、そこを使う仕事なら別の話になる。

これ、3行で社内に通せる形になっていませんか。

「数字は条件付きでした。総合点は前の世代と横ばいで、料金は2.5倍です。ただ、うちの◯◯の作業だけは効きそうなので、そこだけ試させてください」

「後で調べよう」から、ここまで来られれば、その日のうちに片が付きます。

AIに3点チェックさせるプロンプト

とはいえ、毎回発表ページを英語で読むのは現実的じゃないです。

なので、AIに代わりに確かめてもらう枠を作りました。発表ページのURLか、記事の本文を貼って、そのまま使ってください。

次の発表内容を読んで、3点だけ確認してください。

【貼り付け】
（発表ページのURLまたは記事本文）

確認してほしいこと:
1. 目立つ数字は、標準的な条件で測ったものですか。
   特別な設定や独自の道具立てを使っていませんか。
   注釈があれば、その内容をそのまま引用してください。

2. その数字は、新しいデータや初めてのケースでも同じですか。
   過去のデータだけで測っていませんか。

3. その数字は誰が測りましたか。
   測った団体と、発表した会社の関係を書いてください。
   資金提供やデータ提供の関係があれば明記してください。

最後に、私の会社（業種・やりたいこと）にとって
「今すぐ検討する理由があるか / 今は不要か」を1行で。

分からない点は想像で埋めず、【要確認】と書いてください。

最後の一行は、毎回入れてください。AIは空欄をそれっぽい言葉で埋めてきます。埋めさせない。分からないところは「要確認」で返してもらう。

このプロンプト、AIの発表以外にも使えます。業者から届いた比較資料、ツールの提案書、広告のレポート。数字が並んでいるものなら、だいたい同じ3点が効きます。

なぜ、こんな話をするのか

正直に言うと、私も最初は99.9%で驚いた側です。

『これは記事にしないと』と思って、発表ページを開いて、数字を並べて、途中まで書きました。

で、念のためテストの運営元のページを見に行ったら、62.7%と書いてあった。

ああああ、、、ってなりました。あと1時間で、条件を書かないまま「99.9%です！」と発信するところだった。命は3センチくらい削れました。

この3つのチェックは、AIを疑うためのものじゃないです。

自分で「今は変えない」と決めきるためのものです。

新しいものが出るたびに検討するのは、真面目な人ほどやってしまいます。「乗り遅れたらどうしよう」が消えないから。

でも、乗り遅れて困るのは、その道具を使い倒している会社です。まだ毎月10時間の転記が残っている会社にとって、優先順位はそこじゃない。

今使っているAIで、目の前の1つを消すほうが先です。

そもそも最初の1本をまだ決めていない、という段階であれば、会社のAI、結局どれ？ 中小企業が最初の1つを選ぶための判断軸のほうが先に読む価値があります。

おわりに：判断できる材料を、3つだけ持っておく

新しいAIのニュースは、来月も再来月も出ます。これは止まりません。

止められるのは、そのたびに検討で時間を溶かすほうです。

• 同じ条件で測った数字ですか
• 新しい問題でも同じですか
• 誰が測りましたか

この3つを持っているだけで、「後で調べよう」がその場の結論に変わります。

全部やらなくていいです。次に「すごい数字」を見たときに、1つ目だけ聞いてみてください。

「これ、標準の条件で測った数字ですか？」

だいたい、これで半分は片が付きます。

「うちの業務だと、そもそもどこにAIを効かせるのが先か分からない」という場合は、相談に乗ります。30分あれば、今どの作業が毎月残っているのかを洗い出して、乗り換えより先に手をつける場所までお伝えできます。

30分の無料相談はこちら

この記事のまとめ

• 発表の数字は条件付きのことがある。99.9%の隣に、標準の条件で測った62.7%が載っていた
• 満点は「過去の問題」での話のことがある。新しい問題に変えたら100%が39%になった。誰が測ったかも見る（測る側が資金提供を受けている場合がある）
• 3つ通すと「うちは今動かなくていい」まで即答できる。まずは「標準の条件で測った数字ですか」の1問から

宮内章宏（みやうち あきひろ） 株式会社SmartFlow 代表取締役。AI活用・業務効率化コンサルタント。 元警察官。Google WorkspaceとAIを使った仕組み化で、中小企業の業務改善を支援しています。セミナー登壇130回以上、のべ8,000名以上の方にお伝えしてきました。

サービス内容 ／ お問い合わせ