ChatGPT、Gemini、Claude の無料版に、同じことをやらせて比べるシリーズの第2回です。
今回は、長い PDF を要約させました。41ページ、約3万7千字の報告書です。
長い資料を AI に渡すと、途中までしか読まれていないことがあります。それを確かめるつもりで、最初・真ん中・最後に答え合わせ用の事実を仕込みました。
結果は、3つとも最後のページまで読めていました。差が出たのは、まったく別のところです。PDF を作った自分も気づいていなかった数字の食い違いに、1つの AI だけが、頼まれる前に気づきました。
試した条件
| ChatGPT | Gemini | Claude | |
|---|---|---|---|
| 使い方 | 無料アカウント | 無料アカウント | 無料アカウント |
| モデル | GPT-5.6 Luna | 3.6 Flash | Sonnet 5.5 |
| 試した日 | 2026年10月4日 | ||
第1回では、ChatGPT はログインなしで画像を読ませられました。ところが PDF を送ろうとすると、ログインを求められました。そのため今回は、3つとも無料アカウントでログインしています。
どれも新しいチャットで始めて、同じ PDF に同じ質問を、同じ順番で入れました。試したのは1回ずつです。
試したもの
架空の「みほん町 第三町内会」の、1年分の活動報告書を作りました。月ごとの清掃、防犯、子ども会、見守りの記録が続く、よくある報告書です。表紙には、テスト用の架空の文書だと書いてあります。
答え合わせ用に、次の4つを散らしてあります。
| 仕込んだこと | 正解 | ページ |
|---|---|---|
| 今年度の会長 | 山吹 さくら | 3（最初） |
| 夏祭りのかき氷 | 324杯、48,600円 | 16（真ん中） |
| 防災倉庫の鍵の置き場所 | 2月15日から、副会長の家 | 34（後ろ） |
| 来年度の会費 | 月250円 | 41（最後） |
会費には、引っかけを入れています。3ページと4ページでは「今年度は月200円のまま据え置き」と書いてあり、最後のページで「来年度から月250円に上げる」と決まります。途中までしか読めていなければ、「200円」と答えるはずです。
入れた質問は、次の3つです。
① このPDFを400字くらいで要約してください。
② 次の4つに答えてください。分からないときは「分からない」と書いてください。
1. 今年度の会長の名前は？
2. 夏祭りのかき氷は何杯売れて、売上はいくらでしたか？
3. 防災倉庫の鍵は、いつから、どこに置くことになりましたか？
4. 来年度の会費はいくらになりますか？
③ このPDFは全部で何ページですか？最後のページの見出しと、そこに書かれている決定事項を教えてください。結果
| ChatGPT | Gemini | Claude | |
|---|---|---|---|
| 要約 | 合格 | 合格 | 合格 |
| 4つの質問 | 4問正解 | 4問正解 | 4問正解 |
| ページ数と最後のページ | 正解 | 正解 | 正解 |
| 数字の食い違いに、自分から気づいたか | 気づかなかった | 気づかなかった | 気づいた |
| 聞いたあとの答え | 例を1つだけ | 12か月すべて | （聞く前に指摘済み） |
| 出典の示し方 | ファイル名の印 | ページ番号 | なし |
| かかった時間 | 要約 約10秒、ほか2〜3秒 | 約4秒 | 約3〜4秒 |
最後のページまで、3つとも読めていた
4つの質問は、3つとも全問正解でした。会費の引っかけにかかったものもなく、どれも「月250円」と答えています。
ページ数も、3つとも41ページと正しく答えました。最後のページの見出しと、そこに書かれた3つの決定事項（会費を上げる、お知らせをメールでも送る、次の総会の日時と場所）も、全部合っていました。
ChatGPT は、答えの横に PDF のファイル名の印を付けて、どこから読んだかを示していました。
Gemini の無料版は、一度に扱える量が32,000トークンと、ほかより小さめです。今回の PDF は、それを超えるかどうかという長さにしました。それでも、最後のページの内容まで正しく答えていました。
ただ、ページ数の答えには「（おわり）が書かれたページを除く…」という、意味の通らない注釈が付いていました。41ページという数は合っています。
要約は、3つとも400字前後で、大きな間違いはありませんでした。入れる内容の選び方が少しずつ違い、Claude は会長の名前と鍵の移動まで入れ、Gemini は「397字」と字数まで書いていました。
頼まれる前に気づいたのは、Claude だけ
Claude の要約は、最後にこう書いていました。
なお、各月の「会計メモ」と巻末の年間会計表では、収入・支出の数字が一致していない月が多く見られます（例：4月は237,000円／173,000円と240,000円／194,000円）。実際に使う場合は確認が必要です。
これは、仕掛けではありません。PDF を作るときに、月ごとの会計メモと巻末の表の数字を、別々に作ってしまっていました。確かめると、12か月すべてで、収入か支出のどちらかが合っていませんでした。
作った自分も気づいていなかったミスです。それを、要約を頼んだだけの Claude が、40ページの中から見つけてきました。
ChatGPT と Gemini は、要約の中でこのことに触れていませんでした。
聞かれたあとの答え方も、3つで違った
そこで、ChatGPT と Gemini にも聞いてみました。
各月の「会計メモ」に書かれている収入と支出は、巻末の「年間の会計報告」の表と合っていますか？ChatGPT は「すべては合っていません。異なる月があります」と答え、8月の例を1つ挙げました。例の数字は正しいのですが、「異なる月がある」という言い方では、12か月すべてがずれていることまでは伝わりません。
Gemini は「すべての月で金額が異なっています」と答え、12か月分の数字を全部並べました。24組の数字はすべて正しく、3月だけは「収入は一致、支出は不一致」と、細かいところまで合っていました。それぞれの数字に、ページ番号も付いています。
聞いたあとの答えでいちばん詳しかったのは、Gemini でした。
自分から気づいたのは Claude、聞かれてから全部調べ上げたのは Gemini、という分かれ方です。
おまけ：まとめ直しを頼んだら、1問抜けた
ChatGPT に「ここまでの質問と答えを、コピーできるようにまとめて」と頼んだところ、4つの質問のうち、会費の1問が抜けて3問分しか出てきませんでした。要約も入っていませんでした。
PDF の読み取りとは別の話ですが、AI にまとめ直しを頼むと、項目が抜けることがあります。答えを残しておきたいときは、画面からそのままコピーするほうが確実です。
分かったこと
40ページくらいなら、無料版でも最後まで読める
今回の長さでは、3つとも最後のページまで読めていました。「途中までしか読まれていないのでは」という心配は、少なくともこのくらいの長さでは、いりませんでした。
もっと長い資料や、図や表の多い資料では、また違う結果になるかもしれません。
答えが合っていても、資料の側が間違っていることがある
今回いちばん考えさせられたのは、AI の答えではなく、元の資料の間違いでした。
要約を頼むと、AI は資料に書いてあることを、そのまままとめます。資料の中で数字が食い違っていても、言われなければ素通りすることがあります。
大事な資料を要約させるときは、要約のあとに、こう聞いておくと安心です。
この資料の中で、数字や内容が食い違っているところはありますか？今回は、この一言で ChatGPT も Gemini も食い違いを見つけました。
いづれにしもどの AI を選んでも求める結果は得られそうです。
まとめ
- ChatGPT・Gemini・Claude の無料版に、41ページ・約3万7千字の PDF を要約させた
- 3つとも、最後のページまで読めていた。仕込んだ4つの質問と、会費の引っかけも全問正解
- PDF を作るときのミスで、会計の数字が12か月すべてで食い違っていた。頼まれる前に気づいたのは Claude だけ
- 聞いたあとは、Gemini が12か月分を全部正しく並べた。ChatGPT は例を1つ挙げただけだった
- ChatGPT は、PDF を送るときにログインが必要だった
- 大事な資料は、要約のあとに「食い違っているところはありますか？」と聞いておく
次回は、同じ指示で画像を作らせて比べます。
2026年10月4日に、各サービスの無料版で、それぞれ1回ずつ試した結果です。同じ PDF でも、やり直すと結果が変わることがあります。
