はじめに

AIの最新動向にキャッチアップすることは、企業の将来戦略を練ったり、個人の学習テーマを考えたりする上で非常に有益です。例えば、昨今では「ChatGPT」がきっかけでAIに関心を持ち、調査している方も多いかと思います。
しかし「AI」「ChatGPT」といったキーワードで検索やSNSを活用して情報を得ようとしても、様々なメディアや人物が憶測を含めて発信するので、かえって混乱してしまいます。
ネット上に行き交う情報の中には、ソースを掲示しないものもあり、すべての情報を鵜呑みにすると誤解が積み重なって、大きな間違いに発展してしまいます。

当サイトでは、ソースが論文という形で報告されており、また発表者の経歴や査読有無などから信頼性の高い情報を選んで紹介および解説しています。

本記事では、ChatGPTに関する最新ニュースをお届けします。

目次

• はじめに
• ChatGPTは「物理学」にも精通しているのか

  • 理科系におけるChatGPTの影響とは
  • 物理学講義の課題（宿題）を与えてみた
  • プログラミング演習における実力は120点
  • 最終試験の結果

• 人間の本質的なスキルと能力は何か
• まとめ
• 関連研究

ChatGPTは「物理学」にも精通しているのか

理科系におけるChatGPTの影響とは

大学をはじめとする教育機関では、ChatGPTなどの大規模言語モデルに対して懸念を抱いています。その懸念とは、試験や課題でのカンニングに使用されるのではないかというものです。人文学的な学問においては想像に難くありませんが、物理学などの理科系学問においても影響があるのでしょうか。

スイス連邦工科大学の研究者は、「そもそも物理学の学習において、ChatGPTを使用したカンニングは問題にはならない」（なぜなら、過去問は学生の間ですでに出回っており、わざわざChatGPTに頼らなくてもよいため）「物理学におけるChatGPTの影響は他にある」と考えました。そこで、まずはChatGPTが初歩的な物理学においてどの程度の習熟度なのかをテストしました。

参照論文情報

• タイトル：Could an Artificial-Intelligence agent pass an introductory physics course?
• 著者：Gerd Kortemeyer（スイス連邦工科大学）
• URL：10.48550/arXiv.2301.12127

物理学講義の課題（宿題）を与えてみた

研究者は、自らが過去に大学で用いていた物理学講義の資料を用いてChatGPTをテストすることにしました。内容は、標準的な力学、熱力学、電気・磁気、現代物理学（量子物理学と特殊相対性理論）をカバーするものです。

まず、講義における課題をこなせるかどうかがテストされました。その結果、ChatGPTは課題の55%をこなせることが分かりました。分野別での正解率の内訳は以下のようになっていました。

• 軌道運動と摩擦 (傾斜など) に関する問題： 48%
• 熱力学(エンジン、熱容量など)に関する問題 ：68%
• 静電容量 (プレートコンデンサ、直列および並列のコンデンサなど) に関する問題 ： 62%
• 特殊相対性理論に関する問題：36%

なお、平方根を含む計算などには弱く、それが原因で正解率が落ちる現象が確認されました。

また、ChatGPTは間違ったアプローチで問題を解き続ける傾向があり、研究者は「メタ認知（※）が欠けている」「一部の学生と似た行動をとる」と表現しています。

※メタ認知とは、自らの認知（考える・感じる・記憶する・判断するなど）を客観的に認知すること。

プログラミング演習における実力は120点

ChatGPTは、VPython（Pythonで3Dグラフィックスを扱えるライブラリ）を使用したプログラミング演習においては、特筆すべき成果を上げました。コースを履修するどの学生よりも優れた成績を収めたのです。満点＋ボーナス加点の20%で、120%のスコアを得ることができました。

最終試験の結果

包括的な理解度を調べるために、講義で使用された最終試験をChatGPTに受けさせたところ、