ChatGPTが今度は「物理学」で実力を見せる

↓はてなブックマークで応援お願いします！

はじめに

AIの最新動向にキャッチアップすることは、企業の将来戦略を練ったり、個人の学習テーマを考えたりする上で非常に有益です。例えば、昨今では「ChatGPT」がきっかけでAIに関心を持ち、調査している方も多いかと思います。
しかし「AI」「ChatGPT」といったキーワードで検索やSNSを活用して情報を得ようとしても、様々なメディアや人物が憶測を含めて発信するので、かえって混乱してしまいます。
ネット上に行き交う情報の中には、ソースを掲示しないものもあり、すべての情報を鵜呑みにすると誤解が積み重なって、大きな間違いに発展してしまいます。

当サイトでは、ソースが論文という形で報告されており、また発表者の経歴や査読有無などから信頼性の高い情報を選んで紹介および解説しています。

本記事では、ChatGPTに関する最新ニュースをお届けします。

ChatGPTは「物理学」にも精通しているのか

理科系におけるChatGPTの影響とは

大学をはじめとする教育機関では、ChatGPTなどの大規模言語モデルに対して懸念を抱いています。その懸念とは、試験や課題でのカンニングに使用されるのではないかというものです。人文学的な学問においては想像に難くありませんが、物理学などの理科系学問においても影響があるのでしょうか。

スイス連邦工科大学の研究者は、「そもそも物理学の学習において、ChatGPTを使用したカンニングは問題にはならない」（なぜなら、過去問は学生の間ですでに出回っており、わざわざChatGPTに頼らなくてもよいため）「物理学におけるChatGPTの影響は他にある」と考えました。そこで、まずはChatGPTが初歩的な物理学においてどの程度の習熟度なのかをテストしました。

参照論文情報

タイトル：Could an Artificial-Intelligence agent pass an introductory physics course?
著者：Gerd Kortemeyer（スイス連邦工科大学）
URL：10.48550/arXiv.2301.12127

物理学講義の課題（宿題）を与えてみた

研究者は、自らが過去に大学で用いていた物理学講義の資料を用いてChatGPTをテストすることにしました。内容は、標準的な力学、熱力学、電気・磁気、現代物理学（量子物理学と特殊相対性理論）をカバーするものです。

まず、講義における課題をこなせるかどうかがテストされました。その結果、ChatGPTは課題の55%をこなせることが分かりました。分野別での正解率の内訳は以下のようになっていました。

軌道運動と摩擦 (傾斜など) に関する問題： 48%
熱力学(エンジン、熱容量など)に関する問題：68%
静電容量 (プレートコンデンサ、直列および並列のコンデンサなど) に関する問題： 62%
特殊相対性理論に関する問題：36%

なお、平方根を含む計算などには弱く、それが原因で正解率が落ちる現象が確認されました。

また、ChatGPTは間違ったアプローチで問題を解き続ける傾向があり、研究者は「メタ認知（※）が欠けている」「一部の学生と似た行動をとる」と表現しています。

※メタ認知とは、自らの認知（考える・感じる・記憶する・判断するなど）を客観的に認知すること。

プログラミング演習における実力は120点

ChatGPTは、VPython（Pythonで3Dグラフィックスを扱えるライブラリ）を使用したプログラミング演習においては、特筆すべき成果を上げました。コースを履修するどの学生よりも優れた成績を収めたのです。満点＋ボーナス加点の20%で、120%のスコアを得ることができました。

最終試験の結果

包括的な理解度を調べるために、講義で使用された最終試験をChatGPTに受けさせたところ、概算で46〜50%のスコアが得られることが分かりました。

課題（宿題）やプログラミング演習などの成績と合わせると、約55%のスコアを獲得する計算になります。この数字は、コース単体のスコアとしては十分でした。（ただし、すべてのコースをこの通り得点したときには、大学卒業に十分なスコアには及ばない計算になります。）
研究者は、「ChatGPTの計算機能が改善されれば、大学卒業に十分な成績を収める人工知能になる」（その可能性はますます高まっている）とコメントしています。

人間の本質的なスキルと能力は何か

研究者は、今回の実験を通して、以下のように結論づけ、さらに議論を持ちかけています。

ChatGPTは不安定ながら初歩的な、古典力学その他基本的な物理学の知識を持っています。一方で、計算を行うのはかなり不慣れな様子です。また、人工知能が真の知性を獲得するにはメタ認知が必要だと思われますが、まだそのステップには手が届かないようです。ただしプログラミング演習においてはかなり強い実力を見せました。
なんにせよ、「人工知能は既に標準的な入門物理学コースに合格できる」という事実は驚くべきものです。

今後、人工知能の使用を「不正」とみなして徹底的に防ぐのか、それとも人工知能の浸透を前提として学生に対しては新しい能力を育成するのかは考えなくてはいけません。少なくとも、物理学においては人工知能の使用は不正にはなりえず、人間が人工知能と協力して仕事を行なっていく可能性が非常に高いでしょう。その時に必要になる本質的に人間のスキルと能力は何でしょうか？

まとめ

本記事では、ChatGPTにおける入門物理学の知識をテストした研究の報告内容を紹介しました。
ChatGPTは（今の所）計算が不得意でありつつも、初歩的な物理学の平均的な知識レベルには到達しているという驚くべきニュースでした。

研究者が言及しているように、この先、人間に必要となるスキルと能力は何になるのか、議論が必要かと思います。SNS等でご意見をお待ちしています！

（メディア会員システムのご説明）

当サイトの会員は、過去記事をすべて閲覧できるほか、自らの課題に特化した文献調査をリクエストしたり、広告掲載をオーダーしたり、AI開発に関するコンサルティングを申し込んだりできます。会員からは、「AIに関する情報収集を効率的に行うことができている」「非常に素晴らしいサービスだ」と好評を頂いています。

会員登録は無料、文献調査や広告掲載などのオプションは有料です。今ならディスカウントにも対応しています。

毎月対応できる顧客の数には限りがあり、会員登録が早い方はオーダーのご対応がスムーズに行えます。ぜひ早速ご利用ください！

会員登録はこちら

スマホ内蔵の加速度センサーで通話を盗聴　深層学習で5〜6割の精度

人の音声からAIが「性格」を予測

アイブン

AI論文データベース