マイページに保存

最終更新日：2023/09/13

『MathGLM』という新たなモデルが登場しました。このモデルは、特別に作成されたドリル（データセット）とステップ・バイ・ステップ戦略を採用することで、算術タスクにおいてGPT-4を圧倒的に上回る性能を示しています。

アプローチとしては、複雑な算術問題を解決する際に、問題をいくつかのステップに分解し、それぞれのステップを逐次的に解決するという方法を採用しています。

参照論文情報

• タイトル：GPT Can Solve Mathematical Problems Without a Calculator
• 著者：Zhen Yang, Ming Ding, Qingsong Lv, Zhihuan Jiang, Zehai He, Yuyi Guo, Jinfeng Bai, Jie Tang
• 所属：Tsinghua University, TAL AI Lab, Zhipu.AI
• URL：https://doi.org/10.48550/arXiv.2309.03241
• GitHub：https://github.com/THUDM/MathGLM

研究背景

LLMと算術タスクの関係

大規模言語モデル（LLM）の登場は、自然言語処理の算術タスクへの適用可能性を探る研究の火付け役となりました。しかし、これまでのLLM、特にGPT-4やChatGPTは、数学的な問題解決、特に算術タスクと数学の単語の問題において挑戦が残されていました。特に8桁を超える数の乗算や、小数や分数を含む操作に関連する複雑な算術操作を正確に実行することに関連する問題で顕著でした。

過去の研究と現状

過去の研究では、LLMの算術能力は主に基本的な算術操作、特に加算や減算に焦点を当てて評価されてきました。一方で、2桁の乗算の領域に焦点を当てた評価も行われています。さらに、いくつかの研究では、LLMが数学の単語の問題に直面した際に算術操作で間違いを犯すことが明らかにされています。

本研究の目的

本研究は、LLMの数学的推論能力を評価することに焦点を当てており、算術操作と数学の単語の問題の両方を包括しています。特に、複雑な算術操作を実行するLLMの能力に焦点を当てています。この研究は、LLMが多桁の数、小数、分数を含む複雑な算術操作を正確に実行する能力の獲得に挑戦しています。

『MathGLM』ができること

新たに開発された『MathGLM』は、これまでのLLMが困難としていた高精度な算術タスクを可能にする画期的なモデルとして登場しました。このセクションでは、その能力を詳細に探ります。

1. 多様な数値形式を扱う

『MathGLM』は多くの数値形式を扱うことができます。整数、小数、分数、パーセンテージ、そして負の数が含まれます。その結果、多くの算術問題をカバーすることが可能となり、その適用範囲を広げています。

2. 基本的な算術操作

このモデルは、基本的な算術操作を行うことができます。基本的な算術操作とは、加算、減算、乗算、除算を指します。算術問題は四則演算によって構成されているため、基本的な算術問題から複雑な問題まで幅広く対応することが可能となります。

3. 文章理解と計算

『MathGLM』は文章の意味を理解し、その情報を基に計算を行うことができます。文章問題などの解決に非常に有用です。

4. 算術問題の解説

さらに、このモデルはユーザーに対して算術問題の解説を行うことができます。モデルを活用して、ユーザーは問題の解決方法を理解し、学習することが可能となります。

5. 大規模な数字の操作

『MathGLM』は最大で12桁の数字を含む操作を処理することができます。この処理能力によって非常に大規模なデータセットに対する計算も可能となります。

『MathGLM』の性能

1. テストデータセットでの高精度

本研究で用いられたテストデータセットにおいて、『MathGLM』は驚異的な93.03％の精度を達成しました。これは特筆すべき点であり、特にGPT-4が同データセットで18.84％の精度しか達成できなかったことを考えると、その進歩の度合いが理解できます。

2. 小規模モデルでも高い能力

『MathGLM』は1000万パラメータという小規模なモデルであっても、非常に高い能力を持っています。これは注目すべき点であり、GPT-3が数百億から数千億のパラメータを持っていることを考えると、『MathGLM』の効率的な性能が際立っています。

3. 汎用的な言語能力

『MathGLM』は算術タスクだけでなく、汎用的な言語能力も持っています。モデルは単なる算術問題解決ツールとしてだけでなく、さまざまな言語タスクにも利用することが可能です。この多様な能力は、『MathGLM』が広範囲のアプリケーションで利用できる可能性を示しています。

『MathGLM』は如何にして生まれたか

『MathGLM』は独自のアプローチを用いて開発されました。

1. 算術データセットの構築

開発の第一段階では、幅広い算術操作をカバーするための算術データセットが構築されました。本データセットがあることで、モデルは多くの算術問題を理解し、解決する基盤を築くことができました。

2. MathGLMモデルの事前学習

次に、MathGLMモデルは事前学習されました。この段階では、先ほど構築されたデータセットを用いて、モデルは多くの算術タスクを学習しました。この事前学習により、モデルは基本的な算術能力を獲得しました。

3. ステップバイステップでの問題解決

最も重要な点は、『MathGLM』が算術問題を「ステップバイステップで」解くように設計されたことです。これは、複雑な算術問題が与えられた際に、それを細かく多段階に分解して解くことで、答えの精度を大幅に向上させることが可能となります。このアプローチは、特に複雑な問題を解決する際にその力を発揮します。

考察

ステップバイステップ戦略の普遍性

『MathGLM』が示したステップバイステップ戦略は、他のモデルでも採用することで算術タスクの精度が向上する可能性を秘めています。この戦略は、問題を細かく分解し、段階的に解決することで、高い精度を実現します。プロンプトエンジニアリングの視点からも、非常に有用な指針となり得ます。

『MathGLM』はステップバイステップ戦略を自動的に採用して問題を解決する能力を持つため、これをアーキテクチャの勝利とも読み取ることができます。このアプローチは、モデル自身が問題を多段階に分解し、それぞれの段階を解決することで、全体の問題解決能力を高めるという点で非常に有用です。

補足

この研究では、さまざまなサイズの『MathGLM』が開発され、その性能が比較されました。ここでは、その詳細について触れていきます。

パラメータサイズと性能

『MathGLM』は、1000万パラメータから20億パラメータまでの範囲で開発されました。そして、モデルのサイズが大きくなるにつれて、その性能も向上することが確認されました。これは、モデルが持つパラメータの数が多いほど、より複雑なタスクを解決できる能力が高まることを示しています。

モデルサイズとコストパフォーマンス

一方で、モデルのサイズが大きくなると、それに伴うコンピューティングリソースのコストも増加します。しかし、この研究では1000万パラメータの比較的小規模なモデルでも高い性能を示すことができたため、コストパフォーマンスが高いと言えます。

まとめ

『MathGLM』は、これまでの大規模言語モデルが抱えていた算術タスクの精度の問題を解決する新しいアプローチを提供します。特に、ステップバイステップ戦略を採用することで、複雑な算術問題でも高い精度で解を得ることが可能になりました。

『MathGLM』のステップバイステップ戦略は、他のモデルにも応用可能だと考えられ、新たなアーキテクチャの勝利とも言える成果をもたらしています。また、モデルのサイズが大きいほど性能が高まることも確認され、今後の大規模言語モデルの開発に新たな道を示しています。

関連研究

• LLMが巡回セールスマン問題などの最適化問題を解く〜自分自身で優れたプロンプトを作成＆活用〜
• 新しい科学的方程式を導くための機械学習ツール　プリンストン大の研究者が発表
• OpenAI、大規模言語モデルの数学能力を大きく向上させることに成功

マイページに保存