テキストマイニングで「筆記試験」を客観的に自動採点する(AI×教育)【論文】

筆記試験は客観的な採点がむずかしい

教育分野においては、達成度を計測するために様々な手法が使われている。中でも筆記試験は、学生の表現スキル・創造力・思考力を測定するために不可欠とされており、国内でも筆記試験による学力テストの有用性が議論されている。

しかし、筆記試験は多くの人数で評価を行うため、採点基準が難しい・非客観的な評価になりやすい・膨大な採点時間が必要などの多くの問題を抱えている。

トルコにあるメフメットアキフエルソイ大学のMehmet Erkan Yukselらは、テキストマイニングとGrey relational analysis(GRA)を用いた筆記試験の評価のための支援システムを開発した。その結果、システムの評価と人手による評価に相関性があることがわかった。

筆記試験を評価するシステムを開発

Mehmet Erkan Yukselらの研究のポイントは以下の通りだ。

✔️ミッション
筆記試験は学生の創造力・思考力を測定できる一方で、評価が難しい。

✔️解決手法
テキストマイニングとGRAを用いた筆記試験の評価システムを開発した。

✔️結果
インストラクターの評価と類似するシステムの評価が得られた。

研究の詳細を以下で述べる。

筆記試験の評価は主観的になりやすく、多大な時間と労力が必要

近年、教育分野に特化したデータマイニング(EDM)が注目されている。中でも、生徒の成績や達成度を評価するための手法には多くのアプローチがあり、手法によって評価指標が異なる。一般的には口頭試験、多肢選択式試験、筆記試験などが使用される。

口頭試験は生徒の感情や精神状態が大きく影響する点から、テスト結果の有効性と信頼性は低いと言える。多肢選択式試験は、最も適切な回答を選択肢の中から選ぶ試験である。多肢選択式試験では回答に自由度が少なく、表現スキル・意思決定スキル・解釈力が測れない。そのため堅牢な測定方法とは見なされていない。

これに対して筆記試験は回答が自由にできるため、他の測定方法と比べて創造力や思考力を測定できるというメリットがある。一方で、次のようなデメリットがある。

  • 主観的な評価になりやすいため採点基準が難しく、信頼性と有効性が低くなりやすい
  • 採点に多大な時間と労力が必要

そこでMehmet Erkan Yukselらは、筆記試験を評価するためのシステムを開発した。

テキストマイニングとGRAを用いた評価システムを開発

Mehmet Erkan Yukselらの開発したシステムモデルは、下図のようになっている。質問には回答キーを準備し、各質問に用意された回答キーの単語の類似性により筆記試験の評価を行った。

システムモデル。GRA(灰色リレーショナル分析)、BoW(Bag of Words)、VSM(ベクトル空間モデル)。

順にシステムモデルを解説する。

  1. Data collection:データは50人の学生に5つの質問を回答してもらうことで収集した。
  2. Preprocessing:前処理はトークン化、フィルタリング、ステミングの3stepで構成されており、言語はトルコ語を想定した。
  3. Feature extraction for Question-n:特徴抽出ではBoWとVSMメソッドを使用した。BoWはドキュメントを構造化するために使用され、各解答に対して単語頻度数を計算した。VSMはテキストデータを数値で表すために使用された。
  4. Analysis:分析は2段階で行い、1段階目では学生の回答と各質問の回答キーの単語との関係レベルを特定した。2段階目では回答キーに関連して各生徒の試験問題をランク付けを行った。
2段階のGRAで計算されたスコア。質問1では生徒1と生徒3の回答のスコアが高い。つまり良い回答をしたと判断できる。

インストラクターの評価とシステムの評価結果が類似

インストラクターが付けたスコアと、GRAで計算されたスコアを比較した図を見ると、全ての質問を考慮した場合、学生5が最高のスコアを獲得していた。つまり人手のスコアと自動で計算されたスコアに相関性があると言えた。

5人の学生のインストラクターによる評価と、GRAによる評価結果

研究紹介は以上だ。

現在、筆記試験の必要性が議論されている。誰もが筆記試験の有効性を認める一方で、評価の困難さから全ての試験に筆記を導入することは難しい。自動で評価ができるシステムが実現すれば、筆記試験の導入が非常に簡単になるだろう。

AI×教育」のほかの記事もどうぞ

▶ 成績と「ふるまい」の関係性!オンライン学習が続かないワケ
▶ ネットいじめの裏に潜む発生要因を特定
▶ VR教育は有効か?「習熟度」を予測!


この記事で取り扱った論文:Yuksel, M.E.; Fidan, H. A Decision Support System Using Text Mining Based Grey Relational Method for the Evaluation of Written Exams. Symmetry201911, 1426.  - DOI


業界から探す

PAGE TOP