今日は、Microsoftの研究者たちが開発した、自然言語で指示を出してMicrosoft Officeを操作するAIシステム「Semantic Interpreter」についてお話しします。このシステムは、大規模言語モデル（LLM）を利用してユーザーの意図を理解し、それをOfficeアプリでのアクションに変換します。具体的には、ユーザーが「〇〇を紹介するスライドを作って」と指示すれば、AIがその意図を読み取ってパワーポイントスライドを作成するというものです。この記事では、その仕組みと可能性について詳しく解説します。

参照論文情報

• タイトル：Natural Language Commanding via Program Synthesis
• 著者：Apurva Gandhi, Thong Q. Nguyen, Huitian Jiao, Robert Steen, Ameya Bhatawdekar
• URL：https://doi.org/10.48550/arXiv.2306.03460

関連研究

Microsoft、人間とLLMとの効率的なコラボレーションを”ローコードLLM”で実現へ　論文から解説

Microsoftの画像セグメンテーション新技術「SEEM（Segment Everything Everywhere Model）」の凄さ、Meta AIのSAMとの違い

部屋の間取り図を自動作成 建築設計のジェネレーティブAI「ArchiGAN」「House-GAN」「HouseDiffusion」

ユーザーの意図とソフトウェアのギャップ

この研究が取り組んだ問題は、人間が自然言語で指示を出しても、それをソフトウェアが理解し、具体的なアクションに変換するのが難しいという点です。我々人間にとっては、自然言語でのコミュニケーションは日常的で直感的なものです。しかし、ソフトウェアにとっては、自然言語は非常に複雑で、その意味を理解し、具体的な操作に変換することは容易ではありません。

特に、Microsoft Officeのような多機能で複雑なソフトウェアでは、この問題はさらに深刻です。Microsoft Officeには、文書作成、表計算、プレゼンテーション作成など、多くの機能があります。これらの機能を操作するためには、多くのコマンドや操作が必要で、それらを自然言語で表現するのは困難です。また、ユーザーの意図は非常に多様で、それを正確に理解し、適切な操作に変換することは、ソフトウェアにとって大きな課題となっていました。

Semantic InterpreterとODSLの導入

この問題に対する解決策として、研究者たちはSemantic Interpreterという新しいシステムを開発しました。Semantic Interpreterは、ユーザーからの自然言語の指示を理解し、それをOffice Domain Specific Language（ODSL）という特定の言語に変換する能力を持っています。

ODSLは、Officeアプリケーションでのアクションを表現するために特化した言語です。例えば、「スライドを新規作成する」、「テキストボックスを追加する」、「特定のセルに数値を入力する」などの操作を、ODSLでは簡潔なコードで表現することができます。

Semantic Interpreterは、ユーザーからの自然言語の指示を、このODSLのコードに変換します。この変換プロセスは、大規模言語モデル（LLM）を利用して行われ、ユーザーの意図を理解し、それをODSLのコードに翻訳します。

このように、Semantic InterpreterとODSLの導入により、ユーザーは自然言語で指示を出すだけで、その指示が具体的なOfficeアプリケーションの操作に変換され、実行されるという流れが実現されました。これにより、ユーザーは複雑な操作を覚えることなく、自然言語での指示だけでOfficeアプリケーションを操作することが可能になりました。

自然言語から操作までの流れ

Semantic Interpreterの動作は、ユーザーの自然言語の指示から具体的な操作までの流れをスムーズにつなげることで、ユーザーの作業を助けます。その具体的な動作の流れを詳しく見ていきましょう。