最近公開された機械学習の最新論文の中から「ソースコード、事前学習済みのモデル、データセット」が与えられているホットなものを選んで紹介。実際にＡＩを動かして座学から抜け出そう！

バックナンバーはこちら

今週の5本ノック
1本目. 自然言語処理の学習を効率化しよう
2本目. BERTで生物学を学ぼう
3本目. ３次元オブジェクトを推定しよう
4本目. 自動でネットワークの異常を検知しよう
5本目. 画像の背景を変えてみよう

自然言語処理の学習を効率化しよう

自然言語処理の学習を効率化する新しい方法が登場しました！（2020年6月28日公開）

文章中の単語の位置関係を正しくエンコードすることは、自然言語処理において重要な問題です。

この論文の著者であるGuolin Keらは、TUPEと呼ばれるBERTの新しい位置符号化方法を提案しています。

TUPEは入力としてベクトル化した単語のみを与えます。これによりGLUEなどのベンチマークでベースラインに大差を付けています。さらに、トレーニング前の計算量を30％しか使用せずベースラインを上回る効率性を示しています。

実装してみよう！

BERTで生物学を学ぼう

言語モデルを用いた生物学の研究方法が提案されています！（2020年6月26日公開）