BERTで生物学を学ぼう!実装を試せる「コードありAI論文」【週刊】

   

最近公開された機械学習の最新論文の中から「ソースコード、事前学習済みのモデル、データセット」が与えられているホットなものを選んで紹介。実際にAIを動かして座学から抜け出そう!

バックナンバーはこちら

今週の5本ノック
1本目. 自然言語処理の学習を効率化しよう
2本目. BERTで生物学を学ぼう
3本目. 3次元オブジェクトを推定しよう
4本目. 自動でネットワークの異常を検知しよう
5本目. 画像の背景を変えてみよう

自然言語処理の学習を効率化しよう

自然言語処理の学習を効率化する新しい方法が登場しました!(2020年6月28日公開)

文章中の単語の位置関係を正しくエンコードすることは、自然言語処理において重要な問題です。

この論文の著者であるGuolin Keらは、TUPEと呼ばれるBERTの新しい位置符号化方法を提案しています。

TUPEは入力としてベクトル化した単語のみを与えます。これによりGLUEなどのベンチマークでベースラインに大差を付けています。さらに、トレーニング前の計算量を30%しか使用せずベースラインを上回る効率性を示しています。

実装してみよう!

BERTで生物学を学ぼう

言語モデルを用いた生物学の研究方法が提案されています!(2020年6月26日公開)

続きを読むには無料会員登録が必要です。


※ログイン/初回登録後、下記ボタンを押してください。

ロッテノ

投稿者の過去記事

SE2年目に突入。大学では機械工学を専攻していました。製造・工業分野などのAIの活用を深堀して、分かりやすい表現で執筆していきます。

業界ごとに記事を読む

PAGE TOP