LLMが「自然言語で記述されたアルゴリズムを実行する」能力で非常に高い性能を示す

今回研究者らは、自然言語で記述されたアル...
Read More

Claude 3の能力における詳細な評価結果

Anthropicは新しい大規模マルチモ...
Read More

論文

人はディベートで人よりもGPT-4が相手のとき81.7%高い確率で意見を変える(つまり討論に負ける)傾向にあったとの実験報告
RAGにおいてLLMが「役立たない情報を無視」できるようにする『RAFT』QAタスクで従来の手法を大幅に上回る結果を達成
Microsoftなどのプロンプト圧縮技術『LLMLingua-“2″』タスクの精度を維持したまま圧縮率2-5倍
Googleなど、API経由でブラックボックスLLMの隠れ次元数を特定できる脆弱性を示す ※OpenAI社はこれを受け対策済み
GPT-4などのLLMがセキュリティ脆弱性とソフトウェア機能性の評価能力で高い精度を示す
LLMが「自然言語で記述されたアルゴリズムを実行する」能力で非常に高い性能を示す
GoogleのGeminiファミリー最新モデル「Gemini 1.5 Pro」1000万トークンでほぼ完璧な検索性能
LLMの記号推論タスク(化学式や絵文字の理解など)で記号を自然言語に変換することの有効性を確認

業界/カテゴリー

PAGE TOP