Deep Dive

7月31日、The Decoderが「Ex-OpenAI researcher bets $100 billion will flow into training data because scaling alone won't cut it」と題した記事を公開した。元OpenAI研究者がスケーリング一辺倒のLLM開発の限界を指摘し、訓練データへの大規模投資が不可欠だと主張している。「スケーリングだけでは足りない」——元OpenAI研究者の見立てAndrew Hoは、OpenAIに短期間在籍した後に退職した研究者だ。彼が退職に至った核心的な理由は、現在の大規模言語モデル（LLM）の汎化能力の低さへの懸念にある。なお、LLM（大規模言語モデル）とは、大量のテキストデータで訓練された自然言語処理モデルの総称で、GPT-4やClaudeなどが代表例だ。また「スケーリング」とは、モデルのパラメータ数や訓練データ量・計算量を増やすことで性能を向上させる手法を指し、近年のAI開発の主流戦略となってきた。この「スケーリング則」への依存に対して、Hoは根本的な疑問を呈している。Hoの主張はシンプルだ。...