目次
1. LLM（大規模言語モデル）とは？
LLM は、Large Language Model (大規模言語モデル) の略称です。言語モデルは、自然言語処理の一分野で使用される統計的モデルであり、テキストデータのパターンや構造を学習して、文の生成や予測、意味理解などのタスクを実行することができます。
LLM は、大規模なテキストコーパス、例えば、ウェブニュースの記事や書籍の文章などをトレーニングデータとして使用して作成されます。トレーニング中に、モデルは次の単語や文の予測を行うために統計的パターンを学習します。そして、トレーニングが完了すると、モデルは与えられた文脈や入力に基づいて、次の単語や文を生成することができます。
GPT-3.5 や ChatGPT などは、OpenAI が開発した LLM モデルの一例です。これらのモデルは、幅広い文脈や質問に対応できるように設計されており、機械翻訳、文章生成、質問応答、文章の要約、文の分類など、さまざまな自然言語処理タスクで活用されています。
2. LLM の何が問題なのか？
ChatGPT 等の登場により、AI 技術は著しく進歩しましたが、その限界も見えてきているようです。
1. 大規模な計算資源と時間が必要
LLM は非常にパラメータが多く、トレーニングや推論には膨大な計算資源と時間が必要です。GPT-2 は 15 億パラメータ、GPT-3 は 1750 億パラメータと、前モデルの 100 倍、そして GPT-4 は公式には公表されていませんが、1 兆の大台に乗ったという噂もあります。また、モデルのトレーニングには大規模なデータセットが必要であり、膨大な量の計算を行うため、高性能のハードウェアや分散処理のシステムが必要となります。
2. データのプライバシー、セキュリティ、バイアス（偏り）の懸念
LLM は多くのデータを学習するため、トレーニングデータに含まれる個人情報や機密情報の漏洩のリスクが存在する可能性が高くなっています。適切なデータセキュリティやプライバシー対策が必要です。また、トレーニングデータに存在するバイアスや偏りを反映する可能性があります。例えば、特定の人種やジェンダーに対して偏った情報やステレオタイプを生成することがあります。このようなバイアスを軽減するために、トレーニングデータの適切なバランスを考慮し事前処理が必要になってきます。
3. 今後の AI 技術の行方は？
Meta が公開した LLaMA をはじめとするオープンソースによる LLM 開発の動向も、規模至上主義から脱却し始めています。少ないパラメータ、少ないトレーニングデータ、小さなモデルで、品質の高い言語モデルを作成することが求めらています。つまり、コストパフォーマンスの良いモデル（品質と費用のバランスがとれたモデル）が望まれています。
そのためには、抜本的に違う構造を持つモデルを開発する必要があります。
4. Microsoft が、小さなモデル「phi-1」を発表
Meta が公開した LLaMa 等の小型の LLM がリリースされる中、Microsoft Research は、arXiv で、Transformer ベースのモデルphi-1を発表しました。このモデルは、パラメーター数が GPT-3.5 の 100 分の 1 以下の 13 億しかないにもかかわらず、テスト用データセット「HumanEval」で、GPT-3.5 を上回る成績を収めており、注目されています。このモデルはインターネットから収集された教科書品質のデータセット 60 億トークンと、GPT-3.5 から生成された教科書データセット 10 億トークンを使い、8 台の NVIDIA A100 によるわずか 4 日間のトレーニングで作られたようです。
参照
- The Era of Large AI Models Is Over
- Microsoft Releases 1.3 Bn Parameter Language Model, Outperforms LLaMa