LLM（大規模言語モデル）とは？文章を作る仕組み

イト

LLMの中には、読んだWebページが文章のまま巨大な倉庫に入っているの？

ユイ

質問を倉庫検索して答えを取り出すなら、最新情報も見つかりそうだけれど

ピコ

倉庫ではなく確率地図として見ると、学習と回答時の動きがつながるよ

LLMとは、大量のテキストからトークン列の関係を学び、入力された文脈に続くトークンの確率を計算して文章を生成する大規模言語モデルです。

「巨大な辞書を検索しているのか」「インターネットをその場で読んでいるのか」という疑問を整理するには、モデルを作る事前学習と、回答を作る推論を分けます。ラボの生成工房と回廊で、文章が小さな札へ分かれ、確率候補から一枚ずつ次の札が加わる流れを追いましょう。

第100話「次の言葉を当てる街」では、次の言葉を当てる窓口が自然な応答を返します。今回の目的は、その窓口の背後を「入力→モデル→候補→次の入力」という循環で説明することです。

LLMを先に一文で説明

LLMはLarge Language Modelの略で、日本語では大規模言語モデルと呼びます。言語モデルは、あるトークン列がどの程度ありそうか、文脈の次に何が続きそうかを扱うモデルです。大規模化した現代のLLMは、文章生成だけでなく要約、翻訳、質問応答、コード作成などを一つのモデルで行える場合があります。

たとえは、全文を保存した文章倉庫ではなく、言葉のつながりを多数の数値へ圧縮した確率地図です。「空が」に続く候補は、「晴れた」「暗くなった」「青い」など文脈で変わります。地図は候補の道を示しますが、その道が現実の事実と一致するかを自動で保証しません。実際の内部表現は高次元へ分散しており、紙の地図のように一つの道を指でたどれる構造ではありません。

LLMは生成AIとは？で見た生成モデルのうち、主に言語を扱うものです。画像や音声を同時に扱えるモデルでも、文章側の中核に言語モデルの仕組みが使われる場合があります。

「大規模」は何が大きい？

大規模という言葉は、一つの数字だけを指しません。主に次の規模が関わります。

• パラメータ: 学習で調整される内部の数値
• 訓練データ: 学習に使うトークン列の量と多様性
• 計算量: 学習や推論に必要な演算
• モデルの幅・深さ: 層や内部表現の大きさ
• 利用基盤: 多数の利用者へ応答するための計算装置と運用

パラメータ数が大きいほど、どの課題でも比例して良くなるとは限りません。データ品質、学習方法、モデル構造、追加調整、評価、推論時の設定も性能に影響します。また、同じ能力をより小さなモデルで実現し、端末内や低遅延の環境に置く工夫も進んでいます。

「大規模」は製品の優劣を決める勲章ではなく、設計と運用の規模を説明する言葉です。公開されていないモデルでは、正確なパラメータ数や訓練データを外から確認できない場合もあります。

文章をトークンに分ける流れ

LLMへ入る文章は、トークナイザーによってトークンへ分割されます。トークンは単語、単語の一部、文字、記号などになり、モデル固有の語彙表に対応するIDに変換されます。

1. 入力文をトークナイザーに渡す
2. 語彙表の規則に沿ってトークン列に分ける
3. 各トークンを数値ベクトルに変換する
4. 位置情報と周囲の文脈を取り込む
5. 次のトークン候補を計算する

日本語の一文字と一トークン、英語の一単語と一トークンが固定対応するわけではありません。分割の違いは、一度に扱える入力範囲や利用量の数え方にも関わります。詳しい切符の分け方はAIのトークンとは？で実例にします。

事前学習は何を調整する？

事前学習では、大量のトークン列を使い、文脈から隠れたトークンや次のトークンを予測する課題などを反復します。予測と訓練上の答えのずれを測り、そのずれが小さくなるようモデルのパラメータを調整します。

この工程を通して、語の使われ方、文法、文章構造、テキストに現れる世界の規則性が、モデル内部の分散した表現に反映されます。しかし、元のWebページや本が検索可能な文書ファイルとして一件ずつ整理される、という構造ではありません。

事前学習後に、指示へ応じやすくする学習、人の選好を反映する調整、安全性のための処理などが加わる場合があります。学習と利用時の推論の違いはAIの学習と推論の違いで確認できます。

回答時に次のトークンを選ぶ仕組み

利用者が質問すると、LLMは入力文脈から次に続くトークンごとの候補分布を計算します。一つを選んで末尾に加え、更新された列から次の候補を計算します。この反復で文章が伸びます。

候補の選び方によって、同じ入力でも表現が変わります。もっとも確率の高い候補だけを選ぶ方法もあれば、複数候補から一定の幅で選ぶ方法もあります。自然な文章を生成できることと、各文の事実性は別なので、引用や数値は外部資料で照合します。

内部で文脈関係を扱う代表的な構造はTransformerとは？で、Attention、位置情報、層の反復として説明しています。

知識の保存と検索の違い

LLMが幅広い質問へ答えられるのは、訓練データに現れた規則性や関連がパラメータに反映されているからです。しかし、この内部知識にはいくつかの性質があります。

• 学習後に起きた出来事は、モデル単体では反映されていない場合がある
• 出典となった文書を内部から正確に取り出せるとは限らない
• よく似た事実や名前を混ぜ、もっともらしい誤りを作る場合がある
• 学習データに偏りや誤りがあれば、その影響を受ける場合がある

検索は、外部に保存された文書から該当箇所を取得する別工程です。検索付きAIでは、取得した内容をLLMの入力文脈に加え、それを使って回答を生成します。最新の話題へ答えたという結果だけから、モデルがリアルタイムでWebを検索したとは判断できません。画面の出典表示やサービス仕様を確認します。

LLM単体とツール付きAIを分ける

現在のチャットサービスは、LLMだけでなく複数の部品を組み合わせることがあります。

• Webや社内資料の検索
• 計算機やコード実行環境
• 画像・音声の解析モデル
• 会話履歴や保存メモリ
• 安全確認と出力の後処理
• 外部アプリを操作するツール

LLMが文章で「調べました」と述べても、それだけでツール実行の証拠にはなりません。反対に、サービスが検索結果を明示しているなら、その回答はLLM単体の内部知識だけではありません。モデルと周辺システムを分けると、失敗した場所を調べやすくなります。

外部資料を探して渡す構成はRAGとは？、検索・操作を連続して進める仕組みは後のAIエージェント記事へつながります。

確率地図から次へ進む

文章がモデルへ入る最初の単位はAIのトークンとは？で詳しく見られます。内部の層と参照関係はTransformerとは？へ進みましょう。

もっともらしい文章と事実のずれはAIのハルシネーションとは？、外部資料を使う構成はRAGとは？で続きます。

生成を確認するクイズとワーク

ワーク: 「明日は」という短い書き出しへ続く候補を三つ作ります。次に「遠足なので」「台風が近づき」「提出日だから」という文脈を前へ足し、候補の順位がどう変わるか説明してください。正解文を倉庫から一枚探すのではなく、文脈で候補分布が変わる感覚を確かめます。

Q1. LLMは質問と同じWebページを内部検索して答える？

通常、モデル内部は文書検索データベースとして動くわけではありません。外部検索機能がある場合は、その結果を別工程で入力に加えます。

Q2. 最新ニュースへ答えたら、リアルタイム検索した証拠になる？

なりません。検索表示、引用元、ツール実行記録などを確認します。文脈に利用者が最新情報を入れていた可能性もあります。

Q3. 次トークン予測なら、ランダムに単語を並べるだけ？

違います。学習したパターンと入力文脈から候補の確率を計算します。ただし候補選択に確率的な変化が入り、事実誤りも起こり得ます。