AIの謎を解き明かす◆ビジネスマンでも解るAIの中身／「AI開発プロセス」を解説

「AIって、結局どうやって動いているんですか？」

ワークショップとかでアルアルな質問です。
そのたびに思うのは、「AIを使っている人」は増えているのに
「AIの中身を少しでも知っている人」はとても少ないってことです。

別にエンジニアになる必要はありません。
でも、仕組みをざっくり知っているだけで、AIを使う質が変わります。
使い方が変わります。
仕事のどこにAIを組み込めばいいかが、見えてきます。

今日は、「LLM（大規模言語モデル）がどうやって文章を処理して学習するのか？
LLMが文章を処理して学習する仕組みについて
できるだけわかりやすく解説します。

技術者向けではありません。一般のビジネスパーソン向けです。
でも中身は端折りません。大事なことをちゃんとお伝えします。

🎬️サクッと解説動画はこちら

🎧️Poscast／Spotifyはこちら
電車の中やクルマでどうぞ
※内容は解説動画とちがいます

https://open.spotify.com/episode/4jKU1Op8VefgQaBXXwdIqg?si=ExkzNQlTQoW8txFED6BH0g

1️⃣ そもそも「LLM」とは何か？

LLMとは、Large Language Model（大規模言語モデル）の略です。
ChatGPT、Claude、Geminiなど、いま世の中にあふれている「AIアシスタント」の多くが、このLLMをベースにしています。

「大規模」というのは、学習したデータ量とモデルの規模が、文字どおり桁違いに大きいという意味です。

「言語モデル」というのは、「次にどんな言葉が来るか」を確率的に予測することで、文章を生成する仕組みのことです。

ここで一つ、大事なことを先に言っておきます。

「LLM」と「RAG」は、別物です。
この二つを混同している方が、ビジネスの現場でも非常に多いのです。

LLMとは
モデル本体のことです
RAG（Retrieval-Augmented Generation）
そのLLMに外部の知識を「検索して」渡す仕組みのことです。

今日はまずLLMの中身に集中します。
RAGについては、後半に少しだけ触れます。

2️⃣ AIが文章を「処理する」流れ／7つのステップ

AIは文章をそのまま読んでいるのではありません。
人間が書いた文章が、AIの内部でどう処理されるか？
その流れを順番に見ていきましょう。

①〜⑦が、「AIが返答を出すまでの流れ」です。
私たちがChatGPTやClaudeとやりとりしているとき、
この処理が高速で繰り返されています。

3️⃣ 3つのキーワードをもう少し詳しく

① トークンとは何か？

例えば「私は朝ごはんを食べました」という文章があるとします。
これをAIは、「私」「は」「朝」「ご」「はん」「を」「食べ」「まし」「た」といった細かい部品に分解します。
この分解の単位をトークンと呼びます。

日本語は英語より分割が複雑です。
漢字、ひらがな、カタカナ、「、」とか「。」など。
同じ文章でも英語より多くのトークンを消費します。
これがAIの処理コスト（料金）にも直結します。

② パラメータとは何か？

パラメータとは
「AIが訓練で身につけた、計算用の数値」のこと。
日経新聞で「今度のAIは、パラメータが何千億個ある」という話を聞きますね。

誤解されやすいのですが、パラメータは「入力を保存する箱」ではありません。
入力されたベクトルを「どのように変換するか」を決める
「判断のつまみ」のようなものです。

代表的なものが「重み（Weight）」と「バイアス（Bias）」です。
重みは、どの情報をどのくらい重視するかを決めます。
バイアスは、計算結果を微調整するための補正値です。

③ Transformerとは何か？

LLMのほぼすべてが「Transformer」と呼ばれる設計（アーキテクチャ）を採用しています。

2017年、Vaswaniらが発表した論文「Attention Is All You Need」が起点です。これが劇的に性能を向上させた起点になってます。

Transformerの最大の特徴は「アテンション（注意機構）」と呼ばれる仕組みです。

文章の中で、どの言葉がどの言葉と関係しているか？計算しながら、文脈を理解します。

例えば「彼女は銀行に行った。そこで何かを預けた」という文章があるとします。

「そこ」が「銀行」を指すことを、Transformerはアテンションで把握します。

これが人間の「文脈を読む」という能力に比較的近い処理です。
まぁ。完全に空気を読めるわけではないのであくまで推論です。

※この辺を理解するには「中国語の部屋」がわかりやすいです。
1980年・哲学者ジョン・サール「中国語の部屋」
AIは言葉の『意味』を理解しておらず、
単にルールに従って処理しているだけ。
という思考実験です。

4️⃣ 「翻訳工場」のたとえで全体を整理する

ここまでの話を、たとえを使って整理してみます。

AIは、巨大な「文章の翻訳工場」だと思ってください。

人間が書いた文章は、工場の機械にそのまま入れられません。
まず、小さな部品（トークン）に分解され、番号札（トークンID）が貼られます。

次に、その番号札は「意味の地図」上の「位置情報」（埋め込みベクトル）に変換されます。似た意味の言葉は近くに、違う意味の言葉は遠くに配置されます。

工場の中には、無数の「つまみ」（重み＝パラメータ）があります。
どの部品をどのくらい強く見るか、どの関係を重視するかを決めます。

工場全体の「機械の並び方」「作業の流れ」「計算の設計図」が、アーキテクチャ（Transformer）です。

工場が何度も「試作品（出力）」を作り、正解との差（損失）を測り、つまみを少しずつ直していく。

この繰り返しが「訓練」であり、AIが賢くなるプロセスです。

工場の設計図がアーキテクチャで、工場が稼働できるようになった状態が「完成したモデル」です。

日々使っている汎用AIは、こんな感じの工場を使って「返事を出している」のです。

5️⃣ 「訓練」と「推論」は、まったく別のハナシ

ここが多くの方が混同するポイントです。
AIには大きく分けて「訓練」と「推論」の2段階があります。

ちなみに、⑩「勾配降下法」で訓練するとは、
私たちが日々ChatGPTに質問しているときの話ではありません。
それは、モデルを「作るとき」の話です。

私たちが質問して返答が返ってくる瞬間は「推論」です。
この時点では、モデル本体の重みは書き換わっていません。
ここをごっちゃにしていると、AIの理解がいつまでも曖昧なままになってしまいます。ご注意ください。

※勾配降下法とは
AIが誤差を最小にするために「目隠しをして山の頂上から谷底（最小値）へ下りていく」ような仕組み。下山に似ている。
現在地の「勾配（傾き）」を計算して、下り坂の方向へ少しずつパラメータ（重み）を更新して、最終的に誤差が最も少ない状態を見つけます。

訓練のステップ⑧⑨⑩

6️⃣ ココで私の論文との関係性を解説

ここまでLLMの処理の話をしてきました。
「なぜこの話をするのか」を、少しだけ説明させてください。

2026年3月、言語処理学会 第32回年次大会（NLP2026）
論文を発表しました。
RAG時代の言語資源設計原理
―構造化テキストによる『参照可能性』の実証」
https://anlp.jp/proceedings/annual_meeting/2026/pdf_dir/Q5-8.pdf

論文の核心はこんな感じです。▼

本文を全文そのままドカッとAIに食べさせるよりも、読みやすいかたちに整えた「構造化データ」を渡したほうが、検索精度は11.1倍上がりました。これが論文に書いた実験の話しです。

実は、論文の中で、もう一つ強調したいポイントがあります。

構築したデータセットには、意図的な「空欄」があります。
不確実な情報は「なし」などの文字列で埋めるのではなく、スキップしました。

なぜか？

実験の結果、空欄項目をスキップする方が、「なし」で埋めるより高い検索精度が出たからです。

確実な情報だけを入れる方が、RAGの参照精度が上がる。
不確実な情報を無理に埋め込むことは、ノイズになる。

これは、前述のLLMの処理の話とつながっています。
AIはトークン化してベクトル化して計算します。
余計な情報が入ることで、本来参照すべき信号が弱くなる。
だから純粋な情報だけを渡す方が、AIにとって「見つけやすい」のです。

量は質ではない。純度こそ質である。

論文と実験は、いろんな事に応用可能な原理だったのです。

7️⃣ ビジネスパーソンへの示唆

さて、「で、自分の仕事にどう関係するの？」と思いますよね？
AIを使う人にとって必要になるスキルが少しずつ変わってきています。

以前は、「いかに多くの情報をAIに食わせるか」という発想でした。
大量のPDFを読み込んで、長い文章を渡して、たくさん覚えさせる。

でも今日の話を踏まえると、これは必ずしも正しくありません。

AIに沢山読ませるのではなく、AIが読んで解るように加工する。
これが新しく必要な仕事です。

・自社のノウハウを、構造化されたメタデータの形で整理する
・長文マニュアルを、検索可能な「仕様書」の形に変換する
・「読み物」として書かれた資料を、「AIが参照できる資源データ」として再設計する

これが、これからのAI活用の核心になっていきます。
「大量の文章を食わせる」ではなく、「構造化された参照点を設計する」という発想。

単なるSEO対策の延長線で語られる、AIOとは一味違います。
多くのECサイトや、企業サイトも、この考えで作られつつあるのです。

まとめ

AIが読みやすく、分かりやすい形に、コンテンツを設計し直すことです。

「量は質ではない。純度こそ質である。」

これが、今日のいちばん大事なメッセージです。

LLMとRAGの違い
パラメータとは何か
訓練と推論の違い

一般ビジネスマン向けに解りやすくまとまったものは、ありそうで、無かったので書きました。

もしモヤってた事が少しでもクリアになってもらえたら嬉しいです。

ではまたnoteでお会いしましょう。

池松潤
https://lit.link/junikematsu

※異論・反論・オブジェクション等あればコメント欄へお願いします。
※本記事は筆者個人の見解であり、所属組織の公式見解を代表するものではありません。

noteマガジンはこちら▼

#AI #生成AI #AIプロダクト #AIエージェント #ナレッジマネジメント #編集者 #出版 #AIナレッジエンジニア #人格設計 #記憶設計