G検定 学習ノート｜Day 8

日付: 2026-04-08（水）
参考テキスト:「ディープラーニング　G検定公式テキスト　第3版」
範囲: 公式テキスト 第2章 2-3「機械学習・深層学習」（p.91–107）
ステータス: #g検定 #day8 #第2章

📋 本日のタスク

• 第2章 2-3「機械学習・深層学習」（p.91–107）を読む

• 機械学習の基本概念（特徴量・次元の呪い・特徴表現学習）を理解する

• ニューラルネットワークの歴史的な3つのブームを整理する

• ディープラーニングがなぜ画期的だったかを説明できるようにする

• LLM・トランスフォーマー・ChatGPTの登場まで流れをつかむ

🚀 はじめに（Day 8の記録）

G検定チャレンジ8日目です。

Day 7では「知識表現」として、人間の知識をコンピュータに手動で入力しようとした時代を学びました。でも実は、AIの歴史にはもう1本の大きな流れがあります。

👉 「ルールを人間が書くのではなく、データから自動で学ぶ」

それが今日のテーマ、機械学習・深層学習です。この節は現代AI（ChatGPTなど）の直接の祖先にあたります。

⚡ 今日の結論（いきなり核心）

👉 「機械学習はデータからパターンを自動で学ぶ。特徴量を人が選ぶ限界を超えたのがディープラーニング。そのディープラーニングが言語まで扱えるようになったのがLLM・ChatGPTだ。」

📘 今日の学習内容

• 1. 機械学習の基礎

  • データの増加と機械学習の実用化

  • 次元の呪い（特徴量が増えると問題が起きる）

  • 統計的自然言語処理とコーパス

  • 特徴量設計と特徴表現学習

• 2. ニューラルネットワークの歴史

  • 形式ニューロンとパーセプトロン

  • 第1次・第2次ニューラルネットワークブーム

  • 誤差逆伝播法（バックプロパゲーション）

  • LeNet・オートエンコーダ・サポートベクターマシン

• 3. 新時代を切り開くディープラーニング

  • ILSVRC 2012とAlexNetの衝撃

  • 第3次ニューラルネットワークブーム

  • 人間の認識率を超える

• 4. 大規模言語モデル（LLM）の登場

  • トランスフォーマーとアテンション

  • LLM・事前学習・ファインチューニング

  • GPT・ChatGPT

🟥 機械学習とは

👉 「人工知能のプログラム自身がデータから学習する仕組み」

従来のプログラムは人間が「こういうときはこう動け」とルールを書く必要がありました。機械学習では、大量のサンプルデータを与えることで、コンピュータが自分でデータに潜むパターンを見つけます。

従来のプログラム：
人間がルールを書く → コンピュータが実行

機械学習：
大量のデータを与える → コンピュータが自分でパターンを学習

✔ サンプルデータが多ければ多いほど学習結果が良くなる
✔ 例：犬と猫の分類 → 画像データが多いほど精度向上

👉 一言
「データが多ければ多いほど賢くなる」

🟥 次元の呪い

👉 「データの特徴（次元）が増えると、学習に必要なデータ量が爆発的に増える現象」

機械学習では、データを複数の「特徴」の組み合わせで表します。例えばアパートの賃料予測なら「広さ」「築年数」「最寄り駅からの距離」などが特徴です。

特徴が2つ（広さ・築年数）　→ 2次元データ
特徴が3つ（+最寄り駅）　　 → 3次元データ
特徴が100個　　　　　　　 → 100次元データ

特徴が増えるほど、「データ空間の広さ」が広がり、同じ密度でデータを集めるには指数関数的に多くのデータが必要になります。

✔ 対処法：「次元（特徴量）を減らす工夫」か「多様で質の高いデータを大量に用意する」

👉 一言
「特徴を増やすとデータが足りなくなる、これが次元の呪い」

🟥 ビッグデータとルールベースの手法

👉 「2000年以降のインターネット普及で大量データが蓄積され、機械学習が実用化された」

1990年にWorldWideWebが登場し、爆発的にデータが増加。それまでは十分なデータがなかったためルールベースの手法（人間がルールを事前に設定）が主流でした。

ルールベースの手法：
メリット → 振る舞いを厳密に予測できる / 特定用途で高精度
デメリット → ルール設定が困難 / 想定外の状況に弱い
現在も → 医療・金融など高信頼性が必要なシステムで利用

2000年以降、ビッグデータ（インターネットの成長とともに蓄積された大容量データ）の登場で機械学習が一気に注目されます。レコメンデーションエンジン（ユーザーの好みを推測）やスパムフィルタ（迷惑メール検出）がその代表例です。

👉 一言
データの海ができて初めて、機械学習は泳げるようになった」

🟥 統計的自然言語処理とコーパス

👉 「膨大な対訳データ（コーパス）をもとに、確率で最も正解に近い翻訳を選ぶ手法」

従来の翻訳は文法構造を解析して単語単位で訳を当てていましたが、統計的自然言語処理では句または文節単位で処理し、大量の対訳データから最も確率が高い訳を選びます。

「bank」の翻訳問題：
  "I have money in the bank"    → 「銀行」（moneyやinと一緒→銀行の確率高）
  "Flowers on the bank"         → 「土手」（flowerやonと一緒→土手の確率高）

コーパス：機械学習の学習用に用意された膨大な対訳データのこと。

👉 一言
「コーパスという大量の翻訳事例から、確率で答えを選ぶ」

🟥 特徴量設計と特徴表現学習

👉 「機械学習の性能は、どの特徴量（注目すべきデータの特徴）を選ぶかで決まる」

ビールの売り上げ予測をしたいとき、「気温」に注目すれば高精度な予測ができますが、「店舗の壁の色」に注目しても無意味です。

人間が特徴量を選ぶ（従来の機械学習）：
データ → 【人間が特徴量を選択】→ 特徴量 → 機械学習（分類・予測）

機械学習が自分で特徴量を見つける（特徴表現学習）：
データ → 【機械学習自身が特徴量を抽出】→ 特徴量 → 分類・予測

この「機械学習が自分で特徴量を発見する」アプローチを特徴表現学習と呼びます。そしてディープラーニングは、特徴表現学習を行う機械学習アルゴリズムの1つです。

✔ ディープラーニングは「判断理由が示せないブラックボックス型のAI」と言われる理由もここにある（特徴量の意味をコンピュータ自身が説明できない）

👉 一言
特徴量を人が選ぶ限界をなくしたのが、特徴表現学習＝ディープラーニング」

🟥 ニューラルネットワークとパーセプトロン

👉 「生物の神経回路を真似た機械学習モデル」

ニューラルネットワークの歴史：

1943年  形式ニューロン（マカロック＆ピッツ）
         └ 神経細胞を数式で表現。学習はできない。

1958年  パーセプトロン（ローゼンブラット）
         └ 入力の「重み」を調整して学習できる！
         └ 直線で分離可能な分類問題を解ける

1969年  パーセプトロンの限界（ミンスキー）
         └ 直線で分離できない問題（XOR問題）は解けない
         └ ニューラルネットワーク研究がいったん下火に
         → ⬇ 第1次ニューラルネットワークブーム終焉

✔ パーセプトロンの仕組み：複数の入力に「重み」をかけて足し合わせ、出力を決める。この「重み」の調整が「学習」にあたる。

👉 一言
「パーセプトロンは直線で世界を二分割できる、でも曲線には手が出ない」

🟥 誤差逆伝播法とディープラーニングの登場

👉 「多層化したニューラルネットワーク全体を学習させる技術がバックプロパゲーション」

1986年  誤差逆伝播法（ラメルハート）
         └ 多層パーセプトロン全体を学習させることが可能に
         → ⬆ 第2次ニューラルネットワークブーム開始

1979年  ネオコグニトロン（福島邦彦）
         └ 生物の視覚系を模倣したネットワーク構造を提案

1989年  LeNet（ヤン・ルカン）
         └ ネオコグニトロンと同等のアイデア＋誤差逆伝播法で学習
         └ 「畳み込みニューラルネットワーク」の基礎を築く

1992年〜 サポートベクターマシン（ベル研究所・ヴァプニク）
         └ 機械学習の新たなアプローチとして人気を集める
         → ⬇ 第2次ニューラルネットワークブーム終焉（1990年代中頃）

✔ 第2次ブームが終わっても研究者たちは諦めず、オートエンコーダ（入力と同じものを出力するよう学習して層を深くする手法）や活性化関数の工夫で層を深くしても学習できる方法を開発し続けた。

👉 一言
「バックプロパゲーションで多層化が可能になったが、まだ壁が残っていた」

🟥 ILSVRC 2012とAlexNetの衝撃

👉 「2012年、ディープラーニングが画像認識の常識を一変させた瞬間」

ILSVRC（ImageNet Large Scale Visual Recognition Challenge）は、1000万枚の画像を使って「何が写っているか」を当てる精度を競う世界大会です。

2012年 ILSVRC 結果：

1位 SuperVision（トロント大学・ジェフリー・ヒントン）     エラー率 15.3%
2位 ISI（東大）                                      エラー率 26.1%
3位 OXFORD_VGG（オックスフォード大学）                  エラー率 26.7%

→ 2位に10%以上の差をつけての圧勝！
→ 使用モデルが「AlexNet（ディープラーニング）」

✔ 当時の常識：特徴量の選択は人間の職人芸だった（既に職人芸の極みで26%台が限界）

✔ 2015年：ディープラーニングが人間の認識エラー率**4%**を超え、人間を上回る

👉 一言
「AlexNetが10%の壁を打ち破り、第3次ニューラルネットワークブームが始まった」

🟥 トランスフォーマーとLLMの登場

👉 「単語と単語の関係性を広範囲に学習する技術が、ChatGPTにつながった」

ニューラルネットワーク全体の進化：
機械学習
 └ ニューラルネットワーク
    └ ディープラーニング（深層学習）
       └ CNN（画像認識）
       └ RNN・LSTM（文章の順番を処理）← 単語が多いと学習が遅い
       └ トランスフォーマー（2017年・Google）
              └ アテンション（注意力）で単語間の関係性を並列処理
              └ LLMの基盤技術

アテンション（注意力）：文中の単語が「他のどの単語と関係が深いか」を数値化して学習する仕組み。「彼女は〜満足だった」と「彼女は〜喜んでくれた」では「彼女」と関係する単語が違うことを学習できる。

LLM（Large Language Model：大規模言語モデル）：大量の文章データを事前学習し、言語の構造・文法・語彙などを学んだ巨大なモデル。

GPTのスケール：
GPT-2（2019年）  → 約15億パラメータ
GPT-3（2020年）  → 約1750億パラメータ
GPT-4（2023年）  → 1兆個超のパラメータ

✔ 事前学習：LLMが大量の文章から言語の基本を学ぶフェーズ

✔ ファインチューニング（微調整）：特定のタスクや応用分野に合わせて追加学習させるフェーズ

✔ ChatGPT（2022年11月）：GPTをベースにした対話AIサービス。日本政府が行政業務に導入を決めたことでも話題に。

👉 一言
「トランスフォーマーが言語の関係性を並列処理できるようにし、LLM・ChatGPTへの道を開いた」

🟥 ディープラーニングの変遷まとめ

1943  形式ニューロン（マカロック＆ピッツ）
1958  パーセプトロン（ローゼンブラット）
1969  パーセプトロンの限界（ミンスキー）← 第1次ブーム終焉
1979  ネオコグニトロン（福島邦彦）
1986  誤差逆伝播法（ラメルハート） → 第2次ブーム開始
1989  LeNet（ヤン・ルカン）
1992  サポートベクターマシン（ヴァプニク）
1995頃 第2次ブーム終焉
2006  ジェフリー・ヒントンがディープラーニング研究を牽引
2012  AlexNet がILSVRCを圧勝 → 第3次ブーム開始
2015  人間の画像認識エラー率4%を超える
2016  AlphaGoが世界トップの囲碁棋士を破る
2017  トランスフォーマー（Attention Is All You Need）
2022  ChatGPT 登場

🎯 試験直前チェック

• 機械学習：AIのプログラム自身がデータからパターンを学習する仕組み

• サンプルデータ：機械学習の学習用データ

• 次元の呪い：特徴量が増えると必要なデータ量が爆発的に増える現象

• ルールベースの手法：人間がシステムの振る舞いを事前にルールで決める方法

• ビッグデータ：インターネットの成長とともに蓄積された大容量データ

• レコメンデーションエンジン：ユーザーの好みを推測するシステム

• スパムフィルタ：迷惑メールを検出する機械学習の応用例

• 統計的自然言語処理：大量の対訳データを使って確率的に翻訳する手法

• コーパス：機械学習の学習用に用意された大量の対訳・文章データ

• 特徴量：注目すべきデータの特徴を数値化したもの

• 特徴表現学習：機械学習自身が特徴量を自動で発見・抽出する手法

• ニューラルネットワーク：生物の神経回路を真似た機械学習モデル

• 形式ニューロン：1943年、神経細胞を数式で表したモデル（学習不可）

• パーセプトロン：1958年、ローゼンブラットが提案した学習可能なニューロンモデル

• 誤差逆伝播法（バックプロパゲーション）：1986年、多層ネットワーク全体を学習させる手法

• ディープラーニング（深層学習）：深く多層化したニューラルネットワークを使った特徴表現学習

• LeNet：1989年、ヤン・ルカンが提案した畳み込みニューラルネットワーク

• オートエンコーダ（自己符号化器）：入力と同じ出力を学習することで層を深くする手法

• サポートベクターマシン：1992〜95年に登場した別の機械学習アプローチ

• ILSVRC：画像認識の精度を競う国際コンテスト

• AlexNet：2012年にILSVRCを圧勝したジェフリー・ヒントン率いるディープラーニングモデル

• トランスフォーマー：2017年Googleが提案した、アテンション機構に基づく言語モデルの基盤技術

• アテンション（注意力）：単語と単語の関係性を広範囲に学習する仕組み

• LLM（大規模言語モデル）：大量のテキストを事前学習した巨大な言語モデル

• 事前学習：LLMが大量文章から言語の基本構造を学ぶフェーズ

• ファインチューニング（微調整）：特定タスクに合わせてLLMを追加学習させること

• GPT（Generative Pre-trained Transformer）：OpenAIが開発した大規模言語モデルシリーズ

• ChatGPT：2022年11月登場。GPTをベースにした対話AIサービス

🧠 30秒暗記フレーズ

👉 機械学習はデータからパターンを学ぶ。特徴量が増えると「次元の呪い」に。ルールベースからビッグデータ時代へ。ニューラルネットは第1次（パーセプトロン）→第2次（バックプロパゲーション・LeNet）→第3次（AlexNet2012・人間超え2015）と進化。2017年トランスフォーマーのアテンションで言語の関係性を学習、LLM・ChatGPT（2022）へ。

💬 今日の感想・気づき

機械学習の歴史は「ブームと冬の時代」の繰り返しでした。でもブームが去っても信じ続けた研究者たちが地道に積み重ねてきたからこそ、今日のChatGPTが生まれたのだと感じました。

特に印象的だったのは、AlexNetが2位に10%以上の差をつけたこと。世界中の職人芸を持つ研究者を、「データに学ばせる」というアプローチが一気に飛び越えたのは、AIの歴史における本当の転換点だと思います。

👉 「ブームが去っても信じ続けた研究者たちの執念が、現代AIを生んだ」

📅 次回予告

第2章 2-4「機械学習の具体的手法」（p.108〜）

👉 機械学習の実際のアルゴリズム（教師あり・なし学習、過学習と正則化など）を学ぶ