ニューラルネットワークを目で理解する

はじめに

AI（人工知能）とは、極めて多様な技術の総称ですが、その多くは共通の概念をもちます。それは、AIとは入力データ X を受け取り、出力データ Y を生成する一つの「関数 F」である、という考え方です。

どんなに複雑なAIも、突き詰めればこのシンプルな形で表現できます。

• 入力 (X): 画像、文章、音声、センサーの数値など
• 関数 (F): AIモデルそのもの
• 出力 (Y): 画像の認識結果、翻訳された文章、生成された画像など

そして、AIの学習の目標は、この関数Fを、現実世界を支配する「真の関数」に近づけることです。本記事では、この$Y = F(X)$という視点に基づき、簡単なAIを実際に作りながら、AIが「真の関数」を探求するプロセスを体験的に理解していきます。

Google Colaboratory

Google Colaboratory（略してColab）は、Googleが提供している基本無料のサービスで、Webブラウザ上で直接Pythonのプログラムを実行できます。とにかく環境構築がいらないのが最大のメリットで、PCやスマホで実行することができます。

今回の実験のプログラムをColaboratoryノートブックとして共有します。ぜひ自身の手で動いているところを確認しながら、AIおよびNNに対する理解を深めて下さい。

Google Colab

colab.research.google.com

Google Colab

colab.research.google.com

簡単な問題

まずは、とてもシンプルな問題から始めましょう。

【問題】物件の広さから家賃を予測

つまり、家賃 = F(物件の広さ) となる最適な関数 F を見つけるのがゴールです。

本当は家賃は広さだけで決まりませんが、ここではそういう単純な世界を仮定します。神になった気持ちで、この世界の「真の法則」を 家賃 = 2300 × 広さ + 30000 だと決めてしまいましょう。

この法則に従って、いくつかの物件データをランダムに生成してみます。ただし、現実のデータには必ず観測誤差（ノイズ）が含まれるので、それも少し加えてみましょう。

さて、ここからが本番です。

私たちが手にしているのは、青い点（観測データ）だけ。この断片的な情報から、赤い線で示された「真の法則」をいかにして見つけ出すか。それこそがAIの挑戦です。

データ（青い点）の分布をじっと眺めると、どうやら「広くなるほど家賃が高くなる」という直線的な関係がありそうです。そこで、私たちはAIのモデル（関数の形）を、シンプルな直線で表現することに決めました。

この場合AIの学習とは、手元のデータを最もよく説明できる「最適な」パラメータ a と b を見つけ出すプロセスです。

では、何をもって「最適」と判断するのでしょうか？

それは、AIの予測値と実際の家賃との誤差を計算し、その総量が最も小さくなる状態を「最適」と定義します。つまり、手元のデータ全体を最も上手く説明できる直線を探す、ということです。

誤差の計算方法は色々ありますが、最も一般的なのが平均二乗誤差 (MSE) です。これは、各データでの誤差を2乗して（マイナスを消すため）、その平均をとる方法です。

AI学習の目標は、この誤差関数 E の値が最小になるような a と b を見つけることに他なりません。

今回の y = ax + b のようなシンプルなモデルでは、この誤差関数を最小化する a と b を、微分を使った計算一発で求めることができます。このように、計算式で解がピタッと求まることを「解析的に解ける」と言います。

計算で求めたパラメータは a = 2294.4, b = 31833.3 となり、神のみぞ知る真のパラメータ（a=2300, b=30000）に非常に近い値になりました。

緑の線が、AIがデータから学習して導き出した「最適」な予測直線です。データ全体の傾向を見事に捉えています。

複雑な問題

次はもう少し複雑な問題に挑戦しましょう。

【問題】コーヒーを飲んだ後のカフェイン血中濃度の推移を予測

この世界の真の関数は $y = a \cdot x \cdot e^{b x}$ という、山なりのカーブを描く少し複雑な形だとします。

前回のモデルと違い、この関数の誤差関数は微分しても「a = ..., b = ...」という綺麗な形に変形できません。つまり、解析解が存在しません。

そこで登場するのが勾配降下法です。これは一気に誤差関数が最小になる点を見つけようとするのではなく、「誤差が減るだろう方向」に微調整を何度も繰り返すことで、最適なパラメータを見つける方法です。この、「誤差が減るだろう方向」こそが微分、つまり勾配です。

1. スタート地点を決める: まず、パラメータ a, b を適当な初期値に設定します。
2. 傾きを調べる: その地点での「勾配（最も傾きが急な方向）」を微分で計算します。
3. 少し進む: 勾配が最も下を向いている方向に、パラメータ a, b をほんの少しだけ動かします。
4. 繰り返す: 2と3を何度も何度も繰り返します。

これを繰り返すことで、最終的に誤差が最も小さくなる地点（最適パラメータ）にたどり着くことができます。

実際に、この方法で最適パラメータを探してみましょう。

どうでしょうか。ある程度はデータの分布にかぶっています。が、とても満足とは言えない結果になりましたね。

誤差関数が、なんどもアップダウンを繰り返すような複雑な形になることは珍しくありません。すると、ちょっとしたくぼみを「最適」と勘違いして学習をやめてしまうことがあります。この問題を解決するために、AIのパラメータ調整にもさまざまな技術が開発されました。

その一つがモメンタム (Momentum) です。ボールが転がる際に「慣性」を持たせるような仕組みで、よりスムーズに、そして速く谷底に到達できます。(もちろん確実ではないですが)

モメンタムを加えたことで、a は2.50、b は-0.79と、真の値（a=2.5, b=-0.8）に近づき、誤差も小さくなりました。このように、最適化の方法も、AIを効果的に学習させる上で非常に重要な選択です。

ニューラルネットワーク

さて、ここまでは「AIの関数の形が$y = a \cdot x \cdot e^{b x}$である」と設定しました。これは真の関数と同じ形をしているため、適切に学習を行えばパラメータが一致することに不思議はありません。しかし、現実の問題では、データの背後にある真の関数の形など誰にもわかりません。

ニューラルネットワークは、単純な計算を行う「ノード」を大量につなぎ合わせた関数です。ノードの数や層の数を増やすことで、理論上どんなに複雑な関数でも真似することができます。では、今回の関数はどうでしょうか。

まずは、中間層が1層で、ノード数が10個という比較的小さなニューラルネットワークで学習させてみます。

関数の形を一切教えなかったにもかかわらず、ニューラルネットワークはデータから山なりのパターンを自動で学習し、真の関数とかなり重なる予測をすることができました。

ニューラルネットワークは表現力が高いのが強みです。では、モデルをより大きくすれば性能はもっと上がるのでしょうか？中間層を8層に増やして実験してみましょう。

過学習を防ぐためのテクニックも数多く存在し、その代表例が Dropout です。これは、学習中にランダムに一部のノードを「休ませる」ことで、モデルが訓練データに依存しすぎるのを防ぐ手法です。

Dropoutを加えたことで、予測線の動きが抑えられています。MSEの値も0.0160にまで改善しました。

あらためて：ここまでの実験について

今回の内容を実際に手を動かしながら試してみたい方は、以下のGoogle Colaboratoryノートブックをご利用ください。

Google Colab

colab.research.google.com

Google Colab

colab.research.google.com

おわりに

もっと深く広く知りたい方へ

おすすめ記事

AIをつくる側になるための考え方

「AIで仕事を自動化したいけど、何から学べば…？」その答えは、AIを「入力→出力」というシンプルな箱として捉えることにあります。この記事を読めば、AIの専門用語に惑わされず、その本質的な仕組みが分かります。「AIを作ってみたい」「AIで業務を効率化したい」と考えるあなたのための、第一歩となる知識がここにあります。

AIをつくる側になるための考え方

「AIで仕事を自動化したいけど、何から学べば…？」その答えは、AIを「入力→出力」というシンプルな箱として捉えることにあります。この記事を読めば、AIの専門用語に惑わされず、その本質的な仕組みが分かります。「AIを作ってみたい」「AIで業務を効率化したい」と考えるあなたのための、第一歩となる知識がここにあります。

蛇足