■ニューラルネットワークの基礎を初心者向けに解説してみる | ロボット・IT雑食日記
https://www.yukisako.xyz/entry/neural-network

わかりやすい。

・基本形は、入力信号Xに重みwをかけて、定数値+bを足し、fをかけて、出力yを出す
f(x)=1/1+e-zで表せ、これを「シグモイド関数」と呼ぶ

・入力xを複数使って、出力yも複数出せる
・入力xと出力yの間に中間層を入れることができる
・シグモイド関数の変数をかえて、パルス派をつくることできる
・パルス派を組みあわせることで近似値ができる

■活性化関数とは
https://newtechnologylifestyle.net/%E3%82%84%E3%81%A3%E3%81%B1%E3%82%8A%E3%82%88%E3%81%8F%E5%88%86%E3%81%8B%E3%82%89%E3%81%AA%E3%81%84%E6%B4%BB%E6%80%A7%E5%8C%96%E9%96%A2%E6%95%B0%E3%81%A8%E3%81%AF/


1つのニューロンへの入力は、
入力(X1 , X2 , X3)に重み(W1 , W2 , W3)をかけ合わせた
値にバイアス(b)を足した値だが
この合計値に対して、特定の関数を経由することで最終的な出力値を決定します。

その出力値を決定する関数が活性化関数、つまりfのこと
活性化関数＝シグモイド関数

なお、活性化関数にはシグモイド関数以外にもいろいろある
・シグモイド関数
・ソフトマックス関数
・恒等関数
・ReLU

・シグモイド関数

→「0または1」という2つの解を求める場合に使用。
　動物なら、猫か犬か→犬か犬ではないか
　犬の確率が20%なら、猫になる
　確率に変換

・ソフトマックス関数
　多クラスで使用、「犬、猫、ライオン、熊」とか
　犬=>0%、猫=>60%、ライオン=>20%、熊=>20%
　最終的な合計値が1となるように算出することが特徴
　確率に変換

・恒等関数
　確率に変換せず、そのまま受け取った値を出力
　
・ReLU
　入力値の合計値が0以下の場合は出力値が0となり、
　0以上の場合は、そのまま入力値（恒等関数）が出力値
　
　つまり、入力の値がマイナスだった場合は0という一定値を出したいときに使用
　
■高卒でもわかる機械学習
http://hokuts.com/2015/11/24/ml0/
全７回（あとで読む）
誤差関数のことを調べているときに見つけた