Softmax 函數

Softmax 函數將K個實數嘅向量轉做K個可能結果嘅概率分佈，係 logistic 函數向多維嘅推廣。Softmax 常用喺人工神經網絡度做最尾一個啟動函數，嚟標準化個網絡嘅輸出成為各類輸出嘅概率分佈。

定義

Softmax 函數攞個向量$\mathbf {z}$做輸入，當中有K個實數；並將佢標準化做K個概率嘅分佈。呢啲概率同啲輸入實數嘅冪成正比。即係話，應用 softmax 前，個向量入面有啲數可能係負數或大過一，加埋亦可能唔等於一；應用 softmax 後，每個數都會喺$(0,1)$呢個間距，而成個向量所有數嘅總和會係一，可以當做概率。輸入數值越大，輸出概率越高。

正式嚟講，softmax 函數$\sigma :\mathbb {R} ^{K}\to (0,1)^{K}$（$K\geq 1$）定義做：

$$\sigma (\mathbf {z} )_{i}={\frac {e^{z_{i}}}{\sum _{j=1}^{K}e^{z_{j}}}}\ \ {\text{ for }}i=1,\dotsc ,K{\text{ and }}\mathbf {z} =(z_{1},\dotsc ,z_{K})\in \mathbb {R} ^{K}.$$

換而言之，softmax 應用標準指數函數落$\mathbf {z}$入面K個數$z_{i}$，並將佢哋除以呢啲冪嘅和。

廣義上，個指數函數嘅基數b可以係任何b > 0，唔一定要係e。