畳み込みニューラルネットワーク

畳み込みニューラルネットワーク（たたみこみニューラルネットワーク、英: convolutional neural network、略称: CNNまたはConvNet）は、畳み込みを使用しているニューラルネットワークの総称である。画像認識や動画認識、音声言語翻訳^[1]、レコメンダシステム^[2]、自然言語処理^[3]、コンピュータ将棋^[4]、コンピュータ囲碁^[4]などに使用されている。

数式表記

畳み込みニューラルネットワークの定義は厳密に決まっているわけではないが、画像認識の（縦, 横, 色）の2次元画像の多クラス分類の場合、以下の擬似コードで書かれるのが基本形である^[5]。ここから色々なバリエーションが作られている。損失関数は交差エントロピーを使用し、パラメータは確率的勾配降下法で学習するのが基本形である。これらの偏微分は自動微分を参照。

以下の繰り返し
    畳み込み層と活性化関数
    最大値プーリング
ベクトルに平坦化（flatten）
以下の繰り返し
    全結合層と活性化関数
ソフトマックス関数

畳み込み層

基本形は、入力 $\mathbf {X} (H_{\text{in}},W_{\text{in}},C_{\text{in}})$ とカーネル $\mathbf {K} (H_{\text{kernel}},W_{\text{kernel}},C_{\text{in}},C_{\text{out}})$ とバイアス $\mathbf {B} (C_{\text{out}})$ から出力 $\mathbf {Y} (H_{\text{out}},W_{\text{out}},C_{\text{out}})$ を下記で計算する。カーネルとバイアスが学習対象である。

\mathbf {Y} (i,j,n)=\left(\sum _{k}\sum _{l}\sum _{m}\mathbf {K} (k,l,m,n)\mathbf {X} (i+k,j+l,m)\right)+\mathbf {B} (n)

より一般的な畳み込みは以下のように PyTorch では実装している^[6]。 $C_{\mathrm {in} _{m}}$ はm番目の入力チャンネルを、 $C_{\mathrm {out} _{n}}$ はn番目の出力チャンネルを、 $\star$ は相互相関関数を意味する。

\mathrm {output} (C_{\mathrm {out} _{n}})=\left(\sum _{C_{\mathrm {in} _{m}}}\mathrm {kernel} (C_{\mathrm {in} _{m}},C_{\mathrm {out} _{n}})\star \mathrm {input} (C_{\mathrm {in} _{m}})\right)+\mathrm {bias} (C_{\mathrm {out} _{n}})

すなわち各出力チャンネルごとに入力チャンネル $C_{\mathrm {in} }$ 枚分のカーネル $\mathrm {kernel} (C_{\mathrm {in} _{m}},C_{\mathrm {out} _{n}})$ が用意され、入力の各チャンネルのカーネルを用いた畳み込みの総和へバイアス項 $\mathrm {bias} (C_{\mathrm {out} _{n}})$ が加算され、出力の各チャンネルとなっている。

畳み込み自体にその様な制限があるわけではないが、PyTorch 2.3 現在は、式からわかるように、入力チャンネル間は畳み込み処理ではなく和で計算され、また入力チャンネル $\mathrm {input} (C_{\mathrm {in} _{m}})$ に畳み込まれるカーネル $\mathrm {kernel} (C_{\mathrm {in} _{m}},C_{\mathrm {out} _{n}})$ は出力チャンネルごとに異なるという実装になっている。引数 groups を指定するとここら辺の挙動も変わる。

カーネルはしばしばフィルタと呼ばれる^[7]。これは位置関係をもつ重みづけ和のスライド演算（畳み込み）がフィルタ適用と等価なことに由来する。

畳み込み処理自体は単純な線形変換である。出力のある1点を見ると局所以外の重みが全て0の全結合と等価であることからこれはわかる。多くのCNNでは畳み込み処理に引き続いてシグモイド関数やReLUなどの活性化関数による非線形変換をおこなう。^[要出典]

活性化関数

活性化関数がReLUの場合、入力 $\mathbf {X} (H,W,C)$ から出力 $\mathbf {Y} (H,W,C)$ を下記で計算する。学習するパラメータは無い。

\mathbf {Y} (i,j,k)=\max\{0,\mathbf {X} (i,j,k)\}

最大値プーリング

カーネルの大きさが $(p,q)$ の場合、入力 $\mathbf {X} (H_{\text{in}},W_{\text{in}},C)$ から出力 $\mathbf {Y} (H_{\text{out}},W_{\text{out}},C)$ を下記で計算する^[8]。学習するパラメータは無い。

\mathbf {Y} (i,j,m)=\max _{0\leq k<p,0\leq l<q}\mathbf {X} (pi+k,qj+l,m)

全結合層

ベクトルの全結合層は入力 $\mathbf {X} (C_{\text{in}})$ と重み $\mathbf {W} (C_{\text{in}},C_{\text{out}})$ とバイアス $\mathbf {B} (C_{\text{out}})$ から出力 $\mathbf {Y} (C_{\text{out}})$ を下記で計算する。重みとバイアスが学習対象である。

\mathbf {Y} (j)=\left(\sum _{i}\mathbf {W} (i,j)\mathbf {X} (i)\right)+\mathbf {B} (j)

事前知識

畳み込みニューラルネットワークはいくつかの事前知識がモデルに組み込まれている。これらは、1979年のネオコグニトロンの時に既に導入されている^[9]。

シフト不変性

畳み込みニューラルネットワークは、その重み（行列の）共有構造と並進不変特性に基づいて、シフト不変（shift invariant）あるいは位置不変（space invariant）人工ニューラルネットワーク（SIANN）とも呼ばれている^[10]^[11]。

シフト不変性は1979年のネオコグニトロンの時からそれを目的に畳み込みが導入されているが^[12]、実際には厳密に成立しているわけではなく、Aharon Azulay 等の2018年の調査では1ピクセルずらしただけで最大30%精度が悪化することがあることが指摘されていて^[13]、厳密にシフト不変性が成立する手法^[14]も研究されている。

局所的特徴

近くにあるピクセルは関係し合っているという事前知識を使用している。例えば、2次元画像の畳み込みニューラルネットワークにおいて、3x3ピクセルの畳み込みを使用するということは、その3x3ピクセルが関係し合っているという事前知識を使用している。^[9]

構造性

低次特徴を組み合わせて高次特徴を構成しているが、これは、部分が集まって全体が作られているという事前知識を使用している。^[9]

畳み込み層のバリエーション

畳み込みニューラルネットワークの核となる手法は畳み込み処理（convolution）であり、それには様々な変種がある。以下はその一例である。

点単位畳み込み

2次元画像の場合は、下記を点単位畳み込みと呼ぶ。

\mathbf {Y} (i,j,n)=\left(\sum _{m}\mathbf {K} (m,n)\mathbf {X} (i,j,m)\right)+\mathbf {B} (n)

$\mathrm {kernel} (C_{\mathrm {in} _{m}},C_{\mathrm {out} _{n}})$ がスカラーの畳み込みは点単位畳み込み（pointwise convolution）や1x1畳み込み（1x1 convolution）と呼称される^[15]。例えば2DConvにおける1x1カーネルがある。出力チャネル $C_{\mathrm {out} _{n}}$ に着目するとこの畳み込みは入力チャネルの加重平均とみなせる。あるいは各点（pointwise）での入力チャネルを跨いだ全結合とみなせる。処理全体では出力チャネルごとに異なる加重を用いて入力チャネル平均を取ることと同義である。利用目的には位置情報を保った（pointwiseな）変換、出力次元数 ${\textstyle C_{\mathrm {out} }}$ 調整などが挙げられる。実装上は最小カーネルによる畳み込みで表現される（例: 2DConvにおける ${\textstyle 1\times 1\times C_{\mathrm {in} }\times C_{\mathrm {out} }}$ カーネル）。全結合層（Linear）を用いても容易に表現できる。

深さ単位畳み込み

2次元画像の場合は、下記を深さ単位畳み込みと呼ぶ。 $C_{\mathrm {in} }=C_{\mathrm {out} }$ である。

\mathbf {Y} (i,j,n)=\left(\sum _{k}\sum _{l}\mathbf {K} (k,l,n)\mathbf {X} (i+k,j+l,n)\right)+\mathbf {B} (n)

グループ化畳み込みのグループ数をチャネル数と一致させる、すなわちチャネル間の和をなくしたものは深さ単位畳み込み（depthwise convolution）と呼称される^[16]。

グループ化畳み込み

畳み込みの変種としてグループ化畳み込み（grouped convolution）がある。通常の畳み込みでは全入力チャネルの畳み込み和を計算するが、グループ化畳み込みでは入出力チャネルをいくつかのグループに分割しグループ内で通常の畳み込みと和をおこなう^[17]^[18]。これによりカーネル枚数・計算量の削減、複数GPUを用いた学習、別技術と組み合わせた性能の向上などが可能になる（c.f. AlexNet, ResNeXt)。

深さ単位分離可能畳み込み

2次元画像の場合は、下記の深さ単位畳み込みして点単位畳み込みしたものを深さ単位分離可能畳み込みと呼ぶ。

\mathbf {Y} (i,j,m)=\sum _{k}\sum _{l}\mathbf {K} _{1}(k,l,m)\mathbf {X} (i+k,j+l,m)

\mathbf {Z} (i,j,n)=\left(\sum _{m}\mathbf {K} _{2}(m,n)\mathbf {Y} (i,j,m)\right)+\mathbf {B} (n)

深さ単位分離可能畳み込み（depthwise separable convolution）は空間方向の畳み込み層とチャネル方向の全結合層に分離した畳み込みモジュールである。すなわち通常の畳み込みを深さ単位畳み込み + 点単位畳み込みで置き換えるモジュールである^[19]。計算量・パラメータ量を1/10スケールで削減できる利点がある。

転置畳み込み

2次元画像の場合は、ストライドを $(p,q)$ とした時、下記の擬似コードで書かれるものを転置畳み込み（transposed convolution）と呼ぶ。 $p=q=2$ の時、最大値プーリングは約半分の大きさになるが、転置畳み込みは約2倍の大きさになる。^[20]

for i, j, k, l, m, n in それぞれの値域
     $\mathbf {Y} (pi+k,qj+l,n)$  +=  $\mathbf {K} (k,l,m,n)\mathbf {X} (i,j,m)$

逆畳み込み（decovolution）やfractionally-strided convolutionとも呼ばれるが、逆畳み込みは別の意味で使われている言葉なので誤用である。^[21]

プーリング層のバリエーション

現代では、最大値プーリングが基本形であるが、これも色々なバリエーションがある。

平均プーリング

2次元画像の場合は、カーネルの大きさが $(p,q)$ の場合、下記を平均プーリング（average pooling）と呼ぶ。^[22]

\mathbf {Y} (i,j,n)={\frac {1}{pq}}\sum _{k=0}^{p-1}\sum _{l=0}^{q-1}\mathbf {X} (pi+k,qj+l,n)

ネオコグニトロンやLeNetでは平均プーリングを採用していた。^[9]

グローバル平均プーリング

2次元画像の場合は、カーネルの大きさが $(p,q)=(H_{\text{in}},W_{\text{in}})$ の平均プーリングをグローバル平均プーリング（global average pooling）と呼ぶ。ベクトルに平坦化（flatten）して全結合層を適用する代わりに使用できる。^[23]

\mathbf {Y} (n)={\frac {1}{H_{\text{in}}W_{\text{in}}}}\sum _{i}\sum _{j}\mathbf {X} (i,j,n)

空間ピラミッドプーリング

カーネルの大きさが (1,1), (2,2), (4,4) のように、異なる大きさのプーリングを使用する手法を空間ピラミッドプーリング（spatial pyramid pooling）と呼ぶ。画像認識対象の物体の大きさが異なる場合に、事前知識としてスケール不変性を導入するために使用する。^[24]^[25]

畳み込みニューラルネットワークのバリエーション

畳み込みニューラルネットワークは畳み込み処理を用いたニューラルネットワークの総称である。畳み込みの種類、カーネルのサイズと層の関係、特殊なモジュールの有無などにより様々なサブタイプ（変種）が存在する。

Recurrent CNN

単純なCNNは順伝播型 (FFN)、すなわち浅い層から深い層へのみ結合をもつ。ただしCNNは2層間の結合様式を規定するクラスでありFFNと限らない^[要出典]。非FFN型CNNの一例として大局的に回帰結合をもち層間では畳み込みをおこなうRecurrent CNNが提唱されている^[26]。

Recurrent CNN（RCNN）は回帰結合を持つ畳み込みニューラルネットワークである^[27]。すなわちフィードフォワード型 (FFN) ではなく回帰型 (RNN) のネットワーク構造を持ち、層間の結合に全結合 (MLP) ではなく畳み込みを採用したニューラルネットワークである。ゆえにCNNでありRNNでもある。

U-Net

→詳細は「U-Net」を参照

U-Net はセマンティック・セグメンテーション用の畳み込みニューラルネットワーク。

受容野

受容野（英: receptive field）は出力中の一点と結合している入力の広さ・幅である^[28]^[29]。すなわち出力中の一点へと情報を伝達しうる入力域である。視覚等の感覚神経における「受容野」から転用して名付けられた。

例えば1次元の入出力をもつ1層のCNNがあったとする。CNNのカーネルサイズが $3$ だった場合、出力 $o_{2}$ は入力 $i_{1}$ , $i_{2}$ , $i_{3}$ の重みづけ和で計算されるため受容野は $3$ になる。このCNNを2層重ねた場合、 $o_{3}$ は中間層 $m_{2}$ , $m_{3}$ , $m_{4}$ の和でありさらに $m_{2}$ は $i_{1}$ , $i_{2}$ , $i_{3}$ 、 $m_{4}$ は $i_{3}$ , $i_{4}$ , $i_{5}$ の和となるため、CNNの受容野は $5$ になる。

Convパラメータ・変種およびネットワーク変種によって受容野サイズへ異なる影響を与える。以下はその一例である。

Kernelパラメータ: 受容野の端をカーネルで置き換える形で広げる
Strided Convolution: 受容野の端以外の部分をstride倍率に合わせて倍増させる
Dilated Convolution: 歯抜けカーネルであるため、より大きいカーネルとして振る舞う（例: k3d2はk5と同じ受容野）

受容野のサイズは再帰的に求めることができる。

$N$ 層の畳み込みからのなるCNNを考える。ここでは第 $l$ 層 $L_{l}$ を畳み込み $C_{l+1}$ で変換して次の層 $L_{l+1}$ を得る（例: 入力層 $L_{0}$ に $C_{1}$ を作用させて中間層 $L_{1}$ を得る）。ここで $C_{l}$ はカーネルサイズ $k_{l}$ 、ストライド $s_{l}$ をもつとする。出力層 $L_{N}$ から見た $L_{l}$ における受容野を $RF_{l}$ としたとき、次の式が成立する（図参照）^[30]。

$RF_{l-1}=\left(RF_{l}-1\right)s_{l}+k_{l}$

よって $RF_{N}=1$ を初期条件としてこの式を入力層受容野 $RF_{0}$ まで再帰することで受容野を計算できる。

歴史

画像処理のフィルタとして畳み込みを使用するという手法はコンピューターでの画像処理が登場した初期の段階から使われている手法である。エッジ検出やガウシアンぼかしなど多数ある。

畳み込みニューラルネットワークは動物の視覚野から発想を得て^[31]福島邦彦によって提唱されたネオコグニトロンに起源を持つ^[32]^[33]^[34]。ネオコグニトロンはニューラルネットワークで畳み込みを使用した。

有名なモデルとして以下のものがある。

1979年 - ネオコグニトロン
1989年 - LeNet
2012年 - AlexNet。トロント大学のチーム名 SuperVision が ImageNet Large Scale Visual Recognition Challenge 2012 (ILSVRC 2012) で優勝^[35]。ディープラーニングのブームが始まる。
2014年 - VGG。オックスフォード大学のチーム名 VGG が ILSVRC 2014 で優勝。^[36]
2015年 - ResNet。マイクロソフトのチーム名 MSRA が ILSVRC 2015 で優勝。^[37]

2012年からのディープラーニングブームより前の画像認識は画像（ピクセルデータ）を注意深く設計されたデータ前処理により特徴量（1999年のSIFTや2006年のSURFなど）へ変換し、それを用いた学習が主流だった。例えば AlexNet が優勝した ILSVRC 2012 の2位のモデルの ISI は SIFT などを使用している^[35]。畳み込みニューラルネットワークはピクセルを直接入力に用いることができ、特徴量設計において専門家の知識に依存しない特徴をもつとされた^[38]。現在では畳み込みニューラルネットワーク以外のニューラルネットワーク（例: Vision Transformer; ViT、MLPベースの gMLP）でもピクセル入力の画像処理が実現されている^[39]^[40]。ゆえに畳み込みそのものが特徴量設計を不要にするキー技術であるとは言えないことがわかっている^[要出典]。

脚注

注釈

出典

^ “K-Pop Hit Song Recorded in 6 Languages Using Deep Learning” (英語). K-Pop Hit Song Recorded in 6 Languages Using Deep Learning (2023年8月2日). 2024年2月20日閲覧。
^ van den Oord, Aaron; Dieleman, Sander; Schrauwen, Benjamin (2013-01-01). Burges, C. J. C.. ed. Deep content-based music recommendation. Curran Associates, Inc.. pp. 2643–2651
^ Collobert, Ronan; Weston, Jason (2008-01-01). “A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning”. Proceedings of the 25th International Conference on Machine Learning. ICML '08 (New York, NY, USA: ACM): 160–167. doi:10.1145/1390156.1390177. ISBN 978-1-60558-205-4.
^ ^a ^b “誰もdlshogiには敵わなくなって将棋AIの世界が終わってしまった件 | やねうら王公式サイト”. yaneuraou.yaneu.com. 15 July 2024閲覧。
^ “examples/mnist/main.py at main · pytorch/examples”. July 15, 2024閲覧。
^ “Conv2d — PyTorch 2.3 documentation”. pytorch.org. 15 July 2024閲覧。
^ "convolved with its own set of filters" PyTorch 1.10 Conv1D
^ “MaxPool2d — PyTorch 2.3 documentation”. pytorch.org. 15 July 2024閲覧。
^ ^a ^b ^c ^d 福島, 邦彦 (2019). “ネオコグニトロンと畳み込みニューラルネットワーク”. 医用画像情報学会雑誌 (Japan Science and Technology Agency) 36 (2): 17-24. doi:10.11318/mii.36.17.
^ Zhang, Wei (1988). “Shift-invariant pattern recognition neural network and its optical architecture”. Proceedings of annual conference of the Japan Society of Applied Physics.
^ Zhang, Wei (1990). “Parallel distributed processing model with local space-invariant interconnections and its optical architecture”. Applied Optics 29 (32).
^ Fukushima, Kunihiko (1980-04-01). “Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position”. Biological Cybernetics 36 (4): 193–202. doi:10.1007/BF00344251. ISSN 1432-0770. https://doi.org/10.1007/BF00344251.
^ Azulay, Aharon; Weiss, Yair (2019). “Why do deep convolutional networks generalize so poorly to small image transformations?”. arXiv. https://arxiv.org/abs/1805.12177.
^ Chaman, Anadi; Dokmanić, Ivan (2021). “Truly shift-invariant convolutional neural networks”. arXiv. https://arxiv.org/abs/2011.14214.
^ "a 1×1 convolution called a pointwise convolution." Andrew (2017) MobileNets Arxiv
^ "Depthwise convolution with one filter per input channel (input depth)" Andrew G. Howard. (2017). MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications. Arxiv
^ "In a group conv layer ..., input and output channels are divided into C groups, and convolutions are separately performed within each group." Saining (2017). Aggregated Residual Transformations for Deep Neural Networks. Arxiv
^ "groups controls the connections between inputs and outputs. ... At groups=1, all inputs are convolved to all outputs ... At groups= in_channels, each input channel is convolved with its own set of filters" PyTorch nn.Conv2d
^ "depthwise separable convolutions which is a form of factorized convolutions which factorize a standard convolution into a depthwise convolution and a 1×1 convolution called a pointwise convolution." Howard, et al. (2017). MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications.
^ “14.10. Transposed Convolution — Dive into Deep Learning 1.0.3 documentation”. d2l.ai. 23 July 2024閲覧。
^ “ConvTranspose2d — PyTorch 2.3 documentation”. pytorch.org. 23 July 2024閲覧。
^ “AvgPool2d — PyTorch 2.4 documentation”. pytorch.org. 30 July 2024閲覧。
^ “Global Average Pooling Explained”. July 30, 2024閲覧。
^ “Spatial Pyramid Pooling Explained”. July 30, 2024閲覧。
^ “空間ピラミッドプーリング層 (SPP-net, Spatial Pyramid Pooling) とその応用例や発展型 | CVMLエキスパートガイド”. CVMLエキスパートガイド | 毎日の探求力向上を支援する，中級者むけ拠点サイト. 30 July 2024閲覧。 “空間ピラミッドプーリング”
^ "we propose a recurrent CNN (RCNN) for object recognition by incorporating recurrent connections into each convolutional layer" p.3367 and "This work shows that it is possible to boost the performance of CNN by incorporating more facts of the brain. " p.3374 of Liang, et al. (2015). Recurrent Convolutional Neural Network for Object Recognition.
^ "we propose a recurrent CNN (RCNN) for object recognition by incorporating recurrent connections into each convolutional layer" Liang, et al. (2015). Recurrent Convolutional Neural Network for Object Recognition.
^ "予測の際に使用する有限長の過去のデータ点数 R は受容野 (receptive field) の大きさを表す．" 松本. (2019). WaveNetによる言語情報を含まない感情音声合成方式の検討. 情報処理学会研究報告.
^ "Effective Receptive Field (ERF): is the area of the original image that can possibly influence the activation of a neuron. ... ERF and RF are sometimes used interchangeably" Le. (2017). What are the Receptive, Effective Receptive, and Projective Fields of Neurons in Convolutional Neural Networks?. Arxiv.
^ "layer k ... R_k be the ERF ... f_k represent the filter size ... the final top-down equation: $R_{k,j}=\left(R_{k,j+1}-1\right)s_{j+1}+f_{j+1}$ "
^ Matusugu, Masakazu; Katsuhiko Mori; Yusuke Mitari; Yuji Kaneda (2003). “Subject independent facial expression recognition with robust face detection using a convolutional neural network”. Neural Networks 16 (5): 555–559. doi:10.1016/S0893-6080(03)00115-1 17 November 2013閲覧。.
^ Fukushima, K. (2007). “Neocognitron”. Scholarpedia 2 (1): 1717. doi:10.4249/scholarpedia.1717.
^ Fukushima, Kunihiko (1980). “Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position”. Biological Cybernetics 36 (4): 193–202. doi:10.1007/BF00344251. PMID 7370364 16 November 2013閲覧。.
^ LeCun, Yann. “LeNet-5, convolutional neural networks”. 16 November 2013閲覧。
^ ^a ^b “ImageNet Large Scale Visual Recognition Competition 2012 (ILSVRC2012)”. image-net.org. 16 July 2024閲覧。
^ “ILSVRC2014 Results”. image-net.org. 16 July 2024閲覧。
^ “ILSVRC2015 Results”. image-net.org. 16 July 2024閲覧。
^ 藤吉 2019, p. 293-294.
^ Dosovitskiy, et al. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR 2021.
^ Liu, et al. (2021). Pay Attention to MLPs. NeurIPS 2021.

参考文献

藤吉, 弘亘 (2019-04). “リレー解説　機械学習の可能性《第1回》機械学習の進展による画像認識技術の変遷”. 計測と制御 (計測自動制御学会) 58 (4): 291-297. doi:10.11499/sicejl.58.291. ISSN 1883-8170.