コンテンツにスキップ

カーネル法

出典: フリー百科事典『ウィキペディア(Wikipedia)』

カーネル法(カーネルほう、: kernel method)はパターン認識において使われる手法の一つで、 判別などのアルゴリズムに組み合わせて利用するものである。よく知られているのは、サポートベクターマシンと組み合わせて利用する方法である。

パターン認識の目的は、一般に、 データの構造(例えばクラスタランキング主成分相関分類)を見つけだし、研究することにある。この目的を達成するために、 カーネル法ではデータを高次元の特徴空間上へ写像する。特徴空間の各座標はデータ要素の一つの特徴に対応し、特徴空間への写像(特徴写像)によりデータの集合はユークリッド空間中の点の集合に変換される。特徴空間におけるデータの構造の分析に際しては、様々な方法がカーネル法と組み合わせて用いられる。特徴写像としては多様な写像を使うことができ(一般に非線形写像が使われる)、それに対応してデータの多様な構造を見いだすことができる。

カーネル関数

[編集]

カーネル法の名前はカーネル関数を使うことに由来する[1][2] [3][4][5][6][7][8]

カーネル関数は、特徴空間中のデータの座標の明示的な計算を経由せずに、特徴空間における内積をデータから直接計算する手段を与える。内積を評価するためにカーネル関数を使うと、明示的な座標の計算を経るよりもしばしば計算量が少なくて済む。

φ((a, b)) = (a, b, a2 + b2) で与えられるカーネルを持つSVM、したがって K(x , y) = となる。トレーニングポイントは、分離する超平面を簡単に見つけることができる3次元空間にマッピングされる。

カーネル関数を使って、計算複雑度の増大を抑えつつ内積にもとづく解析手法を高次元特徴空間へ拡張するアプローチを、一般にカーネルトリックと呼ぶ。カーネル関数はベクトルのみならず、系列データ、テキスト、画像、グラフなどに対しても導入されている。

組み合わせ

[編集]

カーネル法と組み合わせて使うことのできるアルゴリズムには、サポートベクターマシン (SVM)、Fisher の線形判別分析英語版 (LDA)、主成分分析 (PCA)、正準相関分析英語版リッジ回帰スペクトルクラスタリング英語版などの多くの手法がある。

1990年代半ばからこの手法を精力的に開発してきた研究コミュニティの文化を反映して、多くのカーネル法のアルゴリズムは凸最適化あるいは固有値問題に基づいており、 計算効率が良く、統計学的な基礎づけを伴っている。これらのアルゴリズムの統計的性質は、典型的には統計的学習理論英語版を用いて解析される。

応用

[編集]

現在のところ、主要な応用分野は地球統計学クリギング逆距離加重法英語版バイオインフォマティクステキスト分類手書き文字認識などである。カーネル関数とカーネルアルゴリズムとの組み合わせは任意であるため、意外性のある応用が可能である。例えば、生物系列上の回帰問題や、文書の分類、画像のクラスタリングなどである。

参考文献

[編集]
  1. ^ Nello Cristianini、John Shawe-Taylor:「サポートベクターマシン入門」、共立出版 (2005年3月28日)
  2. ^ 赤穂昭太郎:「カ-ネル多変量解析: 非線形デ-タ解析の新しい展開」、岩波書店 (2008年11月27日)、ISBN 978-4-00006971-7
  3. ^ 福水健次:「カーネル法入門:正定値カーネルによるデータ解析」, 朝倉書店(2010), ISBN 978-4-25412808-6
  4. ^ John Shawe-Taylor、Nello Cristianini:「カーネル法によるパターン解析」、共立出版 (2010年5月25日)、ISBN 978-4-320-12250-5
  5. ^ 金森敬文:「統計的学習理論」、講談社(機械学習プロフェッショナルシリーズ)、(2015), ISBN 978-4-06152905-2
  6. ^ 持橋大地、大羽成征:「ガウス過程と機械学習」、講談社 (2019年3月9日)、ISBN 978-4-06152926-7
  7. ^ 瀬戸道生, 伊吹竜也, 畑中健志:「機械学習のための関数解析入門: ヒルベルト空間とカーネル法 」 、内田老鶴圃 (2021年4月6日)、ISBN 978-4-75360171-4
  8. ^ 伊吹竜也、山内淳矢、畑中健志、瀬戸道生:「機械学習のための関数解析入門: カーネル法実践:学習から制御まで」、内田老鶴圃 (2023年5月29日)、ISBN 978-4-75360172-1