ホーム

メンバー | 事業推進担当者

竹内 純一

メンバー

拠点リーダーメッセージ ダウンロード 産業技術数理コンソーシアム

メンバー

事業推進担当者

情報論的学習理論とその応用

竹内 純一(システム情報科学府)
学位:博士(工学)(東京大学)
専門分野:学習理論,情報理論
ユニット:不確定性

活動報告書

1989年から2006年3月まで在籍したNECにおいて、機械学習の基礎研究と、その応用としてのデータマイニングに取り組み、製品化にも関わった。2006年に九州大学に移籍してからは、基礎研究を基本としながら、産業応用まで視野に入れた教育研究活動を行っている。特に教育面では、数理的素養と工学的センスを併せ持つ人材の養成を心がけている。

機械学習(マシン・ラーニング)とは、機械(コンピュータ)に人間のような学習能力を持たせることを目指す技術である。大きく分けると、与えられたデータからいかに多くの情報を取り出すかという情報論的側面と、いかに速く行うかという計算論的側面があるが、特に前者に着目した研究(情報論的学習理論)を行っている。

具体的には、1)MDL原理(Minimum Description Length Principle; 記述長最小原理)に関する研究、2)Bayes推定の情報幾何による解析、3)異常値検出の情報セキュリティへの応用、4)時系列解析のデータマイニングへの応用等を行っている。

1978年にIBMのRissanenによって提唱されたMDL原理は、情報理論における符号化の観点に基づくもので、統計学や学習理論において重要なモデル選択問題において、MDL基準を導く。モデル選択とは複数のモデルの中から与えられたデータに相応しいものを選ぶ問題である。例えば下図は、○と×を二つの領域に分類する2値分類学習の問題を表している。この図では折れ線による領域の分割がモデル(分類規則)に相当する。図中で、左は単純すぎるモデルで例外が多い。右は複雑すぎるモデルで、ノイズに過敏で新たなデータに対する予測力が低い。中央が適切なモデルである。MDL基準とは、モデルの複雑さを「モデル記述長」、そのモデルによる例外の量を「データ記述長」として計量し、両者の和が最小になるモデルを選択せよというものである。この基準に従うと、ある仮定のもとで真のモデルに迅速に収束することが示されている。

その後Rissanenは、この考え方を推し進め、確率的コンプレキシティ(Stochastic Complexity; SC)という概念を確立した。これは、モデルを用いてデータを圧縮する時の符号長の限界として定式化される。SCはモデル選択の基準として用いられるのみならず、SCを追求することは、良い学習方式を見つけ出すための指導原理として働く。

これに関して私は、Yale大のBarron、電通大の川端と共同で、指数型分布族とMarkovモデルという重要なクラスについて、Jeffreys事前分布を用いたBayes推定によりSCが達成できることを示し、その値を定数オーダまで決定した。Markovモデルは漸近的には指数型分布族となるため、これらの結果は統一的に理解できることに注意されたい。さらにこの結果を、情報幾何の観点を用いて、指数型でない場合にも拡張できる可能性を示している。

情報幾何は確率分布を点とする空間の微分幾何であり、α接続というワンパラメータの接続の族を用いるところに特徴がある。情報幾何においては、指数型分布族は、確率分布全体の空間に対する埋め込み指数曲率がゼロである空間として位置づけられる。従って、先に述べた結果は、ベイズ推定による符号長がモデルの指数曲率と密接に関連することを示している。その後は、Markovモデルの部分空間の幾何とSCについて考察を続けている。このほか情報幾何については、甘利と共同で、Jeffreys事前分布を特別な場合として含むα事前分布(α接続について平行な体積要素)を導入し、その性質を解析した。

応用については、MDLと情報幾何による視点を基本としつつ、具体的課題がある現場と積極的に関わっている。NEC在籍中は、同社の山西と共同で新しい異常値検出方法を考案し、ネットワークセキュリティにおけるインシデントの検出などに応用した。また、同社の中田と共同で、ITS (Intelligent Transport Systems)における旅行時間予測に貢献した。ネットワークセキュリティについては、情報通信研究機構(NICT)との共同研究も行ったが、これについては現在も継続している。

また、これらの分野の振興を目的とする情報論的学習理論ワークショップ(IBIS)の立ち上げ(1998年)に貢献し、運営に携わっている。

今後も、機械学習を中心とする工学的問題に潜む数理構造の解明、それに基づく普遍的解法の確立、そしてそれを担う人材の育成を通じ、マス・フォア・インダストリに貢献したい。
(文中、敬称を略させて頂きました。)

RETURN LIST