バズワードと呼ばれるほど盛り上がっている人工知能。その鍵となるディープラーニング。著者は実力以上のブームに警鐘を鳴らす一方で、本のタイトルである「人工知能は人間を超えるのか」に対して次のように答えている。
人工知能は人間を超えるのか。答えはイエスだ。
もしかすると自分が生きているうちにそんな時代が来るのかもしれない。
- 作者: 松尾豊
- 出版社/メーカー: KADOKAWA / 中経出版
- 発売日: 2015/03/10
- メディア: Kindle版
- この商品を含むブログ (31件) を見る
最近の人工知能について知りたければまずはこの本からというレビューが目立つだけあって確かにわかりやすい。前半は機械学習やニューラルネットの歴史を踏まえながら今のディープラーニングに至るまでの技術的な説明。後半は我々社会への影響と今後の課題および熱いメッセージだ。
まずはブームに警鐘を鳴らす方の冷めた部分の整理から。
ちょうどこの本を読んでいる時と同じタイミングで以下の3つの記事を読んだ。世界トップレベルの技術をもってしても、ドローンは着地すらできないし、ロボットが攻めてきてもドアを閉めれば十分で、ネズミにも昆虫にも勝てないレベルらしい。
- 大西 宏のマーケティング・エッセンス : ロケットは無事帰還着地できても、ドローンの着地は案外難しい
- ロボットの王道はヒューマノイド型にあらず | On Off and Beyond
- 知能と技術的特異点 - Sideswipe
また、産総研イベントでも次のように言っている。
今の人工知能ブームについて、1980年代の第2次ニューロブームのときのことを思い出さざるを得ないと述べて、これまでの人工知能研究の歴史を振り返り、警告を発した。今の人工知能技術の基礎はいずれも当時出てきたもので、そこから本質的な飛躍はないという。
【森山和道の「ヒトと機械の境界面」】しなやかに人間によりそえる人工知能を ～産総研 人工知能研究センター(AIRC)始動へ - PC Watch
それでもなぜディープラーニングにここまで期待が集まるのか。著者は次のようにまとめていた。
人工知能の60年に及ぶ研究で、いくつもの難問にぶつかってきたが、それらは「特徴表現の獲得」という問題に集約できること。そして、その問題がディープラーニングという特徴表現学習の方法によって、一部、解かれつつあること。特徴表現学習の研究が進めば、いままでの人工知能の研究成果とあわせて、高い認識能力や予測能力、行動能力、概念獲得能力、言語能力を持つ知能が実現する可能性があること。そのことは、大きな産業的インパクトも与えるであろうこと。知能と生命は別の話であり、人工知能が暴走し人類を脅かすような未来は来ないこと。それより、軍事応用や産業上の独占などのほうが脅威であること。そして、日本には、技術と人材の土台があり、勝てるチャンスがあること。
続いてディープラーニングの技術面。ネットにはいろんなレベルの解説があるが、この本を読んで、要はこれまで特徴量だけは手動で決めていたのを、自動で獲得できるようになったことが一番のブレークスルーだと言ってよいことがわかった。
本書からいくつかポイントを拾ってみる。
ディープラーニングが従来の機械学習とは大きく異なる点が２点ある。１つは、１層ずつ階層ごとに学習していく点、もう１つは、自己符号化器（オートエンコーダー）という「情報圧縮器」を用いることだ。
そのためにどういうことをやるかというと、一見すると逆説的だが、入力信号に「ノイズ」を加えるのだ。
たとえば、ドロップアウトといって、ニューラルネットワークのニューロンを一部停止させる。
画像認識の精度が上がらなかったのは、頑健性を高めるためにいじめ抜くという作業の重要性（専門的に言うと、正則化のための新しい方法）に気づいていなかったため、そして、そもそもマシンパワーが不足してできなかったためである。
実際、多くの研究者が考えていた「自己符号化器をベースに特徴量を多段にしていけばよい」という予想は正しかったのである
自己符号化器と主成分分析にはいくつか違いがある。まず、自己符号化器の場合には、非線形な関数を用いている（というより、任意の関数を用いることができる）。２つ目は、主成分分析では通常、第二主成分は第一主成分の残余から計算されるので、第一主成分の影響を強く受ける。第三主成分は、第一、第二主成分の影響を強く受ける。したがって、高次の主成分になると、ほとんど実質的な意味がなくなってくる。
いまディープラーニングで起こりつつあることは、「世界の特徴量を見つけ特徴表現を学習する」ことであり
この事前に教師なし学習で特徴量を学習することを pre-training と呼び、pre-training の結果を用いて全体で教師ありで学習すること fine-tuning と呼んでいるようだ。
その他参考
私の pre-training の理解をまとめるとこんな感じ。
- 入力データの集合を再現できるように教師なし学習で特徴量を学習すること。本書では「教師あり学習的な方法による教師なし学習」と表現していた。
- 1層ずつ階層ごとに学習していく点と autoencoder (自己符号化器) で入力と出力が同じになるように学習(パラ―メータの調整)する点がポイント。
- 入力信号に「ノイズ」を加えて頑健性を上げる。
- ドロップアウト (過学習を防ぐため、隠れ層のパラメータをランダムに使わないようにして学習する) が精度に貢献している。
(2015/12/20 追記)
1層ずつ学習していくというのはこちらがわかりやすい。これによって gradient vanishing 問題を回避するとある。
また、autoencoder についてはこちらに1万円札を渡して1万円札をうけとるようなものという表現がされていてそんなイメージ。
「１万円札をお店の人に渡して、１万円札をうけとるようなもの」(「考える脳 考えるコンピュータ」J.Hawkins）
http://www.gdep.jp/seminar/20150526/DLF2015-01-MATSUO.pdf
一方で、これだけ盛り上がってしかも結果も出ているにも関わらず、ディープラーニングにはまだまだ解明できていない部分があるらしい。
冒頭に述べたような圧倒的な性能を示した深層学習ではあるが，課題は山積している．
まず，理論面的に解明されていない部分が数多くある．pre-trainingを採用したことによる誤差はどれくらいか？他にも効率のよい学習法はあるのか？pre-trainingが特徴の学習であるとするならば，既存の非線形次元削減や特徴生成とは何が違ったのか？その違いの本質が解明されれ，大規模データとそれにみあう複雑度のモデルが扱うことが可能であるならば，ニューラルネット以外でも深層学習と同等のモデルが獲得できるのか？
一方で，実用面でも，現状では調整すべきパラメータが多く性能を発揮するには忍耐強い調整を必要とするともいわれている．複雑なモデルの獲得には，大規模データを処理できることが必須となるが，並列計算手法の改良はまだまだ必要であろう．
人工知能学会誌 連載解説「Deep Learning（深層学習）」 | 人工知能学会 (The Japanese Society for Artificial Intelligence)
先の産総研のイベントのページでも以下のように言っていて、正直課題は昔と大きく変わっていない。
川人氏は、ニューラルネットワーク学習の最大の困難は、オーバーフィッティング、汎化能力の欠如、次元の呪いだと改めて指摘した
それでも前に前進していることには変わりない。本の後半で著者が述べているのは今後アカデミア(研究・オープン)とインダストリー(企業・ビジネス)のバランスが大事だということだと思う。
逆に言うと、特徴表現学習の部分を特定の企業に握られたり、ブラックボックス化されたりすると、非常にやっかいなことになる。特徴表現学習のアルゴリズムがオープンにならず、「学習済み」の製品だけが製造・販売されることになると、リバースエンジニアリングで分解したり動作を解析したりして仕様や仕組みを明らかにすることが不可能である。
パソコン時代にＯＳをマイクロソフトに、ＣＰＵをインテルに握られて、日本のメーカーが苦しんだように、人工知能の分野でも、同じことが起きかねない。
現在、ディープラーニングに代表される特徴表現学習の研究は、まだアルゴリズムの開発競争の段階である。ところが、この段階を越えると、今度はデータを大量に持っているところほど有利な世界になるはずだ。そうなると、日本はおそらく海外のデータを持っている企業に太刀打ちできない。世界的なプラットフォーム企業が存在しないからだ。
IoT およびそれに伴うビックデータというもう一つのブームと合わさって「ビックデータｘ人工知能」は今後のテーマとなる。繰り返しだが、もしかすると生きているうちにそんな時代が来るのかもしれない。今がその転換の最中なんだろうか。
