マスターアルゴリズム — 世界を再構築する「究極の機械学習」

Bookmark this on Hatena Bookmark
Pocket

マスターアルゴリズム

世界を再構築する「究極の機械学習」

本書は，ペドロ・ドミンゴス著『The Master Algorithm』の翻訳書で，近年の人工知能技術の進展を支える機械学習についての解説書です．機械学習とは，作業手順を明示的に指示しなくても，それをデータから学ぶ能力を計算機に与える技術です．この機械学習について，計算機科学や統計学の高度な知識を前提とせずに，その内側に踏み込んで仕組みを明らかにし，この技術の可能性と課題を論じています．

The Master Algorithm

The Master Algorithm

How the Quest for the Ultimate Learning Machine Will Remake Our World

  • 著者：Pedro Domingos
  • 出版社：Basic Books
  • 発行日：2015-09-22
  • ISBN：978-0465065707

『マスターアルゴリズム』の概要

The Master Algorithm City
9章の冒険譚で登場するマスターアルゴリズムの街．五つの学派の塔に囲まれて，マスターアルゴリズムの塔がそびえ立っています．

本書は，人工知能技術の中で中心的な役割を果たしている機械学習を，計算機科学や統計学の高度な知識を前提とせずに紹介する解説書です．著者ドミンゴス氏は機械学習分野で，長年にわたり第一線で活躍しており，その内容は信頼できるものです．機械学習研究の大目標としてマスターアルゴリズムという架空の万能手法を想定し，これを軸に軽妙な文章で綴っています．翻訳にあたっては，高校の数学・理科の教養以上の，計算機科学などの用語には訳注を付ける配慮を行いました．

計算機に作業をさせるには，その手順を詳細に示したアルゴリズムを示す必要があります．それに対し，機械学習は，明示的にこのアルゴリズムを与えることなく，これをデータから学ぶ能力を計算機に与える技術です．その利用は，囲碁のトッププロに勝利するなどの金字塔を打ち立てるのに中核を担うとともに，身近な機器から社会インフラにいたるまで拡大しています．

計算機科学の専門家以外に向けた内容ですが，機械学習の適用事例を表面的に挙げただけにはとどまりません．本書の目的は，自動車を用いるにはブレーキを踏むと止まるといった，技術を用いるときに必要な知識である概念モデルを，機械学習に関して説明することです．そのために，機械学習技術の背後にある概念を明らかにし，それに伴う根本的な制限や課題について紹介しています．そしてこれらの制限は，予測をするということに伴うものなので，実は私たち人間の思考もその制限を受けていることを説明しています．

終盤では，著者ドミンゴス氏自身が描くマスターアルゴリズム候補を示しますが，これでも依然として究極の機械学習にはまだ何が足りないのかを論じます．締めくくりとして，現状の機械学習技術とたちとの関わり合いについて述べたあと，発展した機械学習技術がもたらす科学・社会・経済への影響についてドミンゴス氏の考えを示しています．

各章の概要

第1章 機械学習革命

機械学習の目的を述べたあとで，実世界に機械学習が与える影響を紹介します．前半では，計算機科学の，アルゴリズム，プログラム，複雑性などの概念を説明してから，機械学習は，アルゴリズム自体を創るアルゴリズムであることを紹介します．後半は，実業界，科学，政治，安全保障の各分野で機械学習がどのように使われているかを紹介し，その重要性を述べています．

第2章 マスターアルゴリズム

現状の機械学習の問題点を克服したマスターアルゴリズムを開発するという本書の道筋を示します．まず，このマスターアルゴリズムが存在する根拠を，神経科学，進化生物学，物理学，統計学，および計算機科学の観点から示します．その後，マスターアルゴリズムの存在を否定する意見を取り上げ，それに対して反論しています．

それから，マスターアルゴリズムが満たすべき条件について議論します．そして，現状の機械学習の研究方針を記号主義者，コネクショニスト，進化主義者，ベイズ主義者，そして類推主義者に分け，これらの長所を備えたものがマスターアルゴリズムであるとの道筋を示します．

第3章 ヒュームの「帰納の問題」

あらゆる知的活動は記号の操作に還元できると考える記号主義者を扱う章です．if-then型規則，逆演繹，および決定木といった手法を紹介しています．さらに，機械学習は，帰納推論でデータ中の規則性を発見し，この規則性を使って予測するものであること，そして，そのために汎化や知識の利用が必然であることを述べます．これに関連した機械学習で最も根源的な課題である過学習問題，ノーフリーランチ定理，そしてバイアス-バリアンス分解を取り上げます．

第4章 脳はどうやって学習しているのか

神経科学の知見に基づくコネクショニストのニューラルネットを扱う章です．この学派の基礎である神経科学の知見を紹介したのち，パーセプトロンの成功と挫折，そして誤差逆伝播法による再興の歴史が紹介されています．その他，ホップフィールドネットワークやボルツマンマシン，そして深層学習のうちスパース自己符号化器を説明しています．機械学習の根源的な問題としては，局所最適解の問題を取り上げています．

第5章 進化 — 自然の学習アルゴリズム

生物の進化を模擬的に実行する進化主義者の手法を扱う章です．この学派の基礎である遺伝の過程を説明した後，遺伝的アルゴリズムと，その一つであるクラシファイアシステムを紹介します．また，プログラム自体を創り出す遺伝的プログラミングについて述べます．さらに，進化計算の背後にあるスキーマなどの理論と，交叉操作の有用性，先天性・後天性論争など，この学派に関連した論点を取り上げます．

第6章 ベイズ師の聖堂にて

不確実性に焦点を当てたベイズ主義の手法を扱う章です．この学派で重要なベイズの定理を説明します．その後，単純ベイズ法，隠れマルコフモデル，ベイジアンネット，マルコフネットを紹介し，これらのモデルでの推論と学習の方法を説明します．さらに，統計学者ボックスの「全てのモデルは誤りだが，そのいくつかは役に立つ」という言葉に基づき，機械学習におけるモデルの役割の重要性を指摘します．

第7章 あなたはあなたのそっくりさん

類推主義者の手法を扱う章です．性質が似ているものは，その振る舞いも似ているという着想である類推を活用した，最近傍法，サポートベクトルマシン，ドミンゴス氏のRISEアルゴリズムを紹介しています．また，高次元空間での直感に反したデータの性質であり，機械学習で過学習問題に次ぐ難題といえる次元の呪いを取り上げます．

第8章 先生に教わらずに学ぶ

明示的な教示情報を用いない教師なし学習として，似ているものをまとめるクラスタリング，高次元の情報を低次元で表現する次元削減，一連の操作をまとめるチャンキングを扱います．加えて，能動的に外部と相互作用を行う強化学習の枠組みと，対象間の関係情報を扱う関係学習を紹介します．

第9章 パズルのピースがはまるとき

複数の機械学習手法を統合するメタ学習を最初に紹介します．その後は，ドミンゴス氏の考えるマスターアルゴリズム候補を，軽妙な冒険譚を通じて語り，その中核となるマルコフ論理ネットを軸に詳しく紹介します．だがこの候補が，マスターアルゴリズムに至るには依然としてまだ何が足りないのかを論じます．

第10章 機械学習時代の世界へ

高度な機械学習技術が社会にもたらす影響を，ドミンゴス氏の視点から論じています．機械学習モデルと人間との関わり合い，自身の代理人モデルがある社会，データの共有の必要性と手段，雇用・安全保障・技術的特異点の行く先，そして最後に人類の将来について踏み込んだ意見を述べています．

『マスターアルゴリズム』の紹介・感想記事

本書についての日本語記事

原著についての日本語記事

英語の記事

原著者の関連講演ビデオ

紹介記事

訳者あとがき

2021年の今日では，日本でも機械学習は注目されるようになったが，ここにいたるまでの道程は世界とは違っていた．私が，ミカルスキーらによる論文集『Machine Learning』の訳書［電総研人工知能研究グループ訳『知識獲得と学習シリーズ』］を通じて，機械学習と出会ったのは1992年であった．それ以来，本書にあるように，その主役を変えながらも，世界的には機械学習技術が着実に進歩を遂げる様子を目の当たりにしてきた．

それに逆行して，日本では選択と集中のかけ声の下，年代中に機械学習を扱う企業研究部門は減り続け数社程度になり，それとともに大学でも関連研究室は減少の一途であった．そして，国内最大の機械学習関連学会であるIBISワークショップが始まった1998年では，自虐的に絶滅寸前のトキの名前を冠したほどであった［山西 健司「絶滅寸前のIBIS（トキ）を生かすために」，IBIS年代記 — 情報論的学習理論ワークショップ20年史 (pdf)］．

2006年の時点でも，関連和書は専門書でもほぼ皆無だったため，クリストファー・ビショップの教科書『 Pattern Recognition and Machine Learning』の翻訳を手がけた．このときは，少なくなっていた日本の機械学習研究者の大半の助力を仰がねばならなかった．2010年代初めにはようやく知られ始めてはきたが，年間で層の厚さには世界と大きな差がついていた［樋口 知之「データ・サイエンティストがビッグデータで私たちの未来を創る」］．

こうした状況のため，機械学習の可能性と限界について十分に知られておらず，広く専門家以外にも向けた，信頼できる機械学習の解説が必要と考えていた．

2015年の出版当時から，本書の原書は研究者間で話題になっていた．いつもの学術発表では着実な一歩について論じるのに対し，議論する機会の少ない千里の道について，この書籍は論じているためである．そして，機械学習研究の向かう先について一家言がある研究者の間に，議論の気運が生じた．また実際に， 2016年の国際学会 Knowledge Discovery and Data Mining では，著者のドミンゴス氏を交え機械学習の長期的展望を論じる公開討論「 Is Deep Learning the New 42?（深層学習は新たな42なのか？）」などの機会も設けられた．

著者のドミンゴス氏は，本書でも幾つか挙げられているように，マルコフ論理ネット，影響最大化問題，データストリーム，敵対的学習， sum-productネットなど顕著な業績が知られている研究者である．私が氏の名前を初めて知ったのは，6・7節にあった単純ベイズ法が，独立性仮定が成立しない場合でもうまく予測できる理由を述べた1997年の論文であった．多くの研究者が疑問には思っていたが，取り組んでいる研究者は皆無であり，氏の着眼点の独創性は印象に残っていた．

以上のような事情が，講談社さんより翻訳のお話をいただいたときに，お引き受けした経緯である．

本書は専門書ではないが，その内容は，著者の豊富な知見に支えられており，機械学習の現状を的確に述べている．過学習問題，ノーフリーランチ定理，次元の呪い，バイアス‐バリアンス分解，そして探索と活用のジレンマなどの機械学習の根源的な問題が一通り紹介されている．さらに重要なこととして，これらは，予測することによって生じる問題であり，私たち人間もこれらの問題に影響されている点にふれている．

そして，オズの魔法使い問題にあるように，私たちが望むことをさせるには，私たちの関与が欠かせないのである．「機械が学ぶことではなく，機械に教えるために私たちが 学ぶことが，究極的には機械学習を用いることの最大の利点かもしれない」という言葉は示唆に富んでおり，私も同意するところである．

もう一つ本書で興味深いのは，ドミンゴス氏自身の観点から機械学習の将来像に踏み込んでいる部分である．すなわち，氏の考えるマスターアルゴリズム候補を示した9章と，社会への影響に関する章である．

これらについては，機械学習研究者の間でも同意できるものも，違う意見の場合もあるだろう．例えば，私がマスターアルゴリズムを考えるのであれば，記号主義的手法はモデルの制約に用い，ベイズ主義と類推主義を合わせたガウス過程を中心に据えるとか，ドミンゴス氏とは別の方針を考えてみたい．

技術的特異点は，スコア関数を人間が与える機械学習のパラダイムでは不可能というのは，ほぼ全ての研究者が同意するだろう．一方で，雇用については，失われる職業もあれば，新たに生まれる職業もあるという，新美南吉の『おじいさんのランプ』が，今後も続くと私は思う．

翻訳のお話をお引き受けしてから約4年かけてしまい，本書の邦訳を待たれていた方々をお待たせしてしまったことは申し訳なく思う．

本書には，掛け言葉などの軽妙な工夫が随所にあるが，うまく訳せていない部分もある．例えば， 3・4節の題名「 How to rule the world」などは， ruleに「支配する」と「規則で表す」の重の意味があるが，日本語で二つの意味をうまく含めることはできなかった．

あまり頻出しない専門用語は，語義が曖昧になっても，一般的な語を用いたが，機械学習や統計の専門家には，この点については目をつぶっていただきたい．例えば，「 robust」は，専門的には「頑健」とすべきだが，本書では「安定的」としている．

本書を楽しんでいただければ，ドミンゴス氏と同じく，私も幸いである．「この馬を追い越そうとするのではなく，この馬に乗らなければならないのだ」とあるが，本書が機械学習を乗りこなすきっかけになればと思う．そして，ついうっかり，マスターアルゴリズムを発明してしまって欲しい．

正誤表

  • p.190, l.5：吸引流域 → 吸引領域（2箇所）
  • p.254, 二つ目の数式：最後の × → ＝
  • p.417, l.4：〜問題に対応している → 〜問題を扱っている
  • p.475, 註41：ゴードン・ムーアが示した経験則で、集積回路の素子数が指数的に増加し、それとともに計算能力も向上するというもの。2010年ごろまでは成立していたが、それ以降は飽和してプロセッサの性能向上は鈍化している。
  • p.502, l.15：http://www. → https://www.