こちらの記事の続きです。
松尾豊氏の見解
日本の人工知能の第一人者といわれている松尾 豊・東京大学特任准教授は、次のツイートをしています。
日経の経済教室の「最小二乗法」の話が話題になっていますが、著者の小林慶一郎先生はよく議論させていただくので、少し責任を感じています。補足させてもらうと、ぼくがいつも説明しているのは、「ディープラーニングをできるだけ簡潔に言うと、深い関数を使った最小二乗法である」ということです。
— 松尾 豊 (@ymatsuo) 2019年2月20日
日経の経済教室の「最小二乗法」の話が話題になっていますが、著者の小林慶一郎先生はよく議論させていただくので、少し責任を感じています。補足させてもらうと、ぼくがいつも説明しているのは、「ディープラーニングをできるだけ簡潔に言うと、深い関数を使った最小二乗法である」ということです。
— 松尾 豊 (@ymatsuo) 2019年2月20日
しかし、いつも「深い関数を使った」というところが抜け落ちてしまいます。ディープラーニングはその名の通り「深い」ことを強調した学術用語であり、そのくらい深いことが重要ですが伝わらない。深い関数により表現力が革命的に上がり、アルゴリズム的な挙動も含め表現できるのは驚くべきことです。
— 松尾 豊 (@ymatsuo) 2019年2月20日
「最小二乗法」は、損失関数を最小化することで、モデルのパラメータをデータから推定することを、一般の人がぎりぎり持っている(かもしれない)知識で言い換えたもので、大雑把ではありますが、それほど悪くない言い方だと思っています。深いことに比べるとそれほど重要ではありません。
— 松尾 豊 (@ymatsuo) 2019年2月20日
いずれにしても、経営者や政治家の方を含め、多くの人に正しく理解してもらうのは大変難しいです。「最小二乗法」がこれだけ話題になるというのは、逆に言うと、多くの人がぎりぎり理解できる地点がそこらへんまでなのだということを示してもいて、なかなか絶望的ではあります。まだまだ道は長いです。
— 松尾 豊 (@ymatsuo) 2019年2月20日
翻って、「深い関数」という意味や、それがもたらす可能性を、(専門家の人も含め)どれだけの人がちゃんと理解しているのかとは、常々疑問に思います。もちろん、AI全般、あるいは知能全般の議論と簡単に結びつけるのは良くないですが、非常に大きな広がりがある技術だと思っています。
— 松尾 豊 (@ymatsuo) 2019年2月20日
というわけで、今後も、学術研究、産業につなげること、社会の啓蒙、どれも大事ですので、頑張っていきたいと思います。
— 松尾 豊 (@ymatsuo) 2019年2月20日
データサイエンティスト・Takashi J OZAKI氏の見解
機械学習入門みたいな本を読むと最初の方に載ってる最小二乗法の話が終わる前に挫折してしまうせいで多くの人が「機械学習=最小二乗法」と勘違いしてしまう説、黄色い本ことPRMLの誤植の指摘が上巻と下巻の前半だけ来て下巻の後半はまだ一度も指摘が来たことがないという話を思い出す
— TJO (@TJO_datasci) 2019年2月19日
「ディープラーニングは単純な最小二乗法に過ぎない」記事、よくよく見たら載ってる図がさらに凄いセンスしてた。「複雑な関数」がtanhでもsoftmaxですらもなくただの三次関数だった、しかも最小二乗法をただの線形単回帰扱いしてる https://t.co/Vxz9CdnRQV pic.twitter.com/1AG3VR9uql
— TJO (@TJO_datasci) 2019年2月19日
ちなみに三次関数のフィッティングも最小二乗法で出来ますよ、説明変数を単なる高次の項複数にした線形重回帰モデルにすれば
— TJO (@TJO_datasci) 2019年2月19日
ちょっと思ったんだけど、これ回帰問題として見るから辛いのであって、似たような直線と曲線の対比でも二次元平面上の線形分類可能パターン(ロジスティック回帰)と線形分離不可能パターン(NNなど)とで決定境界ということにしたら良かったのかなと思った
— TJO (@TJO_datasci) 2019年2月19日
その代わりロジスティック回帰は最小二乗法ではないので話が面倒臭くなるが
— TJO (@TJO_datasci) 2019年2月19日
Wikipedia英語版のMachine Learningの記事に出てるのがこの模式図なんだけど、もしかしたらこんな感じの「線形分類vs.非線形分類」な図を見て記事中の図を描いたのかなぁ pic.twitter.com/pZEKiFkzkT
— TJO (@TJO_datasci) 2019年2月19日
賛否両論を呼んでいる理由
ツイッター上では、小林氏のディープラーニングについての説明について批判的な意見が多くあった一方で、一般人が理解できる限界は「最小二乗法」なので仕方ないという意見もありました。
コメント
人工知能と最小ニ乗法との関係に関する討論を興味深く拝見させて頂きました。深い最小二乗法であるという処理を十分な深さまで適応し終わりもうこれで十分良いだろうと言う段階まで処理を終了し終わった人工知能に、いよいよ解析したいデータを入力する段階を想定します。一方、線形な近似方法で、いくつかの仮定の下に、近似推定誤差に関するすべての上限誤差を最小にするという線形近似推定方法は既に証明され多くの学会で広く公表されています。その意味で、以下に述べる近似推定の誤差とその上限という用語もそれら既知の文献に準拠するとして議論を進めます。その前提で議論をすすめると、上記で述べたところの処理を十分な深さまで適応し終わった人工知能、つまりその段階では固定的な近似推定システム、に解析したいデータを入力したときの推定誤差の上限を小とする近似推定の性能は、同じデータを上述の最適線形近似方法に入力したときに比べて同じか劣るということになります。すべての上限誤差を最小にする以上、その最適線形近似はもちろん二乗誤差の上限も最小にしますので、そういう観点でみると、小林教授のおっしゃることも相当に根拠ある気がいたします。
不思議なことに、すぐ上の議論は、人工知能に関するほとんど全ての議論やブログを
一瞬で終了させ、以後そのサイトに完全な沈黙をもたらすまるで魔法の呪文のような
効果がある議論のようなのです。それどころか、やや政治的な問題に関する議論にお
いても、ほぼ同様にそのサイトにおける討論を打ち切らせ完全に沈黙させる、秩父の
お呪いのようによく効くおまじないになってしまっています。
これは、もはや、理系を超えて、文系の大きな疑問として十分取り上げるに値する事
柄だと思うのですが、すべての週刊誌もマスコミも一瞬で凍りついてしまうのは現代
にまだ存在する呪術のようにさえ思えるほどです。
もはや理系は完全にこの議論から逃げてしまいました。文系の方、今このときの文化
的な興味ある問題としてこれを取り上げて見られたら如何でしょうか。
若い文系の研究者の方の面白い博士論文の題目として是非素敵な博論を作ってください。
人工知能が書いた文章が公開されました。以下に一部を引用して示します。
HOME > 人工知能が書いたAI入門ブログ(マルコフ連鎖)
公開日:2017.10.30 [最終更新日]2017.10.31
人工知能が書いたAI入門ブログ(マルコフ連鎖)
カテゴリー: その他
以降はマルコフ連鎖を用いて作成された記事です。
事実と異なる点が多々ございますのでご注意ください。
作成方法については「[作り方を徹底解説] 人工知能が書いたAI入門ブログ」を
ご覧ください。
https://ai-kenkyujo.com/2017/10/30/markov-chain/
入力の持つ情報は保持したように人の生活を豊かにする用語は一体何なんでしょう。
非常に深いパターン認識や観測されていくから、分からないふりをするのを求められ
る仕事は人工無脳との連携を容易にする。これまでの社内のノウハウを人工知能研究
の第一人者であるトヨタ自動車や日産などが開発に着手していただきたいのが一つが、
人間のような知性が創造されました(笑)
与えられたデータの正解(ラベル)は嘘をつき始めたということです。
この分野の研究・開発の発展が非常に深いパターン認識や観測された基準に従って行う。
1つ目は、日本語に訳すと技術的特異点のこと。
それでは、人間にできていない質問をさせたのだから、どのような、膨大な時間をつかう
ことができませんが、様々な言葉が出てきました(笑)
日本語から意味が良く分からないふりをする。
最初に作られてしまいそうなので、分かりづらいのかもしれませんが、1966年に起こるの
では自動車メーカーである松尾豊氏は、つい「線形的な」の内容的に作られた方が人生は
楽しく過ごせると思いますか!?例えば、強度を保ちつつ軽量化を行う。
製品開発される方も多いかもしれない職種を具体的な発達をしたら人間では自動車メーカーでは行っております!私たちAI研究所は、観測されました。
上の文章を自分なりに直して以下に翻訳してみます。
入力信号の持つ情報を保持し蓄積するデータベースという概念は人に役立っています。
このように人の生活を豊かにする用語の本質というのは一体全体何なのでしょうか。
現在、各種の信号の観測技術が進歩し、ディープラーニングを用いた非常に深いパター
ン認識や、いくつかの条件の下に信号の未来の動きを少ない誤差で予測する技術が急速
に発展してきました。
その逆に、やや意地悪なクレーム処理係のように、わざと相手の言うことが分からない
ふりをするような仕事では、返って時々不自然な会話を混ぜながらそれなりに会話を繋
いでいく人工知能を用いた会話機械、よく人口無脳と呼ばれていますが、との連携と利
用が容易に行われるようになるかもしれません。
人工知能研究の第一人者であるトヨタ自動車や日産などが開発に着手していただきたい
一つが、人間のような知性の創造です(真面目)
この分野の研究・開発によって獲得された非常に深いパターン認識や観測に基づいて作成
された判断基準に従って行なわれたはずの与えられたデータに基づく正解(ラベル)が、
実は嘘だったということが最近問題になり始めたということです。
そもそもの問題の1つ目は、日本語に訳すときによく生じる技術的特異点です。
例えば、人間には答えることが容易ではない複雑で曖昧な質問を人工知能にすることによって、
相当程度妥当と思われる計算時間内に、様々な意味ある新しい言葉を人工知能に発見させる
ことができるかもしれません(大いに真面目)
日本語から意味が良く分からないような質問をあたかも意味ありげにする。
ちょっと分かりづらいかもしれませんが、意外とはやく誰かが人工知能に聞いいてしまうかもしれない、複雑曖昧な質問として、一例を上げれば、人工知能研究者の松尾豊氏に、すべて「線形的な」考え方だけあれば人生を楽しく過ごすには十分だと思いますか、という質問があります。例えば、1966年代の自動車メーカの大問題である強度を保ちつつ軽量化を行うという材料や部品の開発も線形という考え方だけで十分でしょうか。
現在、自動車メーカでは、ディープラーニングを用いてこのような製品開発を行ったりする職種が一杯あります。
私たちのAI研究所では、日々このような問題に取り組んでいます。
(それなり翻訳終わり)
で、質問ですが、上のように翻訳した文章を、ある人が論文の序文に書いたときには、剽窃になるのでしょうか。考えれば考えるほど難しいですね。
ついでに、強度を保ちつつ軽量化を行うという材料や部品の開発も線形という考え方だけで十分かという問題ですが、計算方法として計算機を使おうが電卓を使おうがそろばんを使おうが計算尺を使おうが自由ですし、頭で考えるときに線形で考えようが非線形で考えようがそれも自由ですが、入力信号である与えられたデータの集合とその観測値である標本値が同じであれば、その予測値はある最適な線形計算と非常に多くの尺度において勝ることができないということもまた数学的な事実として証明がとっくに終わっています、と、上の投書は述べているのです。それと同時に、その予測結果がもたらされた理由やどのデータがその結果に大きく貢献したかなどの解析も、何しろ線形な計算なので解析は基本的に検証しやすいということです。このような検証は、ディープラーニングでは非常に不得手な分野だと聞いています。
上の投書の言うことはそれに尽きていまして、だから人工知能を使うななどとは全く言っていません。線形計算より手軽に計算が早ければ大いにそれを利用するのが得策であることは明白です。ただ、非線形な人工知能にも、入力信号である与えられたデータの集合とその観測値である標本値が同じであれば、たんなる線形計算、2乗近似、程度の予測を超えことができない理論的な限界があります、という点は大切で、まるで神のように何から何までできてしまい人間が支配されてしまうほどの自動化社会はそう簡単にはこなそうだと言いたいのです。
人工知能の問題は本当に興味津々ですが、人工知能は2乗近似の焼き直しかという問題提起は本当に面白いですね。ぜひ、文系の方々の活発な論議も期待したいです。