東ロボくんは、なぜ失敗したのか 「AI vs. 教科書が読めない子どもたち」批評1

東ロボくんは、なぜ失敗したのか 「AI vs. 教科書が読めない子どもたち」批評1

このエントリーをはてなブックマークに追加

 

現在、AI関連の書籍で、「AI vs. 教科書が読めない子どもたち」という本が売れているようです。
著者は、AIロボを東大に合格させる「東ロボくん」というプロジェクトで有名な新井紀子教授です。

「東ロボくん」プロジェクトには、当初から興味があったので、さっそく読んでみたのですが、自然言語処理の浅い理解や、「知能=偏差値」という思い込みなど、著者の主張には首をかしげざるを得ないことが多かったので、今回から何回かにわけて、本書について解説していきます。

 

AIが、大学の入試問題を解くとなると、数学や歴史の穴埋め問題なら勝算はあると思いますが、一番苦戦するのは国語です。
なぜなら、現在の自然言語処理では、文章の意味を理解することができないからです。
英語の翻訳なら、意味を理解できなくとも、それらしい翻訳を作り出すことは不可能ではありませんが、文章の意味理解そのものを問う国語の問題があるかぎり、東大合格など絶対に不可能なのです。

そのような一見、無謀なチャレンジですが、国の予算を獲得し、税金を投入するのですから、何らかの秘策があるのだと楽しみに読み始めました。
ところが、そのような期待は、見事に裏切られてしまいました。

国語は、どう考えても正攻法でなんとかできるとは思えません。(p.92)

と堂々と宣言しているのです。
最初から無理とわかっていながら、なぜ、挑戦したのでしょう?
もしかしたら、思いもよらない解決手法を編み出したのかもしれません。
それに期待しつつ読み続けると、たしかに、驚くべき手法が書かれてありました。

センター現代国語で最も配点の大きい傍線部の問題に対し、文字の重複などごく表面的なことから選択肢を選ぶという「荒業」でした。
文の意味どころか、単語の意味も調べません。(p.92)

えっ、嘘でしょ?!
内容を理解せずに答を出すって、受験で一番、やってはいけない勉強方法です。
当然のことですが、この程度のプログラムで東大に合格することなどできません。

この方法で論説文の傍線問題は早々に正答率五割に達しました。しかし、そこから先の成長は見込めませんでした。(p.92)

当たり前です。
そんな簡単な方法で解けないことは、受験生なら誰でも知っています。

ここまでくると、東ロボくんの目的が何なのか、さっぱりわからなくなりました。
本書をよく読んでみると、東ロボくんの目的が書いてありました。

私を含めた関係者の中に、近い将来にAIが東大に合格できると思う人は一人もいませんでした。
本当の目的は、AIにはどこまでのことができるようになって、どうしてもできないことは何かを解明することでした。(p.20)

目的は、東大合格ではなく、AIにどこまでのことができるかを解明することのようです。
そうして、AIでどこまでできるか解明できたこととは、入試問題で、文字の重複から選択肢を選ぶ方法では、正答率5割が限界だということのようです。
税金と多くの研究者を投入して解明できたことにしては、少しお粗末と言わざるを得ません。

もっと重要なことが解明できたのではと期待を持って読み続けましたが、その期待も空振りに終わりました。
たとえば、

「中学生が身につけてる程度の常識」であっても、それは莫大な量の常識であり、それをAIやロボットに教えることは、とてつもなく難しいことなのです。(p.98)

と、AIは常識がわからないことが問題だと、さも重要そうに述べていますが、この程度のことは、AIの入門書に書いてあることです。
AIに興味がある人なら、誰でも知っていることです。

その証拠に、

過去2度のAIブーム同様に、「常識の壁」に阻まれたのです。(p.102)

と自分でも書いています。
「常識」が理解できないことがAIの壁となっていることは、50年前からわかっていることです。
AIに何ができないかを解明することが目的といっていましたが、何一つ、目新しいことは解明できていません。

これが、東ロボくんプロジェクトの結果です。
残念ながら、何かしらの有意義な成果が得られたとはとても思えません。

なぜ、このようなことになってしまったのでしょう?

その原因は、「自然言語処理への提言2」で説明したのと、全く同じ理屈です。
自然言語処理が、この50年、ほとんど進歩していない理由は、「人と自然な会話ができるAI」といった大きな目標を目指したからというのが、「自然言語処理への提言2」で指摘したことです。

会話システムの例として、シナリオベースの例を挙げます。
AIが「最近、何かおいしいものを食べましたか?」と質問することで、相手の回答を、自然と食べ物に絞り、「僕も食べたかったなぁ」と回答することで、いかにも、会話しているように見せかけるシステム。
人工無脳ともいわれるシステムで、ソフトバンクのロボット「ペッパー」や、IBMの「ワトソン」、マイクロソフトのチャットボット「りんな」など、すべてこれに当たります。

これだと、言葉の意味を理解しなくても、一見、相手に会話が成立しているように見せることができます。
しかし、会話の本質は言葉の意味の理解です。
その本質を避けて、表面だけ、あたかも会話しているように見せかけるテクニックを競ってきたのが、会話システムの歴史です。

なぜ、このようなことになったのでしょう?
それは、目標設定の仕方に問題がありました。

目標を「会話」としてしまうと、表面的な会話の部分ばかりに開発の力を注いてしまっていたのです。
逆に、本来、最も重要となる意味理解という部分の開発に目が向かなくなってしまうのです。
これと全く同じことが東ロボくんにもおこっていました。

東大に合格するという目標を立ててしまうと、なんでもいいから、設問に正答さえすればいいという点に力を注いてしまい、本文と選択肢の文字の重複を数えるといった表面的なテクニックに走ってしまっていたのです。
本来、やるべきことは、文の意味を理解して設問に答えることなのですが、最初から、意味理解は無理だと放棄してしまっているのです。
高い目標があだとなり、あまり実用的とは言えない選択肢回答プログラムといった開発にリソースを費やしてしまったのです。

本来の目的である、「AIにどうしてもできないことの解明」についても、新たな発見がないことから、東ロボくんの挑戦は失敗に終わったといえます。
ところが、東ロボくんの開発の過程で、現在の日本の子どもたちの大きな問題に気づいたと、新井教授は言います。
次回は、その点について説明したいと思います。

 

 

YouTubeも併せてご覧ください。

このエントリーをはてなブックマークに追加

“東ロボくんは、なぜ失敗したのか 「AI vs. 教科書が読めない子どもたち」批評1” への7件のフィードバック

  1. 東ロボくんプロジェクトの目標は東大合格でないってことを理解しておられますか?
    そうでないなら読み返した方がいいですよ

    • 田方 篤志 田方 篤志 より:

      あ、あ、あ、あ、様

      コメントありがとうございます。

      東ロボくんプロジェクトの目標は東大合格でないってことを理解しておられますか?
      そうでないなら読み返した方がいいですよ

      あ、あ、あ、あ、さんこそ、本ブログ記事をちゃんと読んでくださいね。

      本書をよく読んでみると、東ロボくんの目的が書いてありました。

      私を含めた関係者の中に、近い将来にAIが東大に合格できると思う人は一人もいませんでした。
      本当の目的は、AIにはどこまでのことができるようになって、どうしてもできないことは何かを解明することでした。(p.20)

      目的は、東大合格ではなく、AIにどこまでのことができるかを解明することのようです。

      と書いていますので。

      このように、僕は東ロボくんプロジェクトの目的が東大合格ではないことは理解していますよ。
      ところで、あ、あ、あ、あ、さんは、何が言いたかったのでしょうか?

  2. アバター Ono より:

    記事にとても共感しました。なぜこの本が売れているのか理解出来ませんでした。著者の「テクノロジカル シンギュラリティは来ない」という主張や、アプローチの仕方に問題があると思いました。英文など意味を理解せずに、た単語の出てきた回数などで当てている部分などがあり、それは人工無能と大差ないのではないかと思いました。とにかくこの実験は失敗だったと思います。著者はアメリカなどと比べて予算が少なかったといっていましたが、それでも3000万円くらいかかっています。はじめから「出来ない」とわかっていたのであればやらないほうがいいと思いました。

    この実験は本当に無駄だったと思います。

    • 田方 篤志 田方 篤志 より:

      Ono様
      コメントありがとうございます。
      その通りなんですよ。
      自然言語処理で、今まで意味理解できていないというのは、紛れもない事実なんです。
      自然言語処理で、本当に意味理解したのは、おそらく、弊社の「マインド・エンジン」が初めてだと思います。

      https://robomind.co.jp/mindengine1/

      よかったら、見ておいてください。

  3. アバター 占部聰長 より:

    「自然言語処理」には「一般意味論」の考えかたが必要である。多くの「類似・近接・単語の定義」に「抽象度」を付け「数値化」して「論理比較」しないと、「帰納・論理・推論」ができない。 
     新井紀子教授は「偽・デジタル教科書」を「紙・教科書」に戻し、算数・国語の「読解力」を磨かないと日本の将来は悲惨なことになるという暴論を展開している。「紙・教科書」に戻せば、子供たちはそれで「紙飛行機」を作り、「学級崩壊」になる。 
     現在の「デジタル教科書」は単に「紙・教科書」を「コピペ」したもので「デジタル」名乗る資格はない。atama plusのようにAI化すれば生徒がかってに自習・演算して自分の「脳細胞」を訓練できる。利口になるかどうかは、教育環境と教材でどれだけ「脳細胞訓練」をするかどうかである。atama plusは「紙・教科書」を棒読みする教師をクビにできる。私はすべての教科書に「英語ルビ」を降り、「単位制・絶対評価」にすれば小学6年生でバイリンガル、中学過程終了可能とおもう。中学3年で高校過程を終了して、高卒認定試験に合格して、「飛び級」で米国ivy leagueに合格可能である。

    • 田方 篤志 田方 篤志 より:

      占部聰長様

      コメント、ありがとうございます。
      atama plus知らなかったですけど、面白い仕組みですね。
      AIで、教育もどんどん変わっていくでしょうね。

あ、あ、あ、あ、 へ返信する コメントをキャンセル

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です