随分前の話ですが、質問応答システムの研究をしていたことがあります。最近も深層学習の言語理解へ応用するタスクとして人気があるようですが、私が関わっていた頃はどちらかと言うと情報検索の延長として、複数の文章（たとえば新聞１年分）に書かれていることにもとづいて質問に答えるというタスク設定が主流でした。
ある時、研究成果の力試しとして TREC (Text REtrieval Conference) という評価型のワークショップに参加することになりました。残念ながら、私達のシステムはあまりぱっとしない成績に終わってしまったのですが、それはさておき、とある参加チームをめぐってちょっとした騒動が起きました。
そのチームは確かロシアの企業だったと思うのですが、少なくともその業界では全くの無名でした。ところが（というのはヘンかもしれませんが）そのチームのシステムがとても素晴らしい成績を出してぶっちぎりで一位になったのです。問題になったのは、その成績があまりにも良すぎたことです。人間には及ばないレベルでしたが、いったいどうやったらそんなに正解できるのか、少なくとも当時の研究者には皆目見当がつきませんでした。
今はどうかわかりませんが、当時の TREC では参加システムを公開する義務はありませんでした。（私も企業から参加していたのでシステムは公開しませんでした。）ですが、参加チームはどういう技術を使ったのか technical paper のような形で報告することは求められていました。また原則としてワークショップにも参加して発表するように言われていたと思います。
当然のごとく、私はそのぶっちぎりトップのチームのポスターを見に行きました。しかし、そこには発表者は見当たらず、モヤッとしたことしか書いていない文章が書かれたポスターがあるだけでした。私の他にも何人かの研究者が困惑気味に付近をウロウロしていたのを覚えています。
実はそのチームが素晴らしい結果を出したのはその年が初めてではありませんでした。前年も同じように凄い成績を出していたと記憶しています。しかし、どうやら一年目はワークショップに参加していなかったらしく、二年目もロクの情報を開示していなかったため、多くの研究者からはチートだと思われていました。実際私も眉唾ものだと思いました。
私はその後質問応答から遠ざかってしまったので、あのチームがどうなったのかわかりません。あの結果の真偽のほどもわかりません。ただ、最近の人工知能ブームを見ていると、この手の「あまりにも出来すぎていて本当に自動でできているのか疑わしいけれども、外部から検証するすべがない」という事態はこれからも（あるいは既に）起こるのではないか、という気がします。
TREC のように学術的な場だと中身を教えないというのは評判を落とす、あるいは、周囲からとりあってもらえない自殺行為です。しかし、学術的な貢献を目的としていない状況、たとえばある会社が極秘に開発しているシステムに投資を募る場合などでは、たとえNDAを結んだとしてもできる限り中身は教えたくない、ということも十分ありえます。こういった場合、どこまでなら教えられるのかという交渉事になるのが普通だとは思いますが、仮に中身を見せることなく外部からの操作だけで自動でやっていることを納得してもらう方法があったとしたら、有用なのではないかと思います。
しかし、これはなかなか難しい問題だと思います。
アプローチは２種類あると思います。一つは機械にはできるけれども人間にはできないことをやらせる方法。たとえば、１０年分の新聞に一回だけ書かれているようなことを１秒以内に答えさせる、などというのは人間にはちょっと無理そうです。もう一つのアプローチは機械にはできないけど人間にはできることをやらせる方法。たとえば、どこかに書かれていそうだけれども書かれていないことを質問されるのは、機械にとっては厄介なことです。
とはいえ、これらの方法も万全とは言えません。最初の素早く答えさせるアプローチは「システムが開発途中のためデータアクセスに時間がかかるのでそんなに速くは答えられない」とでも言われてしまえば、そういうものかと思わざるを得ません。二番目のアプローチも絶対に機械にできないかと言われると、そうではない気がします。
とある映画のように人間だか機械だかよく分からない世界が来るのはまだだいぶ先な気がしますが、ＡＩになりすまして詐欺をはたらく人は意外とすぐに現れるかもしれません。
追伸
本投稿は私が持てる限りの知識と労力をかけて開発した汎用型ブログ執筆システム「一筆炎上」により作成されました。ご興味のある方は、まずはお試し利用料（現在キャンペーン価格適用中）を私の銀行口座までお振り込み下さい。電話番号を御連絡いただければ折り返しお電話で金額・口座番号をお知らせします。
CTRL+x CTRL+s 