▶カタパルトの結果速報、ICCサミットの最新情報は公式Twitterをぜひご覧ください！
▶新着記事を公式LINEで配信しています。友だち申請はこちらから！
▶過去のカタパルトライブ中継のアーカイブも見られます！ ICCのYouTubeチャンネルはこちらから！
ICC FUKUOKA 2023のセッション「解説・雑談シリーズ テクノロジーはどこまで進化するのか？(シーズン7) 」、全8回の③は、ChatGPTがなぜ、筋道の通った答えを返すことができるのかがテーマ。「Aが起きたらBが起きるという事象」を学習できないと思われていたAIが、数多の可能性の中から正しい道を選べるようになったという驚きを北川 拓也さんが解説します。ぜひご覧ください!
ICCサミットは「ともに学び、ともに産業を創る。」ための場です。そして参加者同士が朝から晩まで真剣に議論し、学び合うエクストリーム・カンファレンスです。次回ICCサミット KYOTO 2023は、2023年9月4日〜 9月7日 京都市での開催を予定しております。参加登録は公式ページをご覧ください。
本セッションのオフィシャルサポーターは エッグフォワード です。
▼
【登壇者情報】
2023年2月13〜16日開催
ICC FUKUOKA 2023
Session 9G
解説・雑談シリーズ 「テクノロジーはどこまで進化するのか？」(シーズン7)
Supported by エッグフォワード
▲
▶「解説・雑談シリーズ テクノロジーはどこまで進化するのか？(シーズン7)」の配信済み記事一覧
AIは因果推論を学んだのか？
北川 砂金さんのご質問をもう少し深掘りして、逆に尾原さんや皆さんの意見を聞きたいのですが、「因果推論」というものがAIの中の最も大きなハードルとして存在しているわけじゃないですか。
▶因果推論（NRI）
Aが起きたらBが起きるという事象を、実はAIは学べていないんですね、今。
なので因果推論ができないことが大きな問題だったのですが、多分ステップバイステップの論文を書いた人は、それが頭にあったんだと思うんですよ。
砂金 なるほどね。
北川 さてはAIは因果推論を学んだのか、それとも学んでいないのかを確かめたくて、AIにちょっと聞いてみたんだと思うんですね。
案外、因果推論っぽいことを、何かやっているんじゃないかと思って。
理論的にこれを理解しようとするときのヒントとしては、このニューラルネットワークの中に、因果推論的なストラクチャーがどこに眠っていて、それがどれくらい形成されているのかをちゃんと分析したら、多少理解が深まるのではないかというのが僕の仮説ですね。
砂金 なるほど。あと“GPT-3”で、コードを書けるじゃないですか。
GPT-3でPythonのコードを出力すれば、Pythonで証明や解くことができる数学の問題はPythonで解
き、ChatGPTで自然言語にしてから出力すればいい。
尾原 もう1回戻してね。
砂金 人間の頭の中って、本当にロジカルに言葉で考えているのか…恐らく北川さんの頭の中はほぼ数式と行列でできていると思うんですが、頭の中でそういう解き方をしながら、一方で人に解りやすいように答えるにはこうしたらいいよねということを、ChatGPTがやっていたとすると、それって要はPythonで表現できる数学空間の中においては、ロジックはもう持っているはずですよね。
北川 ああ、面白いですね、それは。
尾原 実際それは「インコンテキスト」という言い方をします。
例えば、藤井 聡太さんは棋譜（※） で考えるらしいんですよね。
▶編集注：棋譜とは、将棋の対局で指された手を順番に記入した記録のこと。▲7六歩△8四歩のように、数字と駒の名称で記録する。（参照：「棋譜並べ」で将棋が強くなる？その方法と５つの効果をご紹介 日本将棋連盟）
普通の人は1回将棋の盤で変換して、将棋の盤の中でシミュレーションして考えますが、ある程度濃縮していくと棋譜だけで考えられるようになってしまうようなことをしていて、そういうのを「マルチモーダル」と言ったりします。
人間は絵で考えたり、あと関西人は「どわーっ」「シュワー」とか、オノマトペの擬音で考えています。
これは真面目な話で、情報量の扱い方の、圧縮の仕方のベクトルの問題なんです。
膨大な縁起の結果、一本道として因果が見える
尾原 因果推論の話は、何が原因で何が結果かということを再現性がある形で証明できることが因果としての科学ですけれども、ちょっと人間の本質論的な話をします。
北川 ぜひ！
尾原 僕は、LMM（Large Language Models）というのは、縁起論をむちゃくちゃやっていたら結果的に因果論が見つかったということじゃないかと思うんです。
西脇 縁起論を説明してください。
尾原 縁起というのは、今皆さんがここにいらっしゃるのはいろいろな揺らぎ、たまたまトイレに行こうかなと近寄った中でふらっと来たかもしれないし、（小林）正忠さんの神々しい姿を見てここは何かいいとぞ思って来た方もいるので、いろいろなノイズの中でこの人生を歩んでいるわけですよね。
それを縁起という言い方をしています。
それに対して西洋的には、この1つの原因があるからこの結果があるんだと思っているのですが、そんな一本道で人生を歩むことは本来無いわけですよ。
AIはむちゃくちゃ大量のデータをむちゃくちゃ大きいパラメータで学習するから、これは縁起に近いんじゃないかと僕は思っています。
縁起をむちゃくちゃ貯めたら、結果的に一本道としての因果が浮かんで見えたという。
西脇 それでさっきのChatGPTの劇的な進化の話につながるわけですね。結局それが実現できたと。
人っぽく見えても、我々がそう見ているに過ぎない？
村上 でも、引き続き僕はそこに因果が無いと思っている派です。
まだ、結局仕組み的にも確率論オバケの域を出ていなくて。
尾原 そうですね、おっしゃる通りです。
村上 例えば翻訳のDeepLにしても、結局何も意味を分かっていないじゃないですか。
この単語の次にこれが来るよねと、それが他の言語と比べたときに交換が可能だよねというので、翻訳っぽい羅列を出しています。
その時点ではコンピュータは何の意味も分かっていなくて、我々人間側がその意味を理解しているだけじゃないですか。
結局それと同じ話で、引き続きコンピュータは因果を理解していなくて、人間側の想像力とのギャップが縮まってきた。
その対話というインタフェースが、特にプロンプトの流れによって、“AIさんは”と砂金さんはおっしゃっていたじゃないですか。
こちら側が擬人化して歩み寄ったことによる期待値設定が変わって、「こう考えているに違いないから、この回答はこうだろう」という推論の結果、なんか人っぽく見えるという結果になっているんじゃないかなと思います。
確かに大規模言語モデルで答えられるパターンは、カバレッジが増えて該当も良くなったように見えるけれども、中身自体は何も変わっていなくて、引き続き我々のほうがそういうふうに見ているに過ぎないんじゃないかと思っています。
西脇 ああ、なるほど。AIの答えと今のやり方にだまされている感はありますね。
村上 結局このプロンプトの話は、1960年ぐらいのAIの初期の頃にも、要は精神科医だというコンテキスト設定をした（ELIZAの）対話実験で、コイツは本当に人なんじゃないか、脳みそを持っているんじゃないかと、当時でもだまされたというものがあります。
オウム返しで、ちょっと前に言ったことを繰り返し言っていることで、精神科医の面談だという設定をしたことによって、受け手が勝手に「この人、私のこと分かっているんじゃないか」とか。
なんか禅問答と一緒ですよね。ある答えを求めているんじゃないかみたいに想像していたわけで。
AlphaGoの驚きとは
北川 ちょっと僕、尾原さんの話を解説していいですか？
尾原 キタ～！
村上 ここは解説です！
西脇 分かりやすくお願いします。
北川 縁起的な話が因果推論的に見えることがなぜ驚きだったかというと、普通、指数関数的に多い可能性があるということがポイントなんですよね。
「AlphaGo（アルファ碁）」の驚きがどこからきているかというと、指数関数は2の百乗とか1,000乗と言った瞬間に、もう途方もなく大きい、宇宙のアトムの数よりも大きい数ぐらいにいってしまうような大きい数字になります。
だから、基本的に「指数関数的に」という数学的表現をしたときは、「解けない」ということを言っているのです。
AlphaGoが驚きだったのは、指数関数的な可能性のある手の打ち方から、いい打ち方を実は解くことができたという驚きなんですね。
尾原 囲碁は10の365乗の打ち方があるんですよ。
これは宇宙の星の数と同じぐらい、通り数があるんですよね？
北川 より多いですね。はるかに多い数があって、解くことができません。
さっきの急にChatGPTが進化したということ（Part.2参照）の1つの解釈の仕方は、この指数関数的にある可能性から正しい道をある程度選ぶことができるようになったのに等しいと思っています。
縁起的な歩き方をしているものの中から、それなりに、らしい因果推論の答えを出すというのは、おそらく指数関数的な問題を解いているのに等しいんですよね。
だから臣さんの言っていることもその通りではあるのですが、可能性の数があまりにも多かったから、それでもやっぱりサプライズなんじゃないかと。
村上 なるほど、なるほど。それはそうかもしれない。
西脇 なるほど、分かりました。
……一言でまとめると、今のセンテンスは何になりますか？
(一同笑)
砂金 それはChatGPTに聞いてみて。
西脇 そうですよね。でも、今逆をやっていますからね。
分かりやすい言葉から解説するのがChatGPTだから、今、逆でしたね（笑）。
尾原 雑談で広げていって（笑）。
壁打ち相手としては最強
西脇 （笑）真面目に言いますと、尾原さんから、自分がいろいろな要素を持ってこの会場に来ているという話がありましたけれども、それよりもっと多くの要素をChatGPTは裏で持っているわけです。
ということは、ChatGPTと会話をしていると、明らかにたくさんの情報を持っている先生から教えてもらっているという立場が取れるんですね。
自分じゃない他の人の意見、あるいは世の中全般の意見から答えを持ってきているということで、ひょっとしてそっちが正しいんじゃないかとか、先生から教えてもらうんじゃなくて、そっちから学んだほうがいいんじゃないかという心理が非常に働くんですね。
これもちょっとマジックかなという気がするんですね。
この辺りはどう思いますか、尾原さん。
尾原 えっ、僕？
(一同笑)
西脇 あなたしかいませんよ（笑）。
尾原 そういう意味で言うと、ものすごく巨大なデータから探してくれるから、「可能性空間」という言い方をnoteの深津 貴之さんがしていて、あれは分かりやすいなと思いました。
▶いま話題の「ChatGPT」は何がスゴイ？ 仕事で使える活用術をnote 深津氏が解説！（Impress）
例えば、「リンゴって何？」と聞くと「果物ですね」と言うけれど、もしかしたらリンゴ・スターのことを聞いているかもしれないし、Appleのコンピュータのことを聞いているかもしれない。
そういうふうに、いろいろな方向で知識の空間はあるわけですよね。
だから、どういう切り取り方をするかによってものの風景は変わってしまって、そこの壁打ち相手としてはやっぱり最強というのが。
西脇 そうですね、臣さんも、「ブレストの相手としては最高」と言っていましたね。
会話をする相手としては最強だと。
村上 そうですね。
人間っぽい見せ方が上手い
砂金 ChatGPTがUI上すごく良かったのが、最初英語版を使っていたときになめらかすぎてあまり気にしなかったのですが、日本語版は最初ちょっと、何て言うんでしょう、テケテケテケってたどたどしかったじゃないですか。
西脇 かなり止まるし。
砂金 基本的に、日本語を英語に翻訳して、英語で考えて、日本語に翻訳して返すみたいなことを中でやっていると思うのですが、あれがまたなんかちょっと、人間っぽいんですよね。
尾原 ああ、考えてる感。
村上 考えてる感ある。
西脇 人間の心理だから、やっぱり見ていると「AI君が考えている」と思うんですよ。
10秒待っているのは考えているからではないんだけれど、そういう演出もあるんですよね。
そうか、確かに見せ方が上手いですね。
（終）
▶カタパルトの結果速報、ICCサミットの最新情報は公式Twitterをぜひご覧ください！
▶新着記事を公式LINEで配信しています。友だち申請はこちらから！
▶過去のカタパルトライブ中継のアーカイブも見られます！ ICCのYouTubeチャンネルはこちらから！
編集チーム：小林 雅／小林 弘美／浅郷 浩子／戸田 秀成