▶カタパルトの結果速報、ICCサミットの最新情報は公式Twitterをぜひご覧ください！
▶新着記事を公式LINEで配信しています。友だち申請はこちらから！
▶過去のカタパルトライブ中継のアーカイブも見られます！ ICCのYouTubeチャンネルはこちらから！
ICC FUKUOKA 2023のセッション「解説・雑談シリーズ テクノロジーはどこまで進化するのか？(シーズン7) 」、全8回の②は、スピーカーたちがChatGPTがなぜ、これだけの進化を突如遂げたのかをディスカッション。砂金 信一郎さんと北川 拓也さんが、これから解明されていくであろうその背景を考察します。ぜひご覧ください!
ICCサミットは「ともに学び、ともに産業を創る。」ための場です。そして参加者同士が朝から晩まで真剣に議論し、学び合うエクストリーム・カンファレンスです。次回ICCサミット KYOTO 2023は、2023年9月4日〜 9月7日 京都市での開催を予定しております。参加登録は公式ページをご覧ください。
本セッションのオフィシャルサポーターは エッグフォワード です。
▼
【登壇者情報】
2023年2月13〜16日開催
ICC FUKUOKA 2023
Session 9G
解説・雑談シリーズ 「テクノロジーはどこまで進化するのか？」(シーズン7)
Supported by エッグフォワード
▲
▶「解説・雑談シリーズ テクノロジーはどこまで進化するのか？(シーズン7)」の配信済み記事一覧
ChatGPTはそれっぽく作ることが天才的に上手い
砂金 今、ChatGPTでテキストの話（前Part参照）をしていますけれども、半年、1年前になるとStable Diffusionで画像生成をやったじゃないですか。
西脇 Midjourneyもありました。
砂金 新海 誠さん風のイラストとかを、めちゃめちゃ上手く作ります。
「○○風」というプロンプティング、つまりヒントを与えてそれっぽく作るのは天才的に上手いのですが、結局中身は無いので作品性、文学性をそこに求めるのは無理ですね。
村上 でも、アニメの下絵を作る人が背景を描くのが面倒くさい場合に、「架空のジブリ風のお城を描いて」みたいにして、それをPhotoshopで取り込むと、あっという間に作画ができます。
Copilotという例えがぴったり
村上 要するに「Copilot（副操縦士）」とか言っているじゃないですか。
砂金 そうそう。
村上 だから既存の製品に組み込まれて、面倒くさい作業を一部肩代わりしてもらうのには非常に使いやすいです。
尾原 Copilotという表現は、非常に分かりやすいと思います。
村上 これはすごいなと思いました。
砂金 Microsoftのサティア・ナデラのプレゼンもすごく良かった。
▶マイクロソフト「Copilot」発表、「Word」や「Excel」がAIで劇的進化──「働き方を根本的に変える」とナデラCEO（ニューズウィーク日本版）
Copilotで、みんながより多くのことをできるようにするというのは、Microsoftはぶれていないですよね。
西脇 どうしたんですか？ さっき（前Part参照）から、Microsoftのことを褒めていますが。
村上 まるで古巣に戻りたい人になっていますけど、大丈夫ですか？
砂金 いやいや、すごいなと思って。
西脇 ああ、そう？ 純粋に（笑）。
尾原 人はやっぱりAIというと、正解を欲しがってしまいますけど。
西脇 おっしゃる通り！
「ディフュージョンモデルは趣味として純粋に楽しい」というのは、確かにそうですね。
村上 音楽も生成系AIが出てきて、「喫茶店ぽいジャズ風BGM」とかと言うと、簡単なショートトラックが出てくるので、動画のBGMに本当に使い物になりますよね。
西脇 「比較対象を全人類にすれば、多くの人間よりもまとも？」
いいですね、こういう意見がたくさん出てきて。
何ができるかは、また臣さん、後でお願いします。
ChatGPTは予測をさせるものではない
西脇 その前に、尾原さんがおっしゃったように（Part.1参照）、予測や予想をさせるものではないですね。
私はちょっと面白い実験をしています。
必ずセミナーのときにChatGPTのウィンドウを開いておいて、セミナー中に何を聞きたいのか、ChatGPTでアンケートを取ったんですよ。
そうすると、例えば、「2023年末の株価は？」「地震は何年後に起きると思いますか？」とか、みんな聞くのですが、絶対答えられないじゃないですか。
北川 予測系ですよね。
西脇 私がそれに返すのは、「あなたは毎日そんなことをやっていないでしょ」と。
「あなたが毎日やっていることをCopilotするけれど、あなたは日頃の仕事で別に地震の予測をしていないし、株価の予測もしていないじゃない」と。
そういうことをすごく言っているので、Copilotという表現は正しいんですよね。予測ではない。
尾原 そうですよね。聞きたいことをサポートしてくれる。
でも逆に、「地震の予測の仕方は、どういうふうな考え方で予測すればいいですか？」と聞いたら、5種類とか7種類とか言ってくれたりとかします。
連続的な成長からいきなり跳んだ
村上 北川さんのツイートもバズっていましたが、大規模言語モデルといわれるOpenAIのお陰で、データがオープンに無料で手に入るようになって、バーっとデータを食わせてみたら、確変が起きたということで。
▶編集注：北川さんのツイート
西脇 北川さん、その確変の話を簡単に教えてください。
尾原 ありがとうございます！
西脇 ここはちゃんと「解説」です。
尾原 皆さん、ここはちゃんと正解を教えてくれるところですよ。
西脇 すごくツイートがバズりました。
北川 そうですね。
▼
北川 拓也
Centiv, IncCEO
Centiv 創業者、CEO. 公益財団法人Well-being for planet earth理事。元楽天常務執行役員、CDO（チーフデータオフィサー）兼楽天技術研究所グローバル所長。過去に物性物理の理論物理学者として、非平衡のトポロジカル相の導出理論を提案。ハーバード発の米国量子コンピュータースタートアップであるQuEraの顧問を務める。
▲
一般的にディープラーニングのAIの進化は、「ある程度データを入れると、サチって（飽和している）ね、限界がきているね」というのが、AI研究者全体のイメージだったんですね。
「このくらいでサチっていたら、もうAIの進化は止まるんじゃないか」みたいに感じていた人が結構多かったと思うんです。
それをある意味、ニューラルネットワークのアーキテクチャ、学ばせ方を変えることによって、ちょっと良くしていこうという、すごい地味な努力を何回も何回も繰り返して「すごい！」とかやっていたんですけれども……
西脇 なんか連続的な成長しかなかったんです。
北川 （上昇のカーブを描きながら）まさにこんな感じでね。
だから5年前ぐらいは、10倍のデータ、100倍のデータを食わせてもたかがしれてるよねという印象を、多分我々みんなが受けていましたよね。
来てほしいけれど来ないかなと思っていたら、まさかのこの2年ぐらいの中で、あるデータ量を境にいきなり跳んだという次元が出てきました。
それが、いわゆるChatGPTの若干の驚きのクオリティにつながっているという、そういう話ですよね。
西脇 そうですよね。
砂金 あれはちなみにデータ量なんですかね？ パラメータ量なんですか？
尾原 データ量、パラメータ量、計算量、この3つすべてですね。
砂金 Scaling Law（スケーリング則）は、やっぱりその3つが揃ってね。
北川 はい。まさに砂金さんがおっしゃったように、多分「理解されていない」が正しい表現なんですよね。
どのパラメータが本当に効いているか分からないけれども、どれかをいじったらとにかく跳ねるのはなんとなく見えているという現象論でしかないですよね。
西脇 多分、何かの特異点があって、それを確実に超えたという瞬間が、このChatGPTにあったということですね。
北川 「あったっぽい」ということですね。
西脇 「ぽい」ということ。ただ、その何かが分からない。
北川 分からない。
その1つの、ある意味示唆が、数学的な証明を書いてもらうときや問題を解いてもらうときに、「これを1つずつステップバイステップで解いてもらっていいですか？」というプロンプティング、要は聞き方をすると、一気に精度が30％から70％に上がるみたいなことがあることです。
この現象は、実はまさに跳ねた後でないと起こらないことが分かっています。
つまり、「跳ねる」という言葉の意味の精緻化が、これから理論的に分析されていくかなと思います。
Chain of Thought的なものから劇的に進化？
砂金 北川さんのご意見をお伺いしたいのですが。
もしかすると、ChatGPT-2とか、GPT-3.5ではなくGPT-3のときに、「Chain of Thought（思考の連鎖）」は無かったじゃないですか。
つまり、質問に対して答えることはできたけれども、途中のプロセスを分けて考えられませんでした。
元の論文を出したのがどこか忘れましたが、Chain of Thought的なものが入って、1つの問題から答えまでどういうふうに分解するかという能力を、“AIさん”が身につけてから、劇的に進化したような気がしています。
▶Chain-of-Thought Prompting Elicits Reasoning in Large Language Models（Cornell Uiversity）
北川 そうですね。
Chain of Thought自体は、多分ChatGPT-3でも割とできたんですよね。
こういうふうに答えてくださいと例示をすればできていたのですが、砂金さんがおっしゃるように劇的に答えが良くなるというのが起こったのがGPT-4とかGPT-3.5以降で、それ以前はだめでした。
まさに人々が勘ぐっているのは、跳ねるということと、AIが論理的な思考というものを獲得することがつながっているんじゃないかということで、そういうふうに考える人もいるにはいますね。
西脇 確かに回答を見ていると、組み立てられている回答なんですよね。
「○○だと思います、その理由は4つです、1、2、3、4、まとめましてはこうです、ちなみにこれに注意してください」みたいに回答しますよね。
その後ずっとコンテキストを守って、会話をするじゃないですか。
この辺りがやっぱり今までと全く違うなと感じます。
これは特異点を超えてきたから得られる情報とやり方なのかなという気はしますよね。
尾原 そうですよね。だから技術的には。
でも人間って、マッキンゼーの法則というのがあって、説明するときになんか3つあるんですよね。
(一同笑)
北川 先に言ってね。
尾原 そう、先に3つ言ってから順番に考えるし、僕らはMECE（ミーシー）（※もれなくダブりなくの意）の呪縛にとらわれているので、1番目、2番目を言った後に、3番目は、まあなんか合うように考えるみたいなことをやっているわけですよね。
西脇 それを学んだんでしょうね、多分。
尾原 そうです。それと同じものを学んだのが、2017年のAttention Is All You Needという論文の手法です。
▶【論文】”Attention is all you need”の解説（AUC+X）
要は、どこの部分の文脈を覚え続けておいたほうがいいのか、むしろこの辺は軽視していいのかみたいなところの着目ができるようになりました。
そうすると、さっき言ったような質問の意図みたいなところも解釈するようになります。
それで、ゼロショット、ワンショットと呼ばれるように、今まで質問するときは、この質問をこういう感じで答えてくださいという例示が必要でしたが、それがなくても答えてしまいます。
その結果、皆さんからすると、まるで賢い友人に話しかけているときと同じように答えがもらえるので、衝撃が加わったというところですよね。
（終）
▶カタパルトの結果速報、ICCサミットの最新情報は公式Twitterをぜひご覧ください！
▶新着記事を公式LINEで配信しています。友だち申請はこちらから！
▶過去のカタパルトライブ中継のアーカイブも見られます！ ICCのYouTubeチャンネルはこちらから！
編集チーム：小林 雅／小林 弘美／浅郷 浩子／戸田 秀成