▶平日 毎朝7時に公式LINE@で新着記事を配信しています。友達申請はこちらから！
▶ICCの動画コンテンツも充実! Youtubeチャネルの登録はこちらから！
「AI/量子コンピューター/IoT/ブロックチェーンを徹底議論！」9回シリーズ(その4)は、現在のディープラーニングが抱える「膨大な電気消費」への解決策を、IBM基礎研究所の小野寺さんが解説します。人間の脳レベルの電気消費効率を実現するその新技術とは？ ぜひご覧ください！
▶ICCパートナーズではコンテンツ編集チームメンバー(インターン)を募集しています。もし興味がございましたら採用ページをご覧ください。
ICCサミットは「ともに学び、ともに産業を創る。」ための場です。毎回200名以上が登壇し、総勢800名以上が参加する。そして参加者同士が朝から晩まで真剣に議論し、学び合うエクストリーム・カンファレンスです。次回 ICCサミット KYOTO 2019は2019年9月2日〜5日 京都市での開催を予定しております。参加登録は公式ページのアップデートをご覧ください。
ICCサミット FUKUOKA 2018のゴールド・スポンサーとして、日本マイクロソフト株式会社様に本セッションをサポート頂きました。
▼
【登壇者情報】
2018年2月20-22日開催
ICCサミット FUKUOKA 2018
Session 7A
AI/量子コンピューターなど最新注目分野を議論
Supported by 日本マイクロソフト株式会社
(スピーカー)
小笠原 治
株式会社ABBALab 代表取締役 /
さくらインターネット株式会社 フェロー /
京都造形芸術大学 教授
小野寺 民也
日本アイ・ビー・エム株式会社
東京基礎研究所 副所長 技術理事
國光 宏尚
株式会社gumi
代表取締役会長
中村 洋基
PARTY クリエイティブディレクター /
VALU 取締役
(モデレーター)
尾原 和啓
▲
▶「AI/量子コンピューター/IoT/ブロックチェーンを徹底議論！」の配信済み記事一覧
連載を最初から読みたい方はこちら
最初の記事
1. メルカリの研究開発組織「mercari R4D」とは？ スタートアップ企業が研究所を持つ意義を考える
1つ前の記事
3. IBM基礎研・小野寺氏が語る「ディープラーニング脳」と「量子コンピューティング脳」の違い
本編
小野寺 最新のハードウエア寄り的な話になっているのですが、製品ではなく、IBM東京基礎研究所で今、何をしているかを話していきたいと思います。
尾原 日本マイクロソフト社がセッション・サポーターでありながら、IBMの最新技術を語ってもらえるとは、何て贅沢な場なのでしょう。
小野寺 ありがとうございます (笑)。
現在のディープラーニングは「電力消費量」が課題
日本アイ・ビー・エム株式会社 東京基礎研究所 副所長 小野寺 民也 氏
小野寺 先ほど小笠原さんが、さくらインターネットでGPUをというお話をされていました。
これからAIはどんどん進化していくと思いますが、計算量はそれに応じてどんどん必要になっていきます。
もちろんGPU自体も進化していくだろうと思いますが、ディープラーニング専用のニューロモーフィック・チップ、すなわちAIチップみたいなものも、研究テーマになっています。
いろいろな方式があるのですが、たとえば、次のスライドの左側には普通のフリーコネクティッドなものを挙げています。
ここで起こっている計算というのは、ある層の入力ノードに重みを掛けて足し算して、次の層の値にするという計算で、それをとにかく大量にやっています。
今は、普通のコンピューターだとデータはメモリ上にありながら、演算部分は結局プロセッサーのところまで持っていって計算して、また元に戻してということを繰り返しています。
この間にL3やL2（※）とか、壮大なメモリ階層の間を行ったり来たりしていて、それが非常に電力を消費する大きな源です。
▶編集注：L1・L2・L3キャッシュとは、CPUのキャッシュメモリのこと。L1の方が小容量・低密度で高速であり、L3の方が大容量・高密度で低速である。〔参考記事：なぜCPUにはL1・L2・L3というように複数のキャッシュレベルがあるのか？（GIGAZINE）〕
“電気的なニューラルネットワーク”をメモリ上に作る
小野寺 この問題に対するアイデアの1つはこの演算を全てメモリ上でやってしまおうというものです。
縦のピンクの部分が入力で、横のピンクが出力なのですが、メモリユニットというところで左側から流れてくる電流を、抵抗はオームの法則で掛け算になりますので、そこで掛け算を実施します。
縦に繋がっているところで、高校ぐらいで習う電流のキルヒホッフの法則(※)で、足し算ができます。
▶編集注：キルヒホッフの第1法則とは、電気回路の任意の分岐点において、分岐点に流れ込む電流の和が、分岐点から流れ出る電流の和に等しいという法則。
ですから重みを大きくしたければ抵抗を下げて、重みを小さくしたければ抵抗を上げるという、そういうメモリチップがもしできれば…。
尾原 要は、人間の脳みそに近づくという話ですよね？
小野寺 そうですね。
尾原 もともとは計算の中で重みを決めてやっていたので、電力も大量に消費するし、ラーニングに時間がかかっていました。
人間の脳みそというのは流れれば流れるほど流れやすくなります。
脳回路ができるというのと同じように、抵抗を電気的に変えてあげることによって、チップ化できる、電力消費も極めて少なくマシンラーニングができるということですね。
もちろん作り方次第でディープラーニングもおそらくできると思いますが、何よりもメモリだからトレーニング(訓練データを利用して学習の精度を高めること)が速いはずですよね。
小野寺 そうですね。
メモリ階層を上ったり下ったりしないで、全部メモリ的なところで済んでしまうというのがアイデアです。
この素子を作るのが結構難しいのですが、とりあえず1,000 × 1,000ドットぐらいのプロトタイプができています。
尾原 皆がすごく前のめりになっていますね (笑)。僕たちも初めて見るので。
中村 いやさっきからもう、ページの頭に入ってこなさがすごいというか(笑)。
「これはすごいページだな」と思いながら見ています。
小野寺 実は相変化メモリ (Phase Change Randam Access Memory：PCRAM) のテクノロジーを作るために開発したテクノロジーで、(電流の)ゼロとイチ(を作り出す)用に作っているものです。
▶編集注：相変化メモリとは、相変化記録技術を利用した不揮発性メモリ。熱変化などの操作によって、低抵抗な結晶相と高抵抗なアモルファス相を行き来させることができ、これがビットのゼロイチに対応する。
右上の写真には上と下に黒い部分がありますが、それがメタルの電極で、その間を電流が流れます。
上下の電極の間には細い管みたいなのがありますが、ここから熱を送って、上の当たっているところを温めると、結晶からアモルファス (amorphous) へ行ったり来たりするという仕組みです。
國光 すいません、これは量子コンピューターとは関係ないですよね？
小野寺 違います。
尾原 「ニューラルネットワークを電気的に作ります」という話です。
そうすると、ディープラーニングとかマシンラーニングがメモリ上で動くから、消費電力量を大幅に抑えられますし、非常に速く動くようになるという話ですね。
國光 これはいつぐらいに出てくるタイムスケジュールで開発しているんですか？
小野寺 これはまだリサーチ・プロトタイプですね。
國光 では量子コンピューターよりも、もうちょっと後？
小野寺 量子コンピューターは更にもっと先ですね。
國光 なるほど。5年ぐらいでそれなりに実用化が見込めるという感じですか？
小野寺 具体的な数字は控えますが、そうなってもおかしくはないと感じています。
人間の脳レベルの電力消費効率を持つマシンが実現?
尾原 よく言われる話ですが、アルファ碁は囲碁の世界チャンピオンを倒したけれど、そのトレーニングのために使っている電力を合計すると中規模都市の1ヶ月分くらいの電力を消費しています。
▶参照：消費電力1万2000人分 弱点克服できるか：日本経済新聞
それに対して人間の場合は、脳を動かしている量でいうと20ワット程度ですから、電力勝負であれば人間の方が圧倒的にCPU効率がいいです。
人間の脳ほどの電力消費効率を持つマシンを、ようやく実装できるようになるのではないか、物理的な可能性が見えてきたという話です。
國光 なるほど。
小野寺 そうですね、ですからこれをやるなら、0と1の2つの状態だけでなくて、やはり1,000ぐらいの状態を表現できなくてはいけません。
上っていくときもきれいに上っていき、下るときもきれいに下っていくことが求められます(※)。
▶編集注：深層学習において重みづけの値は通常-1~1の数値で行われる。「上っていくときもきれいに上っていき、下るときもきれいに下っていくことが求められます。」とは、ニューラルネットワークの学習の際に通常用いられる誤差逆伝播法や勾配降下法において、関数が連続で滑らかでないと微分できなくなり、学習がうまくいかないため。
國光 これができるようになると、ビットコインのマイニングに要する電気代が超安くなりますか？
尾原 とても安くなります！皆さん儲かりますよ。
中村 そんなレベルの話ではない気がしますけどね (笑)。
國光 ビットコインのマイニングのために用いられた電力が、アイルランドの全部の電力消費量を超えたと聞きました。
小笠原 コンピューティングというのは基本的に熱と電力の戦いなので、それを下げるというのは究極的な夢ですよね。
小野寺 そうですね、この世界にあった特性のマテリアルを見つけることが今の大きな課題です。
そして弊社リサーチが取り組んでいることの2つめは、AIとIoTというのは切っても切れないようになっていくと考え、花粉ぐらいの大きさのコンピューターの実現に取り組んでいます。
(続)
次の記事を読みたい方はこちら
続きは 5. IBMが開発する「花粉サイズ」の世界最小コンピューターが、あらゆるデータのリアルタイム計測を実現する をご覧ください。
▶平日 毎朝7時に公式LINE@で新着記事を配信しています。友達申請はこちらから！
▶ICCの動画コンテンツも充実! ICCのYoutubeチャネルの登録はこちらから！
編集チーム：小林 雅／本田 隼輝／尾形 佳靖／戸田 秀成／鈴木ファストアーベント 理恵
他にも多く記事がございますので、TOPページからぜひご覧ください。
更新情報はFacebookページのフォローをお願い致します。
