5. リアルタイム音声認識「Poetics Speech API」が日本語では最高性能レベルの理由

ICC KYOTO 2024のセッション「AIの最新ソリューションや技術トレンドを徹底解説(シーズン7)」、全11回の⑤は、Poetics 山崎 はずむさんが、商談解析AI 「JamRoll」を紹介。商談内容の書き起こし、サマリー作成、社内共有まですべて自動にし、商談突破率と売上の向上、教育工数の低減に高い効果があるといいます。さらに「JamRoll」はSFAを代替する可能性も。ぜひご覧ください!

ICCサミットは「ともに学び、ともに産業を創る。」ための場です。そして参加者同士が朝から晩まで真剣に学び合い、交流します。次回ICCサミット FUKUOKA 2025は、2025年2月17日〜 2月20日 福岡市での開催を予定しております。参加登録は公式ページをご覧ください。

本セッションのオフィシャルサポーターは Notion です。

▼
【登壇者情報】
2024年9月2〜5日開催
ICC KYOTO 2024
Session 11C
AIの最新ソリューションや技術トレンドを徹底解説(シーズン7)
Supported by Notion

(スピーカー)

青木 俊介
チューリング株式会社
取締役 共同創業者

柴田 尚樹
NSV Wolf Capital
Partner

砂金 信一郎
Gen-AX株式会社
代表取締役社長 CEO

山崎 はずむ
株式会社Poetics
代表取締役

(リングサイド席)

上地 練
株式会社Solafune
代表取締役CEO

小田島 春樹
有限会社ゑびや / 株式会社EBILAB
代表取締役社長

柴戸 純也
株式会社リンクアンドモチベーション
執行役員

武藤 悠輔
株式会社 ALGO ARTIS
取締役 VPoE

(モデレーター)

尾原 和啓
IT批評家
▲

▶「AIの最新ソリューションや技術トレンドを徹底解説(シーズン7)」の配信済み記事一覧

---

会議ツールとワンタップで連携

山崎　簡単なデモをご覧ください。

会議ツールとワンタップで連携しますので、誰でもすぐに使えるようになります。

尾原　便利ですね。

山崎　接続設定をしますと、AIアシスタントが入ってくるのでいつも通り商談に参加するだけでOKです。

商談に参加すると自動で解析データが生成される形になっています。

実際のデータに切り換えさせていただきます。

（山崎さん準備中）

尾原　ちなみにZoomは独自AIで勝てないから、Zoomの上にAIのプラグインを入れていくようなマーケットが広がっていますよね。

柴田　めちゃくちゃ多いと思いますね。

実は生成AIは非構造化データを扱うのがものすごく得意です。

議事録や商談内容は完全に非構造化データです。

人間が普通に喋った全く構造化されていないテキストだと思うので、実はすごく生成AIと相性がいいと思います。

複数の話者を分離し、重要ワードをピックアップ

山崎　こんな形で商談の動画が残ります。

誰が話しているのかが分離され、それに伴って生成AI側で商談の概要、お客様が言っている課題や提案が刺さったポイントなどを、自動で抜き出すようになっています。

提案に対してお客さんはどのような印象を持ったかなと思ったら、そこをクリックしていただくと飛んだり、お客さんの課題がわかります。

この課題のところだけを取り出すこともワンタップでできるようになっているので、そこだけをデータでためていくことができるようになっています。

砂金　ちなみにお客さん側が会議室で5〜6人参加して、一人ひとりウェブカメラがオンになっていない時はどうなりますか？

山崎　n数が何人かによるというのが正直なところで、例えば20人だったら無理です。

ただ、現実環境の中での話者分離は、スマートフォンアプリケーションでもできるようになっていて、10人ぐらいであればいけるという結果も出てきています。

砂金　シングルチャネルの音声でも話者分離ができて？

山崎　そうです。モノラルでということですね。

砂金　お客さんA、B、Cがこういう印象だったみたいなことが後からわかるのですね。

山崎　おっしゃる通りです。

話している内容から、どちらが商談相手なのかも分離します。

このタスクは結構難しくて、目をつむってこの空間に何人話している人がいるかをAIに当てさせるみたいなことは、普通人間が行わない行為なので、話者分離は難しいところがありますが、このようなことにも取り組んでいます。

尾原　この辺りの話は先ほど大事なキーワードを柴田さんが言ってくださいましたが、今までAIに食わせるためにはデータを分類するようなラベルを貼り付けたり、どういうものが大事かを事例として入れなければいけませんでした。

今ではチューリングの自動運転のように動画で見ているものの中から、運転で事故を起こしそうなところを勝手にピックアップしてくれるわけですよね。

それと同じで、多分Fine Tuning（詳しくはPart.7参照）などいろいろされていると思いますが、商談という行為の中で重要そうなキーワードやテーマを、ラベルを貼るなどしなくてもピックアップしてくれるところが、こういうドメインAIのすごいところだったりするのですよね。

山崎　つないでいただいて、ありがとうございます。

感情のところにも触れていただいたので、少しだけお話ししますと、音と言語の情報からお客様の感情の可視化もしていて、話している内容と話し方から商談が刺さったのかという商談ドメインだけに特化した感情のモデルみたいなものも組み込んでいます。

商談内容を自動文字起こし

山崎　こういった情報は、従来手入力しなければいけませんでしたが、ここも自動化しています。

こちらはセールスフォースの画面ですが、商談が終わるとこのような形で、AIが全部自動で書いています。

人間は一切書いておらず、ボタンすら押していません。

商談サマリー作成後、Slackへ自動送信

山崎　あとは商談の報告が来ない場合、Slackと連携しておくと、商談のサマリーが終わった後にすぐに送られてくるので、営業の報告を自動化しています。

商談突破率、教育工数、‍売上が改善

山崎　導入によって出た成果をまとめたスライドが、以下です。

尾原　導入は順調に増えているのですね。

山崎　最近増えてきています。あとは対面も実は今後すごく大事で、音声は今まで電話や実際のオンライン会議などクリーンデータばかりでした。

例えば、我々がカフェでも人と話せるように、周囲に雑音があってもある方向に対してアテンションを向けてデータをしっかり取れるという解析もR&Dしてきました。

ノイズ環境でも、音声認識や話者分離がかなり向上したので、対面もリリースしています。

商談解析からNext SFAへ

山崎　あとは、そもそもSFA（Sales Force Automation）も必要ないのではないかと、最近考え始めています。

尾原　ほう！

山崎　自動でスコアリングもしているので、あらゆるチャネルからSFAそのものを代替しようともしています。

というのも、生成AIを活用する場合、企業独自のデータ基盤構築がどれだけできるかが重要で、GPTを使いこなせるかどうかは、さして重要でないと思っています。

ですから、データ基盤構築のための準備をしなければいけませんが、結局商談データは先ほどの話のようにたまっていないのですよね。

ただし、この商談データは企業の経営方針の意思決定に非常に重要なデータです。

結局、データ基盤自体はあるのだけれど、全然使われていない状況があります。

これを自動化しようと考え、いつも通りメール送信したり電話したり商談したりしていたら、勝手に案件進捗がボードに出るようなサービスをリリースしようと動いているところです。

SaaSによって希少性の高いデータを取得

山崎　このような形でデータを集めながら、我々は「AI API」の形でモデル自体の切り出しのようなことをしています。

いわゆるセールステックのSaaSをしながらも、実態としては集まってきたデータを切り出して販売しています。

データがたまってきたので、例えば、OpenAIのWhisperの日本語に限って比べればデータ数が多いので、これをうまく使おうと考えています。

特にデータの希少性という観点でいうと、LLMはインターネット空間に落ちているデータなので誰でも使うことができますが、生の商談データは落ちていません。

ですから、いかにSaaSのような形でワークフローに入り込んでいってデータを取り込めるかは勝負で、かつ希少性が非常に高いのです。

文字誤り率指標でOpenAI超え

山崎　それを使っていくことで、日本語特化のリアルタイム音声認識API「Poetics Speech API」も、直近クローズドで出して、コールセンターなどで使っていただいています。

100文字中何文字間違えるかという文字誤り率の指標では、日本では最高性能レベルです。

尾原　マジですか！日本語で！

山崎　OpenAIのWhisperと比べても勝てるレベルになってきたかなというところです。

特にこれをコールセンターに提供しています。

▶Poetics Speech API、コムデザイン社のクラウドCTI「CT-e1/SaaS」と連携（PR TIMES） 

（続）

編集チーム：小林 雅／原口 史帆／浅郷 浩子／戸田 秀成／小林 弘美