教育業界が初採用！
表情・感情認識AI「心sensor for Communication」がWebコミュニケーションの課題を解決

2022年3月に株式会社ベネッセコーポレーション様（以下、ベネッセ）が、同社の英会話オンラインレッスンの品質向上のため、表情・感情認識AIを活用したシステムを導入しました。このシステムはCACの「心sensor for Communication」をベースにベネッセ用にカスタマイズしたものです。

こちらでは、ベネッセの本システム導入と「心sensor for Communication」についてレポートします。

ベネッセがオンライン英会話教材の品質向上に採用

ベネッセは通信教育「進研ゼミ」で英語オプション教材「オンラインスピーキング」を提供しています。「オンラインスピーキング」は未就学児や小学生などが受講する英会話レッスンです。

ベネッセでは、「オンラインスピーキング」を受講するお子様たちがより楽しく、効果的に学習ができるようレッスン講師の指導品質向上を図るため、表情・感情認識AIを活用し、レッスン中の講師の表情とジェスチャーをリアルタイムに解析できるシステムの導入を企画され、当社にお声がけいただきました。

そこで、まずはCACの「心sensor for Communication」を英会話講師のPCにインストールして利用する形でPoC（実証実験）を実施いただきました。その結果を踏まえて、「日に何度もレッスンを実施する講師の負担をできる限り抑える」「ベネッセがログ分析を実施しやすい仕組みにする」などいくつかの要望をベネッセからいただき、CACにおいてカスタマイズを実施しました。

こうして完成したシステムは、レッスン中の講師の表情やジェスチャーをAIで解析して視覚化し、その結果を講師とベネッセの双方にフィードバックします。ベネッセでは特に講師の「笑顔」に着目して、お子様たちのより良いレッスンとなるよう講師とともに改善に努めます。また、システム自体は講師が使いやすいようにUI（User Interface）にも工夫がされています。

ベネッセが導入したシステムの詳細は以下のプレスリリースをご覧ください。

CACの表情・感情認識AIをベネッセが英語オンラインレッスンの講師の指導品質向上に活用
～ オンラインレッスン中の講師の表情やジェスチャーをリアルタイム解析 ～

Webコミュニケーションの課題を解決する
「心sensor for Communication」

今回ベネッセが導入したシステムは、表情・感情認識AIを活用したCACのソフトウェア「心sensor for Communication」をベースにしています。

CACが開発した「心sensor for Communication」は、オンラインの会議や研修など、Webでのコミュニケーションの課題を解決するためのソフトウェアです。

「心sensor for Communication」は、Web会議などの参加者の画像を、画像認識AIを利用して参加者の感情・表情、ジェスチャー、顔の向きを認識し、その状態を反映したアバター（分身）を仮想カメラによりWeb会議ツールの画面上に表示します。

アバターにはAIが認識した「笑顔」「注目」「うなずき」「リアクション」等の反応が表示され、さらに背景の色も変化します。また、アバターを利用せずに実際の顔の映像を表示しながら反応や感情を表示することもできます。

「心sensor for Communication」は表情だけでなく、CAC独自開発の「ジェスチャー認識AI」により参加者のジェスチャーも読み取りアイコンで表示します。例えば、「挙手」「OKサイン」「サムアップ」「画面に向かって立てた指の本数（1本～4本）」等のジェスチャーを認識し、アイコンで表示します。

Web会議などオンライン上のコミュニケーションの普及が加速する一方で、Webカメラで自分や部屋等が映ることに抵抗感を持つ人もいます。また、WebカメラがOFFの場合は、参加者の反応がわかりにくく、会議の目的を果たすことに影響が出る可能性もあります。

「心sensor for Communication」のアバターやジェスチャーなどは、こうしたオンライン上のコミュニケーションの課題を解決し、会議等のコミュニケーションを活性化するべく開発されたものです。

また、「心sensor for Communication」の利用により、リアルタイムだけでなく、時系列やジェスチャー別にもWeb会議等の参加者全員の状態が可視化されます。こうした参加者のデータは会議終了後に「サマリーレポート」として発行でき、会議の振り返りなどにも活用が可能です。

CAC独自開発の感情認識AIを搭載

「心sensor for Communication」はCACが独自に開発した感情認識AIを搭載しています。
CACは2016年から感情認識AIの企業等による活用支援の取り組みを進め、表情・感情認識に関するノウハウの蓄積と技術力の向上を図ってきました。

CACが取り扱う表情・感情認識AIは、通常、多様な感情や表情を認識し、精緻な分析を行うことが可能です。
しかし、「心sensor for Communication」の開発と活用、研究を進めた結果、Web会議等のコミュニケーションにおいては、「笑顔」など通常よりも認識や分析のポイントを絞って行うことで必要十分な結果が得られ、処理速度の向上も図れることが分かってきました。

この結果に基づいてCACでは独自の感情認識AIを開発、分析精度を保ちながらシステムの軽量化に成功しました。
これによりハードウェアやシステムへの負担が軽減され、お客様はより軽快に、より便利に表情・感情認識AIを利用できるようになりました。

もちろん、より多様な感情や表情の認識と精緻な分析が必要な場合は、「心sensor for Communication」のカスタマイズを行うことも可能です。

「心sensor for Communication」が秘める可能性

今回のベネッセでの「心sensor for Communication」採用は、教育業界における初めての活用事例となりました。教育業界のDX（デジタルトランスフォーメーション）加速の象徴とも言えるでしょう。

「心sensor for Communication」は、教育業界の他にも、オンラインの対面コミュニケーションに課題を抱えている業界での活用に大きな可能性を秘めています。

CACは今後も企業による表情・感情認識AI活用を支援してまいります。

「心sensor for Communication」のより詳しい情報は以下のサービスサイトでご覧いただけます。サービスの開発や活用についても、お気軽にご相談ください。

「心sensor for Communication」
の詳細はこちら