感情認識AIによる動画分析サービス「心sensor」がバージョンアップ、リアルタイム動画分析が可能に

CACが2018年2月にリリースした新サービス「心sensor（ココロセンサー）」。

数度のバージョンアップを経て、新たな機能がご利用いただけるようになりました。

こちらでは、感情認識AIによる動画分析サービス「心sensor」の新機能についてレポートします。

動画分析サービス「心sensor」

心sensorは、動画に映る人物の表情を感情認識AIで分析します。

心sensorでは、34のフェイスポイントの動きを基に、21種類の表情認識、7種類の感情認識、2種類の特殊指標（①ポジティブ／ネガティブ ②表情の豊かさ）などが分析できます。

分析の結果は、ビューア画面で動画の再生に合わせ、表情や感情を表す時系列のグラフで確認することができます。また、この分析結果は、数値による感情ログファイルとしてCSV形式で出力もされます。

心sensorの新機能・リアルタイム分析

この心sensorがバージョンアップし、新たに利用できる機能が増えました。

最大の特徴は、リアルタイム分析が可能になったこと。

2月リリースの初版では、分析の対象になる動画はPCなどに保管された動画データのみでした。

バージョンアップした心sensorには、PCに接続したカメラで撮影している映像に映っている人物の感情をリアルタイムで分析できる機能が追加されました。

リアルタイム分析では、カメラから取得しているリアルタイムの映像が表示されます。顔が認識されると顔の周りに枠が表示され、表情値が表示されます。

リアルタイム分析でも、ビューアでの分析結果参照ができますが、映像下のグラフには「7種の感情値」、「21種の表情値」「2種の特殊指標値」の情報がリアルタイムにグラフ表示されます。
また、感情ログのCSVファイル出力もされます。

最新バージョン（Ver.1.2）では、リアルタイム分析の動画の録画と感情ログの保存もできるようになりました。また、分析結果が管理しやすくなるよう、履歴管理機能も強化されています。

最近のノートPCにはカメラが内蔵されているものが多いですから、カメラ内蔵のノートPCさえあれば、心sensorのアプリケーションをインストールして、すぐにカメラ撮影の映像の感情分析ができます。

例えば、営業職の方のプレゼンテーションを分析して、分析結果をより効果的な営業活動に活かしたり、店頭に訪れるお客様の感情を分析して満足度を測ったり、自社製品を試しているモニターのリアルな反応を計測したり、など感情認識AIの様々な活用のシーンが広がります。

他にも便利な機能が追加

心sensorのバージョンアップで追加になった機能は、リアルタイム分析だけではありません。

バージョンアップした心sensorでは、分析結果をサマリー情報として表示できるようになりました。

サマリー情報では、動画の分析結果をグラフなどで表示します。
動画の感情分析結果がビジュアルで表現されるため、数字だけでは気が付かない示唆を分析結果から得ることが可能になります。

サマリー情報で表示されるグラフや情報は以下のとおりです。

パイチャート（円グラフ）

動画中の「顔なし」「感情なし」「感情あり」のフレームの割合や、顔検出中のポジティブ／ネガティブの割合、顔検出中の有意な感情値の割合を円グラフで表示します。

感情ヒストグラム

動画中の各感情値の大きさの出現頻度の割合を棒グラフで表示します。

感情ヒートマップ

動画全体の長さを5等分割したセクションそれぞれで、各感情値の大きさをヒートマップで表示します。

統計量サマリー

動画全体、および5等分割したセクションそれぞれで、各感情値の各種統計情報を表示します。

さらに、これらのサマリー情報は、「レポート」ボタンで、表示されている各情報をエクセルシートに出力することができます。

これらに加えて、バージョンアップした心sensorでは、複数の動画ファイルに一括分析指示を出すことも可能になりました。
これにより、手持ちの動画ファイルを１つずつ分析する必要がなくなり、最初に必要な複数の動画ファイルをまとめて登録すれば、あとは心sensorが登録した順番に各動画ファイルを分析してくれます。

また、感情認識AIの最新版（AffdexSDK4.0）への対応を行い、表情認識の精度が更に向上しました。