米朝首脳会談をAIが分析～テレビ東京の報道番組でCACの動画分析サービスを活用

2018年6月13日（水）に放送されたテレビ東京の報道番組「夕方サテライト」において、米朝首脳会談の分析にCACの技術が活用されました。

番組で使われたのは、感情認識AIによる動画分析サービス「心sensor（ココロセンサー）」。

こちらでは、番組での分析の様子をレポートし、心sensorの特徴を紹介します。

米朝首脳会談を感情認識AIで分析

歴史上初めての北朝鮮とアメリカ合衆国による米朝首脳会談。

この歴史的な会談を独自性のある切り口で報道したいと考えていたテレビ東京から依頼を受け、CACでは感情認識AIによる分析に協力しました。

番組では、会談や署名式の際に見せる両首脳の微妙な表情から読み取れる感情をAIで分析、これを使ってキャスターらが両首脳の心の内を読み解きました。

番組での分析に利用したのは、感情認識AIによる動画分析サービス「心sensor」です。

心sensorは、感情認識AIのリーディングカンパニー米Affectiva社のソフトウェア「Affdex SDK」を利用しています。

CACはAffectiva社の国内唯一の正規代理店で、心sensorは「Affdex SDK」を利用してCACが独自に開発したサービスです。

心sensorでは、動画に映る人物の表情を感情認識AIで、34のフェイスポイントの動きを基に以下の分析が可能です。

分析する動画は、ユーザーが保有している動画はもちろんのこと、PCに接続したカメラで撮影している映像内の人物の表情をリアルタイムで分析することもできます。

分析結果は、動画の再生に合わせてビューア画面で表情や感情を表す時系列のグラフで確認できるほか、数値による感情ログファイル（CSV形式）の出力やサマリーレポートの出力（円グラフ、ヒストグラム、ヒートマップなど）が可能となっています。

心sensorの機能は以下の記事で詳しくご紹介しています。

心sensor が利用しているAffectiva社の感情認識AIは、世界87ヵ国以上から収集された650万人（2018年6月時点）以上の顔画像データを基にDeep Learningで感情分析をしています。

また、Affectiva社の感情分析は、FACS（Facial Action Coding System：顔面動作符号化システム）と呼ばれる表情理論に基づくアルゴリズムを採用しています。

FACSは、視認可能な顔の動きの包括的な測定のためにPaul Ekman、Wallace Friesenらによって1978年に開発された分析ツール・表情理論で、膨大な実証研究からその有効性が証明されています。

このように、顔画像の世界最大級のビックデータ活用と、表情に関する長年の研究に裏打ちされた確かな理論の双方が、心sensorのより正確性の高い分析を可能にしています。

今回のテレビ東京「夕方サテライト」での米朝首脳会談の分析でも、こうした心sensorの持つ特性を充分に発揮することができました。

心sensor をはじめとするCACの感情認識AIサービスの詳細は以下をご覧ください。