Deep Learning algorithms can be trained to classify emotions based on video frames labelled by human annotors. Each frame is annotated with a descriptor indicating the emotion being displayed. Further annotations are required for the facial expression detection, higlighting the landmarks and the deviation from a neutral pose. Models are trained for the face and expression detection, while another associates the correct emotion with the expression.

The team at Realeyes, a Deep Learning-based audience attention measurement system, carried out a study of the social media data associated with 130 car video ads by measuring the emotional response of 30,000 viewers using their system. They found that video ads with higher emotional performance, had better correlatation with higher social media performance. This enables content creators optimise their video content for emotional responses. 

Les algorithmes d'apprentissage en profondeur peuvent être formés pour classer les émotions en fonction d'images vidéo étiquetées par des annotateurs humains. Chaque cadre est annoté avec un descripteur indiquant l'émotion affichée. D'autres annotations sont nécessaires pour la détection de l'expression faciale, mettant en évidence les points de repère et l'écart par rapport à une pose neutre. Des modèles sont formés pour la détection du visage et de l'expression, tandis qu'un autre associe l'émotion correcte à l'expression. L'équipe de Realeyes, un système de mesure de l'attention de l'audience basé sur le Deep Learning, a réalisé une étude des données des médias sociaux associées à 130 publicités vidéo de voitures en mesurant la réponse émotionnelle de 30 000 téléspectateurs utilisant leur système. Ils ont constaté que les publicités vidéo avec des performances émotionnelles plus élevées avaient une meilleure corrélation avec des performances plus élevées sur les réseaux sociaux. Cela permet aux créateurs de contenu d'optimiser leur contenu vidéo pour les réponses émotionnelles.

Vision par ordinateur - Reconnaissance des émotions