커뮤니케이션대학원 졸업논문
영화 추천 시스템, 콘텐츠 기반, 사용자 경험과 사용성, 이미지 분석,
컴퓨터 비전, 미장센, 정동
전통적으로 영화 추천 시스템은 영화의 장르, 출연진, 태그, 내용과 같은 텍스트 기반의 메타 데이터에 대한 사용자 선호도를 반영하여 영화를 추천하였다. 영화 제작자 역시 언어를 기초로 영화 서사를 구성하지만, 기본적으로 영화는 시각 요소를 구성하여 메시지를 전달하는 시각 매체이다. 따라서 영화를 언어적 커뮤니케이션으로만 설명한다면 시맨틱 갭(semantic gap)과 같은 영화 정보의 불연속성이 발생한다. 본 연구는 이러한 문제를 해결하기 위해 기존에 제외되었던 시각적 특성을 적용하여 시각적 커뮤니케이션을 실현하는 추천 시스템을 제안하고자 한다. 이를 위해 영화적 미학을 추구하는 공간 연출 기법인 미장센(mise-en-scene)을 기반으로 영화 이미지 데이터를 해석하였다. 특히 사용자 연구 결과 중요 미장센 요소로 선정된 카메라 쇼트, 캐릭터 감정, 색상을 기준으로 영화 스틸컷을 분석하였다. 나아가 ResNet-50 기반의 딥러닝 기술과 감정 인식 API, 색상 디스크립터를 활용하여 미장센 특성 도출을 자동화하였다. 개발된 미장센 기반 추천 시스템은 스틸컷 특성 분석 결과에 따라 유사한 분위기의 영화 장면을 사용자에게 추천할 수 있다. 또한 영화 분야 전문가와 비전문가를 대상으로 미장센 기반 추천 시스템과 장르 기반 추천 시스템의 사용성 비교 평가를 하여 사용성 차이를 확인하였다. 평과 결과, 추천 품질에 대해 미장센 기반 추천 시스템은 장르 기반 추천 시스템보다 우수한 평가를 받았다. 전문가 그룹은 비전문가 그룹보다 사용 만족과 의지를 강하게 보이기도 했다. 또한 추천 시스템의 정확성뿐만 아니라 매력 및 재미 요소와 같은 유희적 품질이 추천 시스템 사용성 개선에 기여한다는 사실을 확인하였다. 결론적으로 미장센 기반 추천 시스템은 영화 정보의 손실을 줄이고 유희적 추천 품질을 제공하는 추천 경험의 새로운 형태를 제시한 것에 의의가 있다.
Traditionally, movie recommender systems have recommended movies reflecting user preferences on text-based metadata such as genre, cast, tags, and synopsis of the movie. Although filmmakers also construct film narratives based on verbal language, films are, by nature, visual media that convey messages through visual elements. Therefore, when a movie is explained only through verbal communication, discontinuity of movie information, in other words, a semantic gap occurs. To solve this problem, this study proposes a recommender system that realizes visual communication by applying visual characteristics that were previously excluded. In order to achieve this, characteristics of movie image data were analyzed based on mise-en-scene, a spatial directing technique pursuing cinematic aesthetics. The stills of movies were analyzed based on camera shots, a character's emotions, and colors selected as important mise-en-scene elements as a result of user research. Moreover, the mise-en-scene features derivation was automated by using ResNet-50-based deep learning technology, emotion recognition API, and color descriptor. This mise-en-scene-based recommender system can thus recommend movie scenes of a similar mood according to the features of the stills. Then, usability testing was conducted on both film experts and non-experts to confirm usability differences by comparing the mise-en-scene-based recommendation system and the genre-based recommendation system. As a result of the evaluation, the mise-en-scene-based recommender system received a better evaluation than the genre-based recommender system for its recommendation quality. The expert group also showed a stronger degree of satisfaction and willingness to use than the non-expert group. Moreover, it was confirmed that not only the accuracy of the recommender system but also the hedonic quality such as attractiveness and fun factors contributes to the improvement of the usability of the recommender system. In conclusion, the mise-en-scene-based recommender system suggested a new form of recommendation experience that can reduce the loss of movie information and provides hedonic quality.