커뮤니케이션대학원 졸업논문
크로스모달, 교차 감각, 공감각 예술, 미적 경험, 음악-그림 연관성, 인터아트
본 논문은 궁극적으로 인간의 미적 표현의 기술과 감상 경험을 조명하고 예술 감상 인식을 향상시키는데 있다. 연구는 21세기 인간의 '감각'에 대한 다양한 연구에 대응하는 각도에서 취해졌으며, 학제 간 연구에서 특히 인간의 감각과 경험으로부터의 예술은 여러 분야에서 많은 논란을 불러일으키는 개념이었기에 이 연구는 통계적 접근과 예술 분석적 접근을 같이 수행하여 과거의 감각 연구의 한계점을 뛰어넘으려 하였다. 연구는 예술 감상에서 다차원적 경험을 만드는 과정의 '감각'과 ‘감정’을 중심으로, 주제를 공유하는 그림과 음악 작품들의 공통적 표현 영역을 조사하며 이의 크로스모달 효과를 탐색하는 데 초점을 맞추고 있다. 시각과 청각 작품이 대응되는 구조와 융합적 감상이 지각에 일으키는 효과, 감각과 감정을 극대화하는 크로스모달 효과에 대한 논리를 뒷받침하는 연구이다. 본 연구는 감상 경험의 극대화를 위해 시청각 통합을 적용한 예술이 작품 경험에 대한 긍정적인 태도를 형성하는 데 효과적인지를 확인하며, 크로스모달 효과와 대응적 요소를 확인한다.
디지털 시대의 예술은 시각과 청각에만 의존하지 않고 공감각 차원에서의 경험과 감상으로 확대되고 있다. 따라서 다양한 감각을 자극하는 기기들이 등장하였지만, 여러 하드웨어적 문제점은 여전히 해결되지 못하고 있는 숙제이다. 본 연구는 이를 크로스모달 효과로 해결할 수 있는 가능성을 보고 인간 지각 차원에서 감각의 융합을 연구하였다. 먼저 인간의 감각 형태에 대한 연구자들의 관점을 조사하였다. 관련 선행 연구와 사례를 통해 감각 연구가 어떻게 진화되어 왔는지를 살펴보았고, 특히 최근 연구되고 있는 크로스모달 연구를 통해 인간 지각에 대한 이론을 수립하였다. 또한 문화권과 시기마다 인간의 인지 태도가 달라질 수 있기에 본 연구에서는 감각 표현에 집중하였던 인상주의와 표현주의의 예술사조를 선택하였다. 이 사조를 중심으로 주제를 공유하는 그림-음악 작품 8쌍을 선정하여 작품 간의 연관성을 분석하였고, 작품 간의 연관성은 황금비에서 찾을 수 있었다. 그림에서는 주제가 되는 대상이 황금비의 직사각형 및 황금 나선에 따라 분리, 배치된 것을 확인할 수 있었고, 음악의 황금비에서는 쌍이 되는 그림에서 형상화하고 있는 시각적 장면을 음악적 요소(음 높이, 빠르기, 선율, 스케일, 다이내믹, 악기 음색, 연주법 등)로 변환하여 표현하는 것을 발견하였다. 따라서 예술의 황금비에서는 각 작품이 강조하는 바를 확인해 볼 수 있었으며, 주제를 공유하는 그림과 음악 간의 공통적 표현 요소를 발견할 수 있었다.
더 나아가, 주제를 공유하는 그림과 음악 쌍의 공통적 표현 요소가 작품을 감상하는 감상자들에게도 주제에 대한 감각적, 감정적 전달이 되는지, 그림과 음악의 쌍을 동시에 감상할 때 그림만 개별적으로 감상하는 것과 비교하여 공감각 및 크로스모달 효과가 나타내는지에 대한 실험 조사를 하였다. 실험 방식은 128명의 일반인을 대상으로 작품 감상을 하게 하여, 느껴지는 감각과 감정의 척도에 대한 설문에 응답하는 방식으로 진행되었다. 분석 결과, 선정된 8쌍의 작품 감상에서 모두 공통적 표현 요소가 감상 시 감정 및 감각 변화에 영향을 미친 것으로 나타났다. 그림을 단독적으로 감상했을 때보다 그림과 음악을 함께 감상하였을 때 감상자들은 작품의 공통적 표현 요소를 통해 작품에서 강조하는 감각과 감정을 더욱 잘 전달받는 유의미한 효과를 보였다. 작품 감상 시 성별과 연령에 따라서도 감각 및 감정 변화의 차이가 나타났다. 남성이 여성보다 그림을 단독적으로 감상하였을 때와 그림과 음악을 함께 감상하였을 때의 공감각 및 크로스모달 효과가 크게 나타난 것으로 확인되었다. 연령별로는, 30-40대가 다른 연령대보다 감각과 감정의 변화가 비교적 큰 폭으로 나타난 것이 확인되었다.
This study aims to improve human perception by examining the technique of aesthetic expression and art appreciation. Experimental aesthetics has been a controversial concept in many fields, so this study attempted to overcome the limitations of crossmodal correspondence studies in the past by performing both a statistical and an analytical approach. The study examined the common expressions of ??paintings and musical works that share themes in order to find the correspondence between painting and music. Also, to maximize the appreciation experience, the study confirms whether audiovisual art integration has a crossmodal effect.
Considering that human cognitive attitudes vary by culture and period, this study selected the art movements of Impressionism and Expressionism, which focused on sensory experience. Based on these movements, eight pairs of related painting-music works were chosen. The relationship between the two works was analyzed, and the correlation between the works was found in the golden ratio. Based on the golden ratio and golden spiral of the painting, it was confirmed that the highlight elements of the painting could be identified. In the golden ratio of music, it was found that the visual scene embodied in the paired painting was played with musical elements(melody, tempo, scale, dynamic, timbre, playing technique, etc.) Therefore, it was possible to see the emphasis of each work in the golden ratio, and to discover common expressive elements between painting and music that share themes.
The experiment was conducted to determine whether the common expressive elements of a painting and music pair that shares a theme transmit sensuous and emotional transmission to the viewers who appreciate the artwork, and whether synesthesia and cross-modal effects are observed during appreciation. 128 people were asked to appreciate the artworks, and rate their senses and emotion by filling out the questionnaire. As a result of the analysis, it was found that the common expressive factor had an influence on the appreciation of the selected 8 pairs of works. The thematic characteristics of the work become more prominent when a pair of painting and music was appreciated together than when the painting was viewed separately. Based on the appreciating method, gender and age differed sense and emotion changes. It was confirmed that synesthesia and crossmodal effects were greater in men than in women when a pair of painting and music was appreciated together compared to when the painting was viewed separately. By age, it was confirmed that the 30-40s showed a relatively large change in sense and emotion than other age groups.