Research Article

The Journal of the Acoustical Society of Korea. 30 September 2024. 536-546
https://doi.org/10.7776/ASK.2024.43.5.536

ABSTRACT


MAIN

  • I. 서 론

  • II. 음악 청취 시 심전도 및 감정 측정

  •   2.1 음악 청취 시 감정에 대한 심전도 측정 실험

  •   2.2 음악 청취 시 감정 상태 평가

  • III. 데이터 분류 및 통계적 검증

  •   3.1 정서적 감정 데이터 분류

  •   3.2 감정과 심박수의 상관 관계 통계적 검증

  • IV. 음악 청취 감정의 심박수 분석

  • V. 결 론

  • 부록(Appendix)

I. 서 론

음악은 듣는 사람에게 다양한 감정을 불러일으키며, 오래전부터 문화, 예술, 종교, 오락 등의 분야에서 감정 전달 및 조절을 위해 사용되어 왔다. 음악의 효과와 응용분야는 심리학[1]을 비롯해 뇌과학,[2,3] 의학,[4] 스포츠[5] 등 여러 분야에서 연구되고 있다. 또한 감정 반응은 신체적 변화, 특히 심박 활동에 영향을 미칠 수 있다. 심박 활동은 개인의 감정 상태를 반영할 수 있는 중요한 생리적 지표[6] 중 하나로, 다양한 연구에서 감정 상태와 심박 활동 사이의 연관성을 탐구하고 있다. 각 감정은 서로 다른 자율 신경 활동 패턴을 유발하며 심장 박동은 이러한 변화를 반영[7]한다. 선행 연구에서는 행복할 때의 평균 심박수가 슬플 때보다 높거나[8], 안정 상태와 비교하여 두려움과 같은 부정적 감정일 때 평균 심박수가 증가하는 결과[9] 등을 보였다.

음악 청취 시에 혈압, 심박수, 호흡수 등 신체의 생리적 변화가 발생하게 된다. 심장 박동은 부교감신경계와 교감신경계의 길항 작용으로 인해 비선형 방식으로 발생하는데, 음악은 부교감 신경 활동과 심장 자율신경계에 영향을 주어 심장 박동 리듬에 변화[10]를 일으킨다. 또한 음악과 심박 활동의 관계를 살펴 본 연구에서는 침묵 상태와 비교하여 음악 청취 시에 심박수가 증가함[4]을 보였다. 이러한 음악과 심장 박동의 관계성 덕분에 음악은 치료, 스포츠 등 여러 분야에서 중요한 역할을 하고 있다. 선행 연구에서는 음악적 청각 자극이 심혈관 질환 환자들의 건강 개선을 위한 유망한 비약물적 요법[11]이라 제안한다. 음원 감상에 대한 운동 효과를 살핀 선행 연구에서는 음원의 정서적 반응에 따른 심박 활동의 차이가 운동 능력에 영향을 주며, 운동 시 선호 음원의 감상은 심박수를 증가시키고 심박변이도를 감소시켜 급성 회복 향상 가능성[5]을 시사하였다. 음악에 대한 감정을 분석 및 분류하는 것은 음악 치료와 스포츠뿐만 아니라, 음악 제안 서비스와 같이 음악과 연계된 사용자 맞춤형 서비스 분야에서도 활용할 수 있다.

기존 연구들은 음악 청취에 따른 심박 활동의 관계를 이해하기 위해 다양한 방법으로 조사하고 있으나, 획일적인 연구 결과가 도출되지 않고 있는 실정[4]이다. 일부 연구에서는 음악에 대한 정서적 반응이 실제 감정보다는 긴장과 이완의 경험으로 발생한다고 주장하여 음악에 감정적으로 생리학적 반응을 일으킨다는 연구 결과들과 논쟁[12]이 이루어졌다. 음악 치료에 대해 조사하는 연구에서는 음원에 대한 선호가 아닌 장르와 같은 음악적 구조가 각성 및 이완을 유도[11]하여 심박 변화가 나타난다고 주장하였다.

이와 같이 기존 연구에서는 심박 활동이 감정 반응을 반영한다는 점[4,6]과 음악 청취 시 심박 활동이 변화한 다는 것[4,5,10,11]이 연구되었다. 따라서, 본 연구는 음악과 감정 및 심박 활동의 연관성에 대한 귀납적 추론을 실험 연구를 통해서 진행하고자, 음악에 대한 감정 상태와 이에 따른 심박 활동을 평가하고자 한다. 생체신호에 기반 하여 객관적으로 감정을 분석하여 정량적 지표로 나타내는 결과는 음악이 주는 심리적, 생리적 영향에 대한 이해를 높이고, 다양한 실용적 응용 가능성을 탐구하는 데 기여할 것이다.

II. 음악 청취 시 심전도 및 감정 측정

2.1 음악 청취 시 감정에 대한 심전도 측정 실험

본 연구에는 정상 청력의 20세 ‒ 30세 남성 2명과 여성 8명으로 구성된 10명의 피험자가 실험에 참가하였다. 피험자들의 정상 청력 여부를 판단하기 위해 사전 설문에서 일상생활 중 청력으로 인한 장애 여부를 조사하였으며, 청력에 불편함이 없는 대상자만 실험에 참여할 수 있도록 하였다. 또한, 피험자들의 음악 교육 경험을 조사한 결과, 다양한 수준의 음악 교육 배경을 가진 것으로 나타났다. 음악 교육을 받지 않은 피험자부터 최대 18년간 전문적인 음악 훈련을 받은 피험자까지 포함되어 있으며, 전체 피험자의 평균 음악 훈련 기간은 약 5.5년이다. 평균적으로 6.5세에 교육을 시작하였으며, 이들은 4세에서 18세 사이에 음악 훈련을 시작한 것으로 응답하였다.

실험 참가 전, 선호 및 비선호 음원의 최소 개수를 확보하기 위해 10명의 피험자 각각에게 높은 선호 음원 3곡과 낮은 선호 음원 3곡을 선정하도록 요청하여, 총 60개 음원의 하이라이트 부분(20 s)을 실험 시 음악 자극으로 활용하였다. 음원은 국내외 대중가요부터 록, 발라드, 클래식, 재즈 등 다양한 장르로 구성되어 있다(Table A1). 각 음원은 2번씩 임의로 제시되어, 개별 실험에서 총 120번의 음악 자극이 제시되었다. 한 번의 음악이 제시될 때는 Fig. 1과 같이 5 s간의 무음 구간, 자극제시 20 s, 무음 15 s 구간으로 구성하였으며, 피험자는 각 음악 청취 후 각성도와 정서가에 대한 감정적 사항을 주관적으로 평가하게 된다. 뇌전도를 이용한 연구[13]에서는 6 s 가량의 자극음과 10 s 이상의 자극 간 간격으로 감정 상태를 분류하였으며, 심전도를 이용한 연구[14]에서는 8 s 동안의 자극음과 10 s 이상의 자극 간 간격으로 정서적 반응을 분석한 것에 기반하여 본 연구에서는 20 s의 자극 길이와 20 s 이상의 자극 간 간격을 설정하여 감정 상태를 판별하였다.

https://cdn.apub.kr/journalsite/sites/ask/2024-043-05/N0660430508/images/ASK_43_05_08_F1.jpg
Fig. 1.

Experimental procedure for each trial. The entire experiment consists of four sessions in which a session includes 30 trials. S denotes silence interval and the subject was asked to rate the Likert scale score for arousal and valence during the interval of level rating.

실험은 시간 부하를 줄이기 위해 총 4개의 세션으로 구성되어 있고, 각 세션에서는 30회의 음악 자극이 제시된다. 피험자의 피로도에 따라 선택적으로 세션 간 휴식을 취할 수 있도록 하였다. 이중벽으로 된 방음실에서 진행하였으며, 음악은 인서트 이어폰(ER3C Insert earphones, Etymotic Research Inc., USA)을 통해 양이에 일상적인 대화 수준의 음압[60 ± 5 dB(A)]으로 제시하며 소리 크기에 대한 피험자의 주관적 의견을 확인 후 실험을 진행하였다. 본 실험은 뇌전도와 심전도를 함께 측정하였으며, 뇌전도 측정용 캡에 연결된 추가적인 양극 전극을 양측 쇄골에 부착하여 심전도를 측정하였다(Compumedics Neuroscan, USA). 본 연구의 실험 절차 및 피험자 설명동의 과정은 한국과학기술원 생명윤리위원회의 승인을 받아 진행하였다(KH2022-059).

2.2 음악 청취 시 감정 상태 평가

본 연구에서는 음악 감상에 따른 네 종류의 정서적 특성을 분석하였다. 각성도(arousal)와 정서가(valence)는 인간의 감정을 분류하는 방법 중 Russell[16]의 차원적 접근 방식에서 감정의 상태를 표현하는 척도이다. Russell이 제안한 모델은 감정을 각성도와 정서가의 차원에 배치함으로써 감정의 연속성과 상호관계를 보여준다. 각성도는 감정의 흥분도의 수준을 나타내고, 정서가는 감정의 긍정 또는 부정의 정도[16]를 나타낸다.

음원에 대한 피험자의 선호도와 친숙도를 객관적으로 분석하기 위해 실험 시작 전, 피험자는 60개의 음원을 들으며 각 음원별 선호도와 친숙도의 리커트 척도 점수를 1-7점으로 평가하여, 음원별로 선호도와 친숙도를 하나의 점수로 수치화하였다. 각성도와 정서가는 Fig. 1과 같이 실험 중에 리커트 척도에 따라 1-7점으로 응답하여 음원별로 두 개의 점수를 갖는다. 각성도와 정서가는 한가지 음원에 대해 두 개의 점수를 분석에 이용하였다. 각 감정과 리커트 척도 점수별 데이터 분포는 Table 1과 같다. 선호도는 점수가 1점에 가까울수록 낮은 선호(low-preference), 7점에 가까울수록 높은 선호(high-preference)이고, 친숙도 역시 1점에 가까울수록 낮은 친숙(low-familiarity), 7점에 가까울수록 높은 친숙(high-familiarity)을 나타낸다. 각성도는 1점으로 갈수록 낮은 각성(low-arousal), 7점으로 갈수록 높은 각성(high-arousal)을 말하며, 정서가는 1점으로 갈수록 부정적 정서가(negative-valence), 7점으로 갈수록 긍정적인 정서가(positive-valence)를 나타낸다.

Table 1.

Number of dataset from 10 subjects. Excluding data due to signal noise, the number of data used in the actual analysis is shown outside parentheses. The total number of data, including not used in data analysis, is noted in parentheses.

Number of dataset
Likert scale score 1 2 3 4 5 6 7 Total
Preference 100
(136)
123
(152)
137
(172)
120
(162)
182
(240)
124
(182)
118
(156)
904
(1200)
Familiarity 171
(216)
172
(222)
89
(116)
35
(48)
87
(122)
99
(146)
251
(330)
904
(1200)
Arousal 91
(131)
144
(203)
182
(234)
73
(96)
188
(258)
158
(194)
68
(84)
904
(1200)
Valence 36
(44)
80
(101)
163
(218)
131
(172)
225
(292)
163
(228)
106
(145)
904
(1200)

III. 데이터 분류 및 통계적 검증

3.1 정서적 감정 데이터 분류

본 연구에서는 음악 청취에 따른 정서적 감정과 심박수의 상관 관계를 분석하기 위하여 다음과 같이 정서적 그룹을 구분하였다. 리커트 척도 점수 1, 2점은 낮은 선호, 낮은 친숙, 낮은 각성, 부정적 정서가 그룹으로 분류하였으며, 6, 7점은 높은 선호, 높은 친숙, 높은 각성, 긍정적 정서가 그룹으로 분류하였다. 양측 극값 영역간의 통계적 검증을 위하여, 리커트 척도 점수의 중간 영역인 3-5점은 상관 관계 통계 검증에는 사용하지 않았다.

3.2 감정과 심박수의 상관 관계 통계적 검증

Fig. 2는 전체 피험자의 점수 그룹별 시간에 따른 평균 심박수 추이를 나타낸 것이다. 음원 제시 전후 심박수 변화 정도가 다른 것을 확인할 수 있다. 분석 과정에서는 이러한 심박수의 변화를 반영하고자 Eq. (1)과 같이 음원 제시 전후 심박수 차이를 구한 차이심박수(∆HR)를 통계적 검증에 이용하였다. 음원이 제시되는 시작 시점을 0 s로 설정하였을 때, -5 s ‒ 0 s 동안의 평균 심박수를 기준 심박수(HRbase) 로 설정하고 0 s ‒ 20 s, 0 s ‒ 10 s, 10 s ‒ 20 s, 20 s ‒ 30 s 대역의 심박수(HRonset)와 기준 심박수와의 차이를 차이심박수로 계산하여 각 시간 구간대에서 심박수 변화를 분석하였다. 각 피험자의 리커트 척도 점수와 그룹별 차이심박수의 상관 분석을 위해 Student t-검정을 실시하였다.

(1)
HR=HRonset-HRbase.

https://cdn.apub.kr/journalsite/sites/ask/2024-043-05/N0660430508/images/ASK_43_05_08_F2.jpg
Fig. 2.

Averaged heart rate across subjects as a function of time before and after- music-onset for (a) preference, (b) familiarity, (c) arousal, (d) valence cases. S denotes silence interval and music is presented in the music section.

IV. 음악 청취 감정의 심박수 분석

Fig. 2는 전체 피험자의 점수 그룹별 시간에 따른 심박수 추이를 나타낸다. 네가지 감정 모두 음악이 주어지기 시작하는 0 s 전 심박수가 가파르게 떨어지다가 음악이 주어진 이후 소폭 상승하였다. 이러한 특성은 음원 청취 시 침묵에 비해 심박수가 증가한다는 선행 연구[4]에서도 확인할 수 있다. 그리고 점수별 그룹(예. 높은 선호/낮은 선호, 높은 친숙/낮은 친숙 등)에 따라 심박수가 하강 이후 상승하는 폭이 상이함을 확인할 수 있었다. 특히 높은 선호/낮은 선호에 대한 Fig. 2(a)의 그래프에서 음악이 제시되기 전 높은 선호 그룹의 심박수는 낮은 선호 그룹의 심박수보다 낮지만, 음악 제시 이후 높은 선호 그룹의 심박수가 상승하여 낮은 선호 그룹보다 큰 값을 보였다.

Fig. 3의 7개 점들은 감정별 1-7점에 대한 전체 피험자의 차이심박수의 평균을 나타낸 것이다. 선형 회귀 분석을 통해 상관 계수를 구하고 상관 계수에 대한 유의성을 확인하였으며 선으로 점수에 대한 차이심박수의 회귀 결과를 표현하였다. 친숙도를 제외한 나머지 감정들은 점수의 증감에 따라 일정한 경향성을 보였다.

선호도의 경우 선호도 점수와 차이심박수의 상관 계수 약 0.9, 상관 관계에 대한 p = 0.005로 유의미하게 강한 상관 관계를 보였다. 선호도 점수와 차이심박수는 양의 상관 관계를 가지며, Fig. 3(a)에서 선호도 점수가 증가함에 따라 차이심박수도 증가하는 모습을 보였다. 즉, 높은 선호의 음원을 들을수록 음악 감상 전후 차이심박수가 증가하였다.

https://cdn.apub.kr/journalsite/sites/ask/2024-043-05/N0660430508/images/ASK_43_05_08_F3.jpg
Fig. 3.

Variation of heart rate as a function of (a) preference, (b) familiarity, (c) arousal, (d) valence scores.

반면, 친숙도 점수와 차이심박수 간 특이한 관계성은 확인할 수 없었다. Fig. 3(b)는 친숙도 정도에 따른 차이심박수의 결과를 보여준다. 친숙도 점수와 차이심박수의 관계는 약 0.06의 상관 계수를 가지며, 상관 관계가 거의 없음을 보였다.

각성도의 경우[Fig. 3(c)] 각성도 점수가 증가함에 따라 차이심박수가 작아지며, 각성도 점수와 차이심박수의 상관 관계를 나타내는 회귀 선이 음의 기울기를 보였다. 이는 높은 각성을 유발하는 음원을 청취할 때, 음악 감상 전후 차이심박수가 작음을 의미한다. 차이심박수와 상관 관계가 있는 감정들 중, 선호도 및 정서가와 달리 유일하게 각성도만이 차이심박수와 음의 상관 관계를 가졌다. 하지만 각성도 점수와 차이심박수 간 상관 계수는 약 0.7이며 이에 대한 p = 0.065로, 상관 관계 분석 결과 통계적으로 유의미 하지는 않았다.

마지막으로 정서가의 경우[Fig. 3(d)] 정서가 정도와 차이심박수의 회귀 분석 결과 상관 계수 약 0.6의 양의 관련성이 나타났지만, p = 0.129로 통계적으로 유의미한 상관 관계를 나타내진 않았다. Fig. 3(d)에서 차이심박수 점들의 분포는 선호도 및 각성도에 비해 불균일하지만 정서가 점수가 증가함에 따라 증가하는 경향을 보였으며, 회귀 선을 통해 정서가 점수와 차이심박수의 비례 관계를 확인할 수 있었다. 즉, 음원 청취 시 긍정적인 정서를 느낄수록, 음원 청취 전후 차이심박수가 약한 관계로 증가하는 경향을 보였다.

Fig. 4는 시간대역별 감정 그룹의 차이심박수를 비교한 것이다. 음원 제시 이후의 시간에 대해 시간대역을 분류하여 비교하였다. 음원이 제시되는 전체 구간 0 s ‒ 20 s, 음원 제시 시점 이후 시간이 경과함에 따라 반응을 비교하기 위해 구간을 나눈 0 s ‒ 10 s, 10 s ‒ 20 s, 음원 제시가 종료된 20 s ‒ 30 s 구간으로 시간대역을 구분하였다.

https://cdn.apub.kr/journalsite/sites/ask/2024-043-05/N0660430508/images/ASK_43_05_08_F4.jpg
Fig. 4.

Comparison of variation of heart rate between (a) high-preference and low-preference, (b) high-familiarity and low-familiarity, (c) high-arousal and low-arousal, (d) positive-valence and negative-valence cases at an interval of 0 s - 20 s, 0 s - 10 s, 10 s - 20 s, and 20 s - 30 s (*p < 0.05, **p < 0.01).

선호도에 대한 차이심박수의 t-검정 분석 결과[Fig. 4(a)], 전체 시간대역에서 높은 선호 그룹과 낮은 선호 그룹 간의 유의미한 차이가 발견되었다. 음원이 제시되는 0 s ‒ 20 s 구간은 p = 0.008, 0 s ‒ 10 s 구간 p = 0.025, 10 s ‒ 20 s 구간은 p = 0.003의 통계적 결과를 보이며, 음원 제시가 종료된 20 s ‒ 30 s 구간 역시 p = 0.019의 유의미한 차이를 보였다. 즉, 높은 선호 음원을 청취하는 경우 차이심박수가 유의미하게 증가하는 반면, 비선호 음원을 청취할 경우 차이심박수가 낮아지는 경향을 보이며, 이러한 경향성은 음원 재생 시간대역 뿐만 아니라 음원 중단 이후 구간에서도 확인되었다.

친숙도 그룹에 대한 차이심박수를 분석한 결과, 높은 친숙 그룹과 낮은 친숙 그룹의 차이심박수 간에 특이한 관계성을 보이지 않고 통계적으로 유의미하지 않았다. 친숙도 그룹별 차이심박수를 나타낸 Fig. 4(b)에서 음악 자극에 대한 높은 친숙과 낮은 친숙 그룹 간 데이터 분포의 차이는 보이지 않지만, 음원 제시 직후 0 s ‒ 10 s 대역의 차이심박수가 다른 시간대역에 비해 가장 큰 모습을 보였다.

각성도는 각성정도에 따른 차이심박수 간 유의미한 통계적 차이를 보이지는 않지만, Fig. 4(c)의 전체 시간대역에서 청취 음원에 대해 낮은 각성일 때의 차이심박수가 높은 각성일 때의 차이심박수보다 크다. 선호도 및 정서가의 경우 점수 높은 그룹의 차이심박수가 점수 낮은 그룹의 차이심박수보다 크지만, 각성도의 경우 이와 반대로 각성도 점수가 낮은 그룹의 차이심박수가 더 크다.

정서가에 대한 차이심박수의 t-검정을 실시한 결과, 음악 자극이 주어지는 전체 시간대역인 0 s ‒ 20 s 대역에서 p = 0.049의 유의한 차이를 보였다. Fig. 4(d)에서 청취 음원에 대한 정서가 점수가 높은 긍정적 정서가 그룹이 정서가 점수가 낮은 부정적 정서가 그룹보다 차이심박수가 큰 것을 볼 수 있었다. 0 s ‒ 20 s 대역과 0 s ‒ 10 s 대역은 긍정적 정서가 그룹의 차이심박수의 분포가 더 큰 곳에 위치하지만 10 s ‒ 20 s 대역 및 20 s ‒ 30 s 대역은 부정적 정서가 그룹의 차이심박수 분포가 보다 넓어져 긍정적 정서가 그룹의 차이심박수와 차이를 확인하기 어렵다.

V. 결 론

본 연구에서는 음악 청취 시에 선호도, 친숙도, 각성도, 정서가와 같은 감정에 따른 차이심박수를 분석하였다. 모든 감정에서 공통되게 음원 시작 직후 심박수가 소폭 증가하는 경향을 확인할 수 있었는데, 이러한 특징은 여러 선행연구에서 음악이 침묵에 비해 심박수를 증가시킨다는 결과[4]와 일치한다. 음악 청취에 따른 심박수의 변화를 분석에 활용하기 위해 음악 청취 시작 기준 전․후 심박수 차이를 분석에 이용하였으며, 음악 시작 후 0 s ‒ 20 s, 0 s ‒ 10 s, 10 s ‒ 20 s, 20 s ‒ 30 s로 시간 구간에서의 차이심박수를 감정의 척도와 비교하였다. 음악 자극에 대해 낮은 선호, 높은 각성, 부정적 정서가를 보일수록 차이심박수가 작았으며, 높은 선호, 낮은 각성, 긍정적 정서가를 보일수록 차이심박수가 큰 결과를 보였다. 반면 친숙도에 따른 차이심박수는 유의미한 변화가 나타나지 않았다.

Table 2Figs. 34를 통해 나타내었던 감정 상태별 차이심박수 분석 결과를 요약한 것이다. Table 2(A)는 리커트 척도에 대한 감정 점수와 차이심박수의 상관 관계를 기호로 나타내었으며, 상관 관계에 대한 통계적 유의성을 정리하였다. 운동 중 음원을 청취하며 심박수의 변화를 확인한 선행 연구에서 선호 음원을 청취하며 운동을 하면 심박수가 증가하고 긍정적 정서가가 향상한다는 결과[5]를 통해 선호도와 정서가는 비례하는 경향을 보일 것이라 예상하였고, 본 연구에서 선호도와 정서가 모두 리커트 척도 점수와 차이심박수간 양의 상관 관계를 보이며 선행 연구와 부합하는 결과가 나타났다. 특이하게 각성도만이 상관 관계를 보이는 다른 감정들과 다르게 리커트 척도 점수가 증가함에 따라 차이심박수가 감소하는 약한 음의 관계성을 보였으며, 선호도와 각성도의 반대되는 관계는 선행 연구의 선호하는 음원이 낮은 긴장을 유발하였다는 결과[17]와 연관성이 있는 것으로 보인다. Table 2(B)는 음원이 제시되는 0 s ‒ 20 s 동안의 감정별 리커트 척도 점수 6, 7점의 높은 점수 그룹과 1, 2점의 낮은 점수 그룹간 통계적 유의성을 정리하였다. 각성도에 대한 차이심박수는 점수에 따른 통계적 차이를 보이지 않았고, 이는 음악으로 인한 정서적인 각성이 교감 자율신경계의 활동을 우세하게 하여 심박수 증가를 수반한다는 선행 연구[4]와는 상이한 결과이다.

Table 2.

Summary of the correlation between variation of heart rate and emotion. + in column A of table means positive correlation, - means negative correlation, and n.a. means no correlation between emotional score and variation of heart rate (*p < 0.05, **p < 0.01). * in column B of table means a significant difference of p = 0.05, ** means p = 0.01, and n.a means no significant difference in heart rate difference between the high- and low-score groups by emotion.

A. Correlation with variation of heart rate B. Statistical significance between high- and low-score group in 0 s ‒ 20 s
Preference r = 0.903, p = 0.005 (+**) p = 0.008 (**)
Familiarity r = 0.060, p = 0.897 (n.a.) p = 0.316 (n.a.)
Arousal r = 0.726, p = 0.065 (-) p = 0.253 (n.a.)
Valence r = 0.631, p = 0.129 (+) p = 0.049 (*)

본 연구 결과 음악 청취에 따른 정서적 특성이 심박수의 다양한 변화에 반영되는 것을 확인하였다. 이는 음악에 대한 선호도, 친숙도, 각성도, 정서가를 심박수를 통해 비교했다는 점과 정서적 특성을 심박수 기반 정량화 분석을 이용하여 분류할 수 있는 가능성을 확인했다는 점에서 의의가 있다. 스마트기기의 다양한 활용과 웨어러블 기기의 발전으로 인해 심박수와 같은 생체신호의 획득이 용이 해지며 측정된 심박수에 기반한 정서적 특성 분류는 활용가치가 높을 것으로 예상한다. 생체신호에 기반하여 정서적 특성을 정량적으로 분석하는 기술을 기반으로 개인 맞춤 서비스에 대한 기술이 점차적으로 개발되고 있다. 특히 음악과 감정의 관계를 심박수를 이용해 정량적으로 분석하는 기술은 추후 선호 음원 예측, 음악 치료, 개인 맞춤형 알고리즘 개발 등의 분야에 활용도가 높다. 본 연구의 결과는 빅데이터, 인공지능과 같은 디지털 기술의 발전으로 사용자의 니즈를 취향 및 감정에 따라 분석하여 특화된 맞춤형 서비스를 추천하는데 기반 정보를 제공할 수 있을 것으로 기대한다.

음악은 템포, 선율 등 다양한 요소로 구성되어 있는 복합체이나, 본 연구는 음악의 장르에 제한을 두지 않고 분석 시 음악적 특성을 고려하지 않았다. 반면, 선행연구[17,18]는 음악적 특징을 통해 구분한 차분하거나 자극적인 클래식 음악을 제시하여 음악적 변인을 통제하였다는 점에서 차이가 있다. Russo et al.[19] 은 클래식 음악을 자극으로 이용하였으며, 피험자의 제곱평균제곱근에 적합한 백색소음을 기준선으로 제시하였다. 음악적 특징을 제한함과 더불어 침묵 구간 대신 백색소음 구간을 기준선으로 분석을 진행하였다는 차이가 있다. 선행연구[20]에서 백색 소음은 감정적으로 중립을 유지하게 하여 감정으로 인한 생리적 효과를 분리할 수 있다고 주장한다. 본 연구는 음악적 특성에 대한 분류 없이 단순히 음원 청취 시 정서에 대한 분류만 진행하여 심박수를 분석하였기에 음악적 특성에 대한 통제가 부족하다는 제한점이 있다. 추후 음악적 특징을 제한하여 변인 요소를 통제하거나, 백색소음을 중립 자극으로 이용하며 음원 자극 구간과 비교하는 설계가 필요하다. 또한, 느린 템포의 안정적인 음악은 긍정적인 정서가와 낮은 각성을 유도한다는 결과들[1,21]로 하여금 음악적 요소를 고려하여 음원 청취 시 정서적 특성과 음악 특징, 심박수를 함께 분석하는 연구를 추가적으로 진행해 볼 필요가 있다. 음원 자극에 대한 사전 분석 및 통제를 진행한다면 음악과 심박수 간의 관계에 대해 명확한 분석이 가능한 실험 디자인이 될 것이다. 또한 향후 사용자 맞춤 추천형 알고리즘 개발을 위해서는 다양한 피험자를 대상으로 한 빅데이터에 기반하여 감정 예측 머신 러닝 모델을 개발하는 연구가 후속되어야 한다.

Acknowledgements

본 연구는 한국연구재단의 중견연구과제(NRF-20 20R1A2C2003319, 2023R1A2C100475511) 및 기초연구사업과제(RS-2023-00222383)의 지원을 받아 진행함.

부록(Appendix)

부록(Appendix)

Table A1.

List of 60 music sources. 20 s of highlights of the music sources are extracted and used as a musical stimulus in experiments.

List of the music stimuli
No. Genre Artist Song
1 Pop/rock/metal Daughtry Waiting for superman
2 Pop Charlie Puth Some type of love
3 Pop Taylor Swift Clean
4 K-pop/ballad IU Dear name
5 Classical music/solo Claude Debussy Clair de Lune
6 K-pop/indie/folk/
blues
BOL4 Stars over me
7 K-pop/folk/blues IU Heart
8 K-pop/ballad IU Through the night
9 K-pop/electronica AKMU Dinosaur
10 K-pop/ballad BANHANA If you see me
11 K-pop/folk/blues Jane Jang Carmin
12 K-pop/ballad Greg Time where we stayed together
13 Pop Cat&Calmell Cry
14 Pop Billie Eillish Watch
15 J-pop Kalafina Kimino Ginno Niwa
16 Pop/rap/hip-hop Post Malone Circles
17 Pop/R&B/soul The weeknd In your eyes
18 Pop Why Don’t We Lotus Inn
19 Pop/electronica Roads Portishead
20 Korean musicals Jung Moon-sung, Jeon Mi-do When you’re in love
21 K-pop/indie/folk/
blues
Darin Autumn
22 Pop/electronica Knife Party Boss Mode
23 J-pop L’Arc~en~Ciel Pieces
24 Pop/electronica Pendulum Crush
25 Classical music Frédéric Chopin (played by Krystian Zimmerman) Ballade No.4 in F Minor, Op.53
26 Classical music/solo Johann Sebastian Bach Goldberg Variations, BWV 988 – Aria 
(Live)
27 K-pop/ballad/rock/
metal
Kim Yuna Nocturne
28 Jazz Eddie Higgins Moon and sand
29 K-film soundtrack Byungwoo Lee Irreducible step
30 K-drama soundtrack Ccotbyel Lovers
31 K-pop/rap/hip-hop Young B In the morning
32 K-pop/rap/hip-hop Drunken Tiger Return of tiger
33 K-pop/rap/hip-hop iKON LOVE SCENARIO
34 Classical music/solo Franz Liszt Trascendental Etude No.4 (Mazeppa)
35 Adult contemporary/
trot
Cho Young Pil Leopard of Kilimanjaro
36 Adult contemporary/
trot
Lim Young Woong The story of an old couple in their 60s
37 K-pop/ballad/
K-drama soundtrack
JOY Introduce me a good person
38 K-pop/ballad/
K-drama soundtrack
Jo Jung Suk ALOHA
39 K-pop/ballad/
K-drama soundtrack
Jeon Mi-do I knew I love
40 K-pop/rap/
hip-hop
BGM-v Crew BADA
41 K-pop/dance TWICE SIGNAL
42 K-pop/dance J. Y. Park When we disco
43 K-pop/dance PSY That That
44 K-pop/rap/hip-hop ZICO Boys and Girls
45 K-pop/dance TWICE CHEER UP
46 Pop Lizzo Juice
47 Pop LSD No New Friends
48 Pop Clean Bandit Rockabye
49 Adult contemporary/
trot
Kim Hojoong Thank you
50 K-pop/dance RAIN Where are you going, oppa?
51 K-pop/ballad XIA Silk road
52 K-pop/ballad Eru Black glasses
53 K-pop/rock/metal Busker Busker Cherry blossom ending
54 K-pop/ballad Sung Si-kyung Solar system
55 K-pop/ballad Sung Si-kyung In the street
56 Adult contemporary/
trot
Hong Jin Young Love battery
57 K-pop/dance T-ARA Bo Peep Bo Peep
58 K-pop/dance Gain Carnival
59 Pop/electronica Joel Corry BED
60 K-pop/ballad Kim Tae Woo Love rain

References

1

J. H. Choi and H. J. Chong, "An explorative study on the perceived emotion of music: according to cognitive styles of music listening" (in Korean), J. Acoust. Soc. Kr. 40, 290-296 (2021).

2

D. S. Naser and G. Saha, "Influence of music liking on EEG based emotion recognition," Biomed. Signal Process. Control. 64, 102251 (2021).

10.1016/j.bspc.2020.102251
3

J. H. Lee, J. Y. Kim, D. K. Jeong, and H. G. Kim, "Music classification system through emotion recognition based on regression model of music signal and electroencephalogram features" (in Korean), J. Acoust. Soc. Kr. 41, 115-121 (2022).

4

S. Koelsch and L. Jäncke, "Music and the heart," Eur. Heart J. 36, 3043-3049 (2015).

10.1093/eurheartj/ehv430
5

C. G. Ballmann, "The influence of music preference on exercise responses and performance: A review," J. Funct. Morphol. Kinesiol. 6, 33 (2021).

10.3390/jfmk6020033
6

L. Shu, Y. Yu, W. Chen, H. Hua, Q. Li, J. Jin, and X. Xu, "Wearable emotion recognition using heart rate data from a smart bracelet," Sensors, 20, 718 (2020).

10.3390/s20030718
7

J. Zhu, L. Ji, and C. Liu, "Heart rate variability monitoring for emotion and disorders of emotion," Physiol. Meas. 40, 064004 (2019).

10.1088/1361-6579/ab1887
8

H. Shi, L. Yang, L. Zhao, Z. Su, X. Mao, L. Zhang, and C. Liu, "Differences of heart rate variability between happiness and sadness emotion states: a pilot study," J. Med. Biol. Eng. 37, 527-539 (2017).

10.1007/s40846-017-0238-0
9

M. T. Valderas, J. Bolea, P. Laguna, M. Vallverdú, and R. Bailón, "Human emotion recognition using heart rate variability analysis with spectral bands based on respiration," Proc. 2015 37th Annu. Int. Conf. EMBC, 6134-6137 (2015).

10.1109/EMBC.2015.7319792
10

H. Mojtabavi, A. Saghazadeh, V. E. Valenti, and N. Rezaei, "Can music influence cardiac autonomic system? A systematic review and narrative synthesis to evaluate its impact on heart rate variability," Complement. Ther. Clin. Pract. 39, 101162 (2020).

10.1016/j.ctcp.2020.101162
11

J. Kulinski, E. K. Ofori, A. Visotcky, A. Smith, R. Sparapani, and J. L. Fleg, "Effects of music on the cardiovascular system," Trends Cardiovasc. Med. 32, 390-398 (2022).

10.1016/j.tcm.2021.06.004
12

P. G. Hunter and E. G. Schellenberg, "Music and Emotion," in Handbok of Sensory Physiology, edited by M. R. Jones, R. R. Fay, A. N. Popper (Springer- Verlag, California, 2010).

10.1007/978-1-4419-6114-3_5
13

J. Choi, N. Kaongoen, H. Choi, M. Kim, B. H. Kim, and S. Jo, "Decoding auditory-evoked response in affective states using wearable around-ear EEG system," Biomed. Phys. Eng. Express. 9, 055029 (2023).

10.1088/2057-1976/acf137
14

N. Fuentes-Sánchez, R. Pastor, T. Eerola, M. A. Escrig, and M. C. Pastor, "Musical preference but not familiarity influences subjective ratings and psychophysiological correlates of music-induced emotions," Pers. Individ. Differ. 198, 111828 (2022).

10.1016/j.paid.2022.111828
15

E. L. Van den Broek, "Ubiquitous emotion-aware computing," Pers. Ubiquitous Comput. 17, 53-67 (2013).

10.1007/s00779-011-0479-9
16

J. A. Russell, "A circumplex model of affect," J. Pers. Soc. Psychol. 39, 1161-1178 (1980).

10.1037/h0077714
17

M. Iwanaga and Y. Moroki, "Subjective and physiological responses to music stimuli controlled over activity and preference," J. Music Ther. 36, 26-38 (1999).

10.1093/jmt/36.1.26
18

M. Iwanaga, M. Ikeda, and T. Iwaki, "The effects of repetitive exposure to music on subjective and physiological responses," J. Music Ther. 33, 219-230 (1996).

10.1093/jmt/33.3.219
19

F. A. Russo, N. N. Vempala, and G. M. Sandstrom, "Predicting musically induced emotions from physiological inputs: linear and neural network models," Front. Psychol. 4, 48485 (2013).

10.3389/fpsyg.2013.00468
20

I. Nyklíček, J. F. Thayer, and L. J. P. Van Doornen, "Cardiorespiratory differentiation of musically-induced emotions," J. Psychophysiol. 11, 304-321 (1997).

21

H. J. Chong, E. Jeong, and S. J. Kim, "Listeners' perception of intended emotions in music," Int. J. Contents, 9, 78-85 (2013).

10.5392/IJoC.2013.9.4.078
페이지 상단으로 이동하기