Predicting music preference using deep learning on electroencephalogram and audio features

Seunghyun Cho; Hyunjae Kim; Kyung Myun Lee

doi:10.7776/ASK.2026.45.4.362

Preview

The Journal of the Acoustical Society of Korea. 31 July 2026. 362-373
https://doi.org/10.7776/ASK.2026.45.4.362

Predicting music preference using deep learning on electroencephalogram and audio features

뇌파 및 오디오 특징을 활용한 딥러닝 모델 기반 음악 선호도 예측

Seunghyun Cho¹

Hyunjae Kim²

Kyung Myun Lee²³^*

조 승현¹

김 현재²

이 경면²³^*

¹한국과학기술원 전기및전자공학부

²한국과학기술원 문화기술대학원

³한국과학기술원 디지털인문사회과학부

^{*Corresponding Author}

License (open-access, http://creativecommons.org/licenses/by-nc/4.0/):

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

ABSTRACT

In this paper, we aimed to verify the practical contribution of Electroencephalography (EEG) information in music preference prediction. To this end, Null Electroencephalogram (Null EEG), in which temporal information was disrupted, was used as a control condition, and a controlled comparison between EEG and Null EEG was conducted using the same model architecture. The results showed that the EEG based model showed consistent performance improvements compared to Null EEG, confirming that EEG signals substantially contribute to music preference prediction. Furthermore, in comparison with the acoustic feature based model, the EEG only model demonstrated higher performance, while the model combining EEG and acoustic features achieved the best overall performance. Finally, an Region of Interest (ROI) ablation experiment was conducted to explore the contribution of different brain regions to music preference prediction, revealing that the occipital and frontal regions were strongly associated with music preference prediction. Overall, this study demonstrates the role of EEG information in predicting individual music preferences and suggests the potential of its complementary use with acoustic features.

Keywords

Music preference prediction

Electroencephalogram (EEG)

Audio features

Brain region analysis

본 논문은 음악 선호도 예측에서 뇌파(Electroencephalogram, EEG) 정보의 실질적 기여를 검증하고자 하였다. 이를 위해 시간적 정보가 교란된 대조뇌파(Null Electroencephalogram, Null EEG) 데이터를 대조군으로 설정하고, 동일한 모델 구조에서 뇌파와 통제된 비교 실험을 수행하였다. 그 결과 뇌파 기반 모델은 대조뇌파 대비 일관된 성능 향상이 관찰되었으며, 음악 선호도 예측에 있어 뇌파 신호가 실질적으로 기여하는 것을 확인하였다. 이어서 오디오 특징 기반 모델과의 비교에서 뇌파 단독 모델이 오디오 특징 기반 모델에 비해 더 높은 성능을 보였으며, 뇌파와 오디오 특징을 결합한 모델이 최고 성능을 달성하였다. 마지막으로 관심영역(Region of Interest, ROI) 절제 실험을 통해 뇌 영역별 음악 선호도 예측 기여도를 탐색하였고 후두부와 전두엽 영역이 음악 선호도 예측과 큰 연관이 있음을 보였다. 본 연구는 개인의 음악 선호도 예측에서 뇌파의 역할과 오디오 특징과의 상호보완적 활용 가능성을 제시한다.

키워드

음악 선호도 예측

뇌파(Electroencephalogram, EEG)

오디오 특징

뇌 영역 분석

MAIN

I. 서 론
II. 관련 연구
III. 연구 방법
3.1 데이터셋
3.2 실험 설계
3.3 뇌파와 대조 데이터 비교
3.4 관심영역 절제 실험
IV. 결 과
4.1 EEG와 대조 데이터 비교
4.2 뇌파와 오디오 특징 비교 및 결합
4.3 관심영역 절제 연구
V. 논 의
5.1 뇌파의 음악 선호도 예측 기여도
5.2 뇌파와 오디오 특징 비교 및 결합
5.3 관심영역 절제 연구
5.4 연구 한계 및 향후 연구 과제
VI. 결 론

I. 서 론

최근 딥러닝 기술의 발전에 따라 뇌파(Electroencephalogram, EEG)를 활용한 뇌신호 디코딩 연구가 빠르게 발전하고 있으며, 다양한 인지 상태 및 내부 반응을 추정하는 데 활용되고 있다.^[1,2,3,4] 이러한 흐름 속에서 음악 도메인에서도 딥러닝을 활용한 뇌파 기반의 음악 감정 예측, 음악 심상 추정, 그리고 음악 선호도 예측 등 다양한 시도가 이루어져 왔다.^[5,6,7,8]

그중에서, 뇌파 기반의 음악 선호도 예측은 실제 응용 관점에서 개인화된 음악 추천 시스템과 같은 서비스에 직접적으로 활용될 수 있다는 점에서 중요한 연구 주제로 주목받고 있다.^[9] 이에 따라 뇌파뿐만 아니라 심박 신호, 피부전도반응(Galvanic Skin Response, GSR), 광용적맥파(Photoplethysmography, PPG) 등 다양한 생체 신호를 활용한 선호도 예측 연구가 수행되어 왔으며,^[10,11] 특히 뇌파 데이터를 활용한 딥러닝 기반의 접근들은 지속적으로 보고되고 있다.^{[12,13,14,15,16,17,18,19,20,21,22,23,24]}

이러한 접근들에도 불구하고, 기존 뇌파 기반 음악 선호도 예측 연구들은 몇 가지 중요한 한계를 가진다. 첫째, 다수의 연구에서 뇌파 신호를 활용해 음악 선호도 예측이 가능함을 보고해왔으나,^[14,15,16] 이러한 결과는 주로 모델의 예측 성능뇌파 요소가 선호도 예측에 실질적으로 기여하는지에 대한 분석은 충분히 이루어지지 않았다. 즉, 뇌파 기반 예측 성능이 향상되었다는 점은 확인되었지만, 특정 뇌 영역, 채널, 또는 신호 구성 요소가 음악 선호도 예측에서 갖는 상대적 중요도는 체계적으로 검증되지 못하였다. 둘째, 뇌파로부터 특징을 추출하거나 머신러닝 모델 및 텐서 기반 인코더를 적용한 연구들^[15,16] 역시 주로 분류 성능 향상에 초점을 두었으며, 뇌파 신호가 어떠한 고유한 정보적 기여를 가지는지 검증한 사례는 제한적이다. 따라서 기존 연구만으로는 음악 선호도 예측 성능 향상이 뇌파 신호 자체의 신경 정보에 의해 설명되는지, 혹은 다른 모델 구조의 효과에 의해 설명되는지 명확히 판단하기 어렵다.

셋째, 기존 연구들은 입력 모달리티에 따른 기여도 및 효과를 체계적으로 비교하지 않았다. 음악 선호도 형성에 있어 오디오 특징의 중요성이 잘 알려져 있음^[25]에도 불구하고, 대부분의 연구에서는 뇌파 신호만을 입력으로 활용하여 음악 선호도 예측을 수행하였으며, 이에 따라 제한적인 성능을 보였다.^[14,15,16] 한편, Sawata et al.^[13]에서는 뇌파와 오디오 특징 간의 시간적 상관관계를 활용하여 높은 예측 성능을 보고하였으나, 해당 접근 역시 두 입력의 기여도를 독립적으로 비교하거나 결합 입력의 효과를 체계적으로 검증하지는 않았다.

이러한 한계를 보완하기 위해, 본 연구에서는 뇌파의 정보적 기여도와 입력 모달리티 간 상대적 효과를 체계적으로 검증하였다. 먼저, 원본 뇌파와 동일한 차원을 가지되 위상 정보를 무작위로하여 시간적 구조를 교란한 대조뇌파(Null Electroencephalogram, Null EEG)를 구성하고, 이를 원본 뇌파 결과와 비교하였다. 그 결과, 원본 뇌파를 활용한 모델이 대조 뇌파 대비 더 높은 성능[Receiver Operating Characteristic-Area Under Curve(ROC-AUC) +0.181, Balanced accuracy +0.126]을 보였으며, 이를 통해 뇌파가 음악 선호도 예측에 크게 기여하고 있음을 확인하였다. 또한 원본 뇌파와 오디오 특성을 결합한 모델이 가장 높은 성능을 달성함을 확인하였다. 나아가, 뇌파의 공간적 기여도를 분석하기 위해 관심영역(Region of Interest, ROI) 기반 각 뇌 영역 신호를 순차적으로 제거하는 절제 실험(ablation test)을 수행하였으며, 실험 결과 후두(occipital) 및 전두엽(frontal) 영역이 음악 선호도와 가장 높은 관련성을 가지는 것을 확인하였다.

이후 본 논문은 다음과 같이 구성된다. 관련 연구에서는 기존 연구들에 대한 소개와 한계점을 제시한다. 연구 방법에서는 데이터셋과 함께 뇌파와 대조 뇌파 간의 통제된 비교 분석, 뇌파와 오디오 특징 간의 단일 및 결합 입력 모델, 그리고 관심영역 기반 뇌 영역 분석 방법을 소개한다. 결과에서는 각 조건에 따른 모델 성능을 비교하고 관심영역 기반 절제 실험의 분석 결과를 제시한다. 마지막으로 논의에서는 뇌파의 음악 선호도 예측 기여도와 입력 모달리티 간의 관계, 그리고 뇌 영역별 역할에 대해 논의한다.

II. 관련 연구

Sawata et al.^[13]은 음악 선호도 예측에서 입력 모달리티에 따른 기여도 및 효과를 분석하기 위해 Deep Time series Canonical Correlation Analysis(DTCCA)를 활용하여 뇌파와 오디오 특징 간의 상관관계를 기반으로 새로운 표현을 학습하는 접근을 제안하였다. 구체적으로, 29차원의 뇌파 특징과 151차원의 오디오 특징 간의 시간적 상관관계를 이용하여 오디오 특징으로부터 15차원의 잠재 표현(latent feature)을 추출하였으며, 이를 순환 신경망(Recurrent Neural Network, RNN) 및 다층 퍼셉트론(Multilayer Perceptron, MLP) 기반 모델의 입력으로 사용하여 10명의 피험자에 대한 음악 선호도를 예측하였다. 실험 결과, DTCCA를 통해 추출된 특성을 MLP 분류기에 적용한 경우 F1-score 0.97의 높은 성능을 달성하였다. 하지만 해당 연구는 뇌파와 오디오 특징을 각각 독립적으로 활용하기보다는, 음악 선호도 예측을 위한 오디오 특징 추출에 뇌파를 사용한 구조에 가깝다. 따라서 두 모달리티를 각각 단일 입력으로 사용했을 때의 성능을 비교하거나, 두 입력을 결합했을 때 발생하는 효과를 체계적으로 분석하지 못하였다는 한계를 지닌다.

음악 선호도와 관련된 뇌파 연구들은 특정 채널 또는 영역이 음악 경험과 정서적 반응을 설명하는 데 중요한 역할을 할 수 있음을 보고해 왔다. Daly et al.^[18]은 음악 청취 중 나타나는 뇌파채널 간 비대칭성(asymmetry) 및 연결성(connectivity)을 분석하여 음악적 긴장(tension)과 관련된 채널 조합을 제시하였으며, Sangnark et al.^[20]은 음악의 가사 유무와 선호도에 따른 뇌파 반응 차이를 분석하여 선호도가 높은 음악에서 특정 전두엽 채널의 전력 스펙트럼 밀도(Power Spectral Density, PSD)에서 차이가 나타남을 보고하였다.

또한 뇌파 채널 정보는 단순한 예측 변수로 활용되는 것을 넘어, 특정 뇌 영역과의 관련성을 해석하는 방향으로도 확장되어 왔다. He et al.^[21]은 휴대용 뇌파 장치를 이용하여 음악 선호도 예측을 수행하고, 뇌 영역들을 대표하는 각 채널들을 제거하는 절제 실험(ablation test)을 진행하며 성능 변화를 비교함으로써 특정 뇌파 채널의 포함 여부가 예측 성능에 영향을 줄 수 있음을 보였다. 이는 음악 선호도 예측에서 어떤 채널 또는 뇌 영역의 정보가 중요한지를 분석할 필요성을 보여준다.

나아가 뇌파 채널 기반 분석은 관심영역 수준의 뇌 영역 분석으로 확장될 수 있으며, 이 과정에서 후두부 영역의 역할이 주목된다. Sadahisa et al.^[25]은 음악 청취 상황에서 전두엽, 중추(central), 두정엽(parietal), 후두부 영역의 활성도 점수를 비교하였고, 특정 조건에서 후두부 영역의 활성이 두드러질 수 있음을 보고하였다. Nawaz et al.^[24] 역시 음악 청취 시 뇌파 특징 차이를 분석한 결과, 선호하는 음악을 듣는 조건에서 후두부와 두정엽 영역의 스펙트럼 엔트로피(spectral entropy) 차이가 크게 나타났다고 보고하였다. 이러한 결과는 음악 선호도 및 정서 반응이 기존에 주로 강조되어 온 전두엽 영역뿐만 아니라 후두부 영역과도 관련될 수 있음을 시사하며, 본 연구에서 관심영역 기반 분석을 통해 후두부 영역의 기여를 검토할 필요성을 뒷받침한다.

종합하면, 기존 연구들은 음악 선호도 예측과 관련해 뇌파의 공간적 기여도와 영역별 특성에 대해 일관된 결과를 보고해왔다. 그러나 대부분의 연구가 자체적으로 수집한 제한된 규모의 내부 데이터에 의존하고 있어, 연구 결과의 일반화 가능성과 재현성 측면에서는 여전히 한계를 가진다.

이러한 한계를 보완하기 위해, 본 연구에서는 뇌파와 음악 특성을 각각 단일 입력으로 사용하는 모델을 비교군으로 구성하여 성능을 비교하고, 두 입력을 결합한 모델을 추가적으로 설계하여 입력 조합의 효과를 평가한다. 또한, 입력정보의 효과 및 관심영역별 뇌파 기여도 실험 등 본 연구에서 수행된 모든 실험을 검증된 공개 뇌파 데이터셋을 활용하여 수행함으로써, 향후 동일 조건에서의 실험 재현성을 보장할 수 있도록 설계하였다.

III. 연구 방법

본 연구에서는 공개 뇌파데이터셋을 활용하여 뇌파와 오디오 특징의 음악 선호도 예측에 대한 기여도를 대조군 비교 실험을 통해 정량적으로 분석하였다. 또한 뇌파 데이터의 관심영역별 절제 실험(ROI ablation test)을 통해 각 뇌파요소의 기여도를 체계적으로 확인하고자 하였다.

3.1 데이터셋

본 연구에서는 뇌파 데이터 수집을 위해 2017년에 공개된 NMED-T 데이터셋^[26]을 사용하였다. 해당 데이터셋은 남성 14명과 여성 6명으로 구성된 20명의 피험자들이 음악을 감상하는 동안 수집된 EEG 데이터를 포함하고 있다. 피험자의 연령은 18세에서 29세 사이이며, 평균 연령은 23세이다. 또한, 20명 중 17명의 피험자가 평균 8.4년의 장기적인 음악 교육 경험이 있다고 보고되었다.

NMED-T 데이터셋에 사용된 음악은 western, duple meter, electronic 장르로 구성된 총 10곡이며, 각 곡의 길이는 4 min 30 s에서 4 min 58 s 사이이고, 템포는 56 BPM – 150 BPM 범위를 가진다. 피험자들이 음악을 청취하는 동안 125개의 전극을 통해 뇌파 신호가 측정되었으며, 샘플링 주파수는 125 Hz이다. 피험자들은 각 음악에 대한 선호도를 1점에서 9점까지의 척도로 평가하였다.

본 연구에서는 NMED-T 데이터셋에 포함된 뇌파 데이터와 함께 음악으로부터 151차원의 오디오 특성을 추출하여 모델의 입력으로 활용하였다. 해당 특성은 Sawata et al.^[13]의 연구에서 사용된 구성과 동일하며, 각 특성의 구성과 차원 정보는 Table 1에 제시되어 있다.

Table 1.

Configuration and dimensions of audio features extracted based on the framework proposed by Sawata et al.^[13]

Category	Description	Statistics	Dimension
Dynamics	Root Mean Square (RMS)	Mean, Standard deviation (Std)	2
Spectral	Centroid	Mean, Std	2
	Brightness	Mean, Std	2
	Spread	Mean, Std	2
	Skewness	Mean, Std	2
	Kurtosis	Mean, Std	2
	Rolloff	Mean, Std	4
	Entropy	Mean, Std	2
	Flatness	Mean, Std	2
	Roughness	Mean, Std	2
	Irregularity	Mean, Std	2
Timbre	Zero Crossing Rate (ZCR)	Mean, Std	2
	Mel Frequency Cepstral Coefficients (MFCC)	Mean, Std	26
	Low energy	Mean, Std	2
Tonal	Key strength	Mean, Std	48
	Chromagram	Mean, Std	24
	Key	Mean, Std	2
	Tonal centroid	Mean, Std	12
	Mode	Mean, Std	2
Rhythm	Tempo	Mean, Std	1
	Pulse clarity	Mean, Std	2
	Event density	Mean, Std	2
	Attack time	Mean, Std	2
	Attack slope	Mean, Std	2
Total			151

3.2 실험 설계

본 연구에서는 뇌파 및 오디오 특징의 단일 입력 및 결합 효과를 체계적으로 비교하기 위해, 유사한 구조의 단일 입력용 모델들과 결합 입력용 모델들을 사용하였다.

실험에 사용된 각 모델의 입력, 형태, 및 아키텍처는 다음과 같이 구성된다(Table 2, Fig. 1). 본 연구에서 순차 모델(sequential model)은 뇌파 혹은 대조군인 대조뇌파, 또는 오디오 특징 중 하나를 단일 입력으로 사용하는 모델을 의미하며, 결합 모델(concat model)은 뇌파 또는 대조뇌파와 오디오 특징을 결합하여 입력으로 사용하는 모델을 의미한다. 순차 모델에서 Table 1에서 정의된 151차원의 오디오 특징을 입력으로 사용하는 모델은 A-3CNN으로 명명하였다. A-3CNN은 R-EEGNET, N-EEGNET과의 성능 비교를 위해 유사한 구조를 가지도록 설계되었으며, 3개의 1차원 합성곱 레이어로 구성된다. A-3CNN 모델의 입력 데이터 차원은 B × 1 × F로 표현되며, 여기서 B는 배치 크기, F는 오디오 특징 벡터(audio feature vector)의 길이를 의미한다[Fig. 1(a)]. 또한 동일하게 H1, H2는 각각 은닉 차원의 크기를 나타낸다.

Table 2.

Summary of the proposed model configurations. Each model is categorized by model type, input modality, and network architecture for music preference prediction.

Model type	Model name	Input	Model architecture
Sequential model	A-3CNN (Baseline)	Audio feature	3 layer Convolutional Neural Network (CNN)
	R-EEGNET	Raw EEG	EEGNET (3 layer)
	N-EEGNET	Null EEG	EEGNET (3 layer)
Concat model	R-CONCAT	Raw EEG + Audio
Concat model	N-CONCAT	Null EEG + Audio

https://cdn.apub.kr/journalsite/sites/ask/2026-045-04/N0660450404/images/ASK_45_04_04_F1.jpg

Fig. 1.

(Color available online) Architecture of the proposed models for music preference prediction. (a) Shows the sequential models, including A–3CNN, R–EEGNet, and N–EEGNet, which use audio features, real EEG signals, and Null EEG signals, respectively. (b) Shows the concatenation based models, R–Concat and N–Concat, which combine audio and EEG embeddings for multimodal prediction.

한편, 뇌파와 대조뇌파를 입력으로 사용하는 모델은 각각 Raw-EEGNET(R-EEGNET)과 Null-EEGNET(N-EEGNET)으로 명명하였으며 두 모델은 모두 연구 Lawhern et al.^[3]이 제안한 EEGNET 아키텍처와 동일한 구조를 따른다. EEGNET은 3개의 2차원 합성곱 레이어로 구성되며, 입력 데이터의 차원은 B × C × T로 표현된다[Fig. 1(a)]. 여기서 B는 배치 크기, C는 채널 수, T는 시간 길이를 의미한다. 또 H1, H2는 각각 은닉 차원의 크기를 나타낸다.

추가적으로, 뇌파와 오디오 특징을 결합하였을 때 음악 선호도 예측 성능이 향상되는지를 검증하기 위해 R-CONCAT 및 N-CONCAT 모델을 설계하였다[Fig. 1(b)]. R-CONCAT은 원본 뇌파와 오디오 특징을 결합한 모델이며, N-CONCAT은 대조뇌파와 오디오 특징을 결합한 모델이다. 각 모델에서 EEG encoder와 audio encoder는 각각 EEGNET과 A-3CNN 구조를 기반으로 구성되며, 각 인코더로부터 추출된 128차원의 임베딩을 결합(concatenation)한 후, 이를 MLP layer에 입력하여 음악 선호도에 대한 이진 분류를 수행한다.

위와 같이 모델을 구성한 후, 본 연구에서는 다음과 같은 실험 설정을 통해 성능을 평가하였다. 본 연구에서는 NMED-T 데이터셋의 20명의 피험자를 대상으로, 음악 선호도 예측 성능을 평가하기 위해 난수 초기값을 달리하여 총 10회 반복 실험을 수행하였다. 모든 실험에서는 학습(train), 검증(validation), 테스트(test) 세트가 각각 12명, 4명, 4명으로 구성된 데이터 분할을 동일하게 사용하였다. 선호도 라벨은 학습 세트에서 계산한 중앙값을 기준으로 선호와 비선호로 이진화하였다. 또한, 클래스 불균형으로 인한 평가 편향을 완화하기 위해 ROC-AUC, F1-score, Balanced accuracy, Accuracy의 네 가지 평가 지표를 활용하였으며, 10회 반복 실험 결과를 평균과 표준편차를 통해 측정하였다.

3.3 뇌파와 대조 데이터 비교

본 연구에서는 원본 뇌파가 음악 선호도 예측에 기여하는지를 검증하기 위해, 원본 뇌파와 동일한 크기를 유지하되 위상 무작위화를 통해 시간적 구조를 교란한 대조뇌파를 대조 데이터로 생성하고 비교 실험을 수행하였다.

대조뇌파의 경우 스펙트럼 무작위화(spectrum surrogate) 방식을 통해 제작하였다. Eq. (1)은 원본 뇌파 신호를 푸리에 변환을 이용하여 진폭과 위상으로 분리하는 과정이다.

(1)

X (f) = F {x (t)} = A (f) e^{i Φ (f)},

여기서 $F {}$ 는 푸리에 변환을, $A (f)$ 는 신호의 진폭, $e^{i Φ (f)}$ 는 신호의 위상을 나타낸다. Eq. (1)을 통해 분리된 진폭과 위상 중 위상만 랜덤화하는 과정은 Eq. (2)와 동일하다.

(2)

Φ (f) ⟶ θ (f), [0, 2 π) phaserandomization,

여기서 위상은 0과 2𝜋사이의 랜덤한 값으로 바뀌게 된다.

Eq. (3)은 랜덤화된 위상을 원본 신호의 진폭과 결합한 후 역 푸리에 변환을 통해 대조뇌파 데이터를 제작하는 과정이다.

(3)

X^{'} (f) = A (f) e^{i θ (f)}, x^{'} (t) = F^{- 1} \{X^{'} (f)\},

여기서 $F^{- 1} \{\}$ 는 역 푸리에 변환, $X^{'} (f)$ 는 주파수 도메인에서 생성된 대조뇌파 데이터, $x^{'} (t)$ 는 $X^{'} (f)$ 를 역 푸리에 변환을 이용해 만든 시간 도메인에서의 대조뇌파 데이터이다. 본 연구에서는 해당 과정을 통해 원본 뇌파의 진폭 스펙트럼은 유지하되, 위상 정보를 무작위함으로써 시간적 구조가 교란된 대조뇌파를 생성하였다.

3.4 관심영역 절제 실험

본 연구에서는 뇌파와 대조군인 대조뇌파, 그리고 뇌파와 오디오 특징을 이용한 모델 간의 성능 비교뿐만 아니라 전극 위치를 기준으로 전체 측정 영역을 5개의 관심 영역[ROI; 중추, 전두엽, 후두부, 두정엽, 측두(Temporal)]으로 분할하고, 이에 대한 절제 실험을 통하여 영역별 음악 선호도 예측에 미치는 기여도를 분석하였다.

구체적으로 전체, 뇌파 채널 중 특정 ROI에 해당하는 채널을 선택한 뒤, 해당 채널의 신호에 대해 3.3절에서 제시한 방식과 동일하게 스펙트럼 무작위화 처리를 적용하고 나머지 채널은 원본 데이터를 유지하였다.

이를 통해 특정 영역의 정보가 제거된 상태에서 모델의 성능 변화를 측정함으로써, 해당 영역이 음악 선호도 예측에 미치는 영향을 평가하였다.

이러한 과정을 각 영역에 대해 반복하여 총 5개의 절제실험을 수행하였다. 여기서도 동일하게 모든 실험은 Lawhern et al.^[3]의 EEGNET 아키텍처를 기반으로 동일한 설정에서 수행되었다.

IV. 결 과

4.1 EEG와 대조 데이터 비교

본 연구의 Fig. 2에는 각 모델을 이용하여 음악 선호도 이진 분류를 수행하였을 때의 Balanced accuracy에 대한 그래프가, Table 3에는 이진 분류시 측정된 평가 지표인 ROC-AUC, F1, Balanced accuracy, Accuracy가 표시되어 있다.

https://cdn.apub.kr/journalsite/sites/ask/2026-045-04/N0660450404/images/ASK_45_04_04_F2.jpg

Fig. 2.

(Color available online) Balanced accuracy comparison across the four models. The dashed line denotes the A-3CNN baseline. R-CONCAT achieved the highest balanced accuracy, followed by N-CONCAT, R-EEGNET, and　N-EEGNET.

Table 3.

Performance comparison of A-3CNN, R-EEGNET, N-EEGNET, R-CONCAT and N-CONCAT across four evaluation metrics. Values are reported as mean ± standard deviation over 10 random seeds. R-CONCAT achieves the best performance in all metrics.

	ROC- AUC	F1	Balanced accuracy	Accuracy
A-3CNN	0.688 ± 0.136	0.667 ± 0.132	0.584 ± 0.073	0.605 ± 0.073
R-EEGNET	0.724 ± 0.039	0.662 ± 0.076	0.658 ± 0.030	0.643 ± 0.037
N-EEGNET	0.543 ± 0.050	0.576 ± 0.089	0.532 ± 0.062	0.540 ± 0.050
R-CONCAT	0.733 ± 0.168	0.681 ± 0.325	0.662 ± 0.002	0.664 ± 0.046
N-CONCAT	0.668 ± 0.171	0.680 ± 0.328	0.613 ± 0.025	0.621 ± 0.055

Table 3에서 원본 뇌파를 입력으로 가지며 EEGNET을 통해 음악 선호도 이진 분류를 진행하는 R-EEGNET은 ROC-AUC 0.724, F1 0.662, Balanced accuracy 0.658, Accuracy 0.643의 값을 기록하였다. 이는 대조 데이터인 대조뇌파를 이용하며 동일한 모델 아키텍처를 가지는 N-EEGNET에 비해 각 평가 지표에서 각각 0.181, 0.094, 0.126, 0.103 더 높은 값들을 기록하며 뇌파의 시간 기반 정보들이 실제로 음악 선호도 예측에 기여를 하고 있음을 뒷받침하고 있다.

4.2 뇌파와 오디오 특징 비교 및 결합

본 연구에서 원본 뇌파를 단일 입력으로 사용하는 R-EEGNET과 오디오 특징을 단일 입력으로 사용하는 A-3CNN의 성능을 비교한 결과, R-EEGNET이 F1 점수를 제외한 평가 지표들에서 A-3CNN보다 높은 성능을 보였다. 이를 통해 같은 모델 구조에서 피험자 개인의 특성을 반영하지 않는 오디오 특징보다 개개인의 뇌파 신호에 기반한 예측이 주관적인 선호도를 더 잘 예측할 수 있는 가능성을 보여준다. 또한, 뇌파와 오디오 특징을 결합한 R-CONCAT 모델은 Table 3에 제시된 모든 모델 중 가장 높은 성능을 기록하였다.

이는 오디오 특징과 뇌파 간의 정렬을 통해 음악 선호도 예측 성능을 향상시킬 수 있음을 시사한다. 반면, 대조뇌파와 오디오 특징을 결합한 N-CONCAT 모델은 뇌파만을 입력으로 사용하는 R-EEGNET보다 F1점수를 제외한 평가 지표들에서 낮은 성능을 보였다. 이는 R-EEGNET의 높은 성능이 단순히 EEGNET 구조에 기인한 것이 아닌, 뇌파가 실제로 음악 선호도 예측에 일관된 기여를 하고 있음을 뒷받침한다.

4.3 관심영역 절제 연구

Fig. 3에서 R-EEGNET을 Baseline으로 설정하고 각 관심영역을 스펙트럼 무작위화 처리한 모델의 상대적 성능을 비교한 결과, 후두부 영역만 Null 처리한 경우, ROC-AUC, F1-Score, Balanced accuracy, Accuracy가 Baseline 대비 각각 70.3 %, 99.4 %, 79.9 %, 86.3 % 만큼 유지되어 ROI 중 가장 높은 감소가 나타났다. 그다음으로는 전두엽 영역을 스펙트럼 무작위화 처리한 모델에서 낮은 성능 유지율이 나타났다. 이를 통해 5가지 영역 중 후두부, 전두엽 순으로 음악 선호도 예측과 연관성이 있음이 확인되었다.

https://cdn.apub.kr/journalsite/sites/ask/2026-045-04/N0660450404/images/ASK_45_04_04_F3.jpg

Fig. 3.

(Color available online) (a) ROIs of the brain divided into five regions. (b) ROI ablation results showing the percentage of performance that remained relative to the baseline (R-EEGNET). Among the five ROIs, the occipital region showed the lowest remaining performance across the evaluation metrics, followed by the frontal region.

V. 논 의

5.1 뇌파의 음악 선호도 예측 기여도

기존 연구들^[20,21,22]은 뇌파로부터 PSD, asymmetry, Inter Subject Correlation(ISC), global efficiency 등의 특징을 추출하여 음악 선호도를 예측하였으며, 해당 연구들에서 보고된 예측 성능은 뇌파가 음악 선호도 예측 정확도를 높이는 데 일관된 기여를 하고 있음을 시사한다. 본 연구의 결과 역시 이러한 선행 연구들과 일관된 경향을 보였다. 특히, 동일한 모델 아키텍처 내에서 원본 뇌파와 스펙트럼 무작위화 방식을 통해 생성된 시간적 정보가 교란된 대조뇌파를 각각 입력으로 사용한 결과, R-EEGNET이 N-EEGNET에 비해 Table 3의 모든 평가 지표들에서 더 높은 성능을 보였다. 이는 뇌파 신호 내에 존재하는 시간적 정보가 음악 선호도 예측에 있어 실제로 기여하고 있음을 의미한다. Sawata et al.^[13]은 뇌파와 오디오 특징 간의 시간축 상관관계를 활용해 높은 선호도 예측 성능을 달성하였으며, 이는 음악 선호도 예측에 있어 뇌파의 시간적 정보가 중요한 역할을 한다는 본 연구의 내용을 뒷받침한다.

한편, 본 연구에서는 기존 연구들과 달리 뇌파신호로부터 별도의 특징을 추출하지 않고, 원시 뇌파 신호를 모델의 입력으로 직접 사용하였다. 그럼에도 불구하고 일관된 예측 성능을 달성한 것은 딥러닝 모델이 원시 뇌파 신호로부터 음악 선호도 예측에 필요한 효과적인 표현을 학습할 수 있음을 시사한다. 이는 별도의 특징 추출 과정 없이 원시 뇌파 데이터를 이용해 음악 선호도 예측이 가능함을 보인 Aldrin et al.^[27]의 연구 결과와도 일관된다.

5.2 뇌파와 오디오 특징 비교 및 결합

본 연구에서 R-EEGNET은 A-3CNN에 비해 더 높은 성능을 보였다. 이는 뇌파에 포착되는 뇌파반응이 개개인의 음악 선호도 예측에 일관된 기여를 할 수 있는 가능성을 보여준다. 이러한 결과는 두 입력 데이터가 포함하는 정보의 차이에서 비롯된 것으로 해석할 수 있다. 오디오 특징은 음악 자체의 특성만을 반영하는 반면, 뇌파는 음악을 청취하는 개인의 감정, 인지, 선호도와 관련된 신경생리학적 반응을 포함한다. 따라서 유사한 모델 아키텍처를 사용하더라도, 개인의 반응 정보를 직접적으로 반영하는 R-EEGNET이 A-3CNN에 비해 더 높은 예측 성능을 보인 것으로 해석된다. 또한 뇌파는 시간에 따른 신경 반응의 변화를 포함하는 시계열적 정보를 내재하고 있는 반면, 본 연구에서 사용된 오디오 특징은 이러한 시계열적 정보를 충분히 반영하지 못한다는 차이가 존재한다. 이러한 차이 역시 뇌파 기반 모델의 성능 향상에 기여했을 가능성이 있다.

Fig. 2와 Table 3의 결과에서 원본 뇌파와 오디오 특징을 결합한 R-CONCAT 모델은 모든 모델 중 가장 높은 성능을 보였다. 이는 원본 뇌파가 음악 청취 과정에서 발생하는 개인의 신경생리학적 반응과 시간적 변화를 반영하고, 오디오 특징은 음악 자체의 구조적, 오디오적 정보를 제공하기 때문으로 해석할 수 있다. 즉, R-CONCAT 모델은 개인의 뇌 반응 정보와 음악 자체의 특성을 함께 활용함으로써 두 정보 간의 상호보완적 관계를 학습할 수 있었고, 그 결과 가장 높은 예측 성능을 보인 것으로 판단된다.

또 대조뇌파와 오디오 특징을 결합한 모델인 N-Concat이 A-3CNN에 비해 F1-Score, Balanced accuracy, Accuracy 지표에서 더 높은 성능을 보이는 경향도 확인할 수 있었다. 이는 대조뇌파가 위상 랜덤화를 통해 원본 뇌파의 시간적 정보를 교란한 대조군임에도 불구하고, 음악 선호도 예측에 활용될 수 있는 신경생리학적 정보가 여전히 남아있음을 시사한다. 본 연구에서 사용한 대조뇌파는 원본 뇌파의 시간적 정보는 교란되었지만, 주파수 크기 스펙트럼과 진폭 관련 정보는 보존하고 있다. 이러한 점은 Hadjileontiadis et al.^[12]의 연구에서 음악 선호도 인식을 위해 뇌파의 시간–주파수 특징을 사용하고, 뇌파의 에너지 관련 특성이 시간과 주파수 양쪽에서 변화할 수 있음을 고려해야 한다고 설명한 점과 일맥상통한다. 또한 Pan et al.^[28]은 공동 주파수 패턴(common frequency pattern)을 통해 특정 주파수 대역의 뇌파 정보가 음악 선호도 분류에 유효하게 활용될 수 있음을 보였다. 따라서 본 연구에서 N-Concat이 A-3CNN보다 높은 성능을 보인 결과는, 시간적 구조가 제거된 대조뇌파에서도 주파수 도메인의 진폭 정보가 음악 선호도 예측에 유의미하게 활용될 수 있으며, 오디오 특징과의 결합을 통해 예측 성능을 향상시킬 수 있음을 시사한다.

5.3 관심영역 절제 연구

기존 연구들^{[19,20,21,22,23,24,25,26]}에서는 음악 선호도와 전두엽영역 간의 연관성이 반복적으로 보고되어왔으며, 이에 따라 전두엽이 음악 선호도와 관련된 주요한 뇌 영역으로 해석되어 왔다. 본 연구의 결과 역시 이러한 경향과 일치하는 모습을 보였다. Fig. 3에서 전두엽 영역을 스펙트럼 무작위화 처리할 경우 모델 성능이 두 번째로 크게 감소하는 경향이 나타났으며, 이는 전두엽 영역이 음악 선호도 예측에 기여할 수 있는 신경생리학적 단서를 제공할 가능성을 시사한다.

한편, Fig. 3에서 스펙트럼 무작위화 처리 시 가장 큰 성능 저하를 보인 영역은 후두부 영역이었다. 이는 후두부 영역이 음악 선호도 예측에 중요한 정보를 포함하고 있을 가능성을 시사한다. 그러나 기존 연구들에서 해당 영역을 독립적으로 검증하거나 핵심 변수로 다룬 연구는 상대적으로 제한적인 것으로 보인다. 이러한 경향은 다수의 선행 연구들^{[20,23,24,25,26]}이 실험 설계 단계에서 뇌파 채널 구성을 전두엽 영역 중심으로 설정해왔기 때문일 가능성이 있다. 예를 들어 Sangnark et al.^[20]의 경우 기존 감정 인식과 관련된 연구들이 전두엽 영역의 반응에 주목해왔기에 전두엽 영역을 주요 분석 대상으로 설정하였다. Ueno et al.^[22]에서도 유사하게 전두엽 영역에 상대적으로 많은 채널이 배치된 것을 확인할 수 있는데 이는 고차원 음악 특징 처리에 전두엽 영역이 관여한다는 기존 연구에 기반했기 때문이다. 또 He et al.^[21]에서는 건식 뇌파 장비 이용하였기에 장비에서 가장 많은 센서 위치를 보유한 전두엽 영역을 중심으로 하여 실험을 진행하였다.

정리하자면 기존 연구들이 전두엽 영역을 중심으로 실험을 설계한 이유는 음악 유발 감정 인식과 관련된 선행 연구들,^[29,30,31] 음악 정보 처리에서 전두엽 영역의 관여를 보고한 연구들,^[32,33,34] 혹은 뇌파 측정 장비의 채널 배치 한계가 복합적으로 작용했기 때문으로 볼 수 있다. 이러한 전두엽 중심 채널 구성은 상대적으로 후두부 영역의 역할을 충분히 관찰하거나 검증하지 못하게 만드는 한계로 이어질 수 있다.

그러나 일부 연구들^[20,25,26]에서는 후두부 역시 전두엽 영역과 함께 음악 선호도와 관련된 중요한 역할을 수행할 수 있음을 보고하고 있다. 특히 Sadahisa et al.^[25]에서는 음악 청취 단계와 선호도 평가 단계를 구분하여 뇌파를 측정한 결과, 두 조건 모두에서 후부두 영역의 활성화가 관찰되었다. 이러한 결과는 본 연구에서 관찰된 후두부 영역의 중요성과 일관된 경향을 보이며, 해당 영역이 음악 선호도 예측과 관련된 중요한 신경생리학적 단서를 제공할 수 있는 영역으로 해석될 수 있다. 다만 후두부 영역은 시각 처리 및 안구 움직임과도 관련된 영역이므로 실험 결과가 안구 잡음의 영향을 받았을 가능성도 완전히 배재하기는 어렵다. 그러나 Losorelli et al.^[26]에서 고정 이미지를 응시하도록 하여 측정을 진행하였기에 안구 잡음을 최소화하며 뇌파 신호를 측정한 것을 확인할 수 있었다. 따라서 후두부 영역의 활성화는 안구 잡음 가능성을 고려해 신중하게 해석될 필요가 있으나, 동시에 음악 선호도와 관련된 일관된 신경생리학적 지표일 가능성도 충분히 시사한다.

5.4 연구 한계 및 향후 연구 과제

기존 연구인 Sawata et al.^[13]과 비교하였을 때, 본 연구의 예측 성능은 상대적으로 낮게 나타났다. 이러한 차이는 Sawata et al.^[13]의 경우 10명을 대상으로 자체 구축한 데이터셋을 사용하였으며, 음악 선호도 예측 과정에서 최종적으로 뇌파 신호를 활용하여 추출된 오디오 특징만을 이용하여 예측하였기 때문으로 판단된다. 반면 본 연구에서는 Losorelli et al.^[26]의 공개 데이터셋을 사용하였으므로 데이터셋의 구성, 피험자의 특성, 실험 환경 등의 차이가 성능 차이에 영향을 미쳤을 가능성이 있다. 그러나 본 연구는 Sawata et al.^[13]및 기존 연구들에서 충분히 수행하지 않았던 오디오 특징 기반 모델과 뇌파 기반 모델 간의 비교 및 결합 실험을 수행하였다는 점에서 차별성을 가진다. 또한 대조군으로 대조뇌파를 설정하여 절제 실험을 수행함으로써, 뇌파 정보가 음악 선호도 예측에 실제로 기여할 수 있음을 확인하였고 이 과정에서 뇌파에서 특징 추출을 진행하지 않고 원시 뇌파 신호를 사용함으로써 원시 뇌파 신호로도 음악 선호도 예측이 가능하다는 점을 확인하였다. 다만 본 연구에서 사용한 데이터셋은 피험자 수가 20명으로 제한적이며, 교차검증 과정에서 각 테스트 세트에 포함된 피험자 수 역시 4명으로 매우 작다는 한계가 존재한다. 또한 대부분의 피험자가 장기간 음악 교육을 받은 경험이 있는 20대라는 점에서, 본 연구 결과의 일반화 가능성에는 한계가 존재한다. 따라서 향후 연구에서는 Koelstra et al.^[35]의 Database for Emotion Analysis using Physiological signals(DEAP) 데이터셋과 같이 공개된 다양한 데이터셋을 활용하여 교차 검증을 수행하고, 뇌파 기반 음악 선호도 예측 모델의 일반화 성능을 추가적으로 검토할 필요가 있다.

VI. 결 론

본 연구에서는 동일한 모델 구조 내에서 뇌파, 유의미한 시간 정보를 제거한 대조뇌파, 그리고 오디오 특징을 각각 입력으로 사용하여 음악 선호도 예측 실험을 진행하였다. 실험 결과 뇌파를 입력으로 사용하는 모델이 대조뇌파 및 기반 모델보다 일관되게 우수한 성능을 보였으며, 이는 뇌파 신호가 음악 선호도 예측과 관련된 기여를 하고 있음을 기존 연구들과 함께 뒷받침한다. 또한 뇌파와 오디오 특징을 결합한 모델이 가장 높은 예측 성능을 달성하였으며, 이는 두 입력이 상호 보완적인 정보를 제공함으로써 모델의 성능 향상에 기여할 수 있음을 시사한다.

추가적으로, 본 연구에서는 뇌를 중추, 전두엽, 후두부, 두정엽, 측두의 다섯 영역으로 구분하고, 각 영역을 개별적으로 스펙트럼 무작위화 처리하는 관심 영역 절제 실험을 수행하였다. 그 결과, 후두부 및 전두엽 영역이 음악 선호도 예측에 있어 상대적으로 중요한 기여를 하고 있는 것으로 나타났으며, 이는 기존 연구들과도 전반적으로 일관된 경향을 보인다.

향후 연구에서는 후두부와 전두엽 영역 간의 기여도를 보다 정밀하게 비교분석하고 나아가 Daly et al.^[36]와 같이 뇌파뿐만 아니라 기능적 자기공명영상(Functional Magnetic Resonance Imaging, fMRI)과 같은 다중 모달 신경 신호를 함께 활용함으로써 관심영역 분석의 정밀도를 향상시킬 필요가 있다.

Acknowledgements

본 연구는 한국연구재단(RS-2023-00222383, RS-2023-NR076580)과 KAIST 자체연구사업(N11260018)의 지원을 받아 수행된 연구입니다.

References

D. Dabebehav, W. W. Goh, and E. X. Tan, “EEG-based emotion recognition: review of commercial EEG devices and machine learning techniques,” J. King Saud Univ. Comput. Inf. Sci. 34, 4385-4401 (2022).

10.1016/j.jksuci.2021.03.009

C. He, Y.-Y. Chen, C.-R. Phang, C. Stevenson, I.-P. Chen, and T.-P. Jung, “Diversity and suitability of the state-of-the-art wearable and wireless EEG systems review,” IEEE J. Biomed. Health Inform. 27, 3830-3843 (2023).

10.1109/JBHI.2023.3239053

V. J. Lawhern, A. J. Solon, N. R. Waytowich, S. M. Gordon, C. P. Hung, and B. J. Lance, “EEGNet: a compact convolutional network for EEG-based brain-computer interfaces,” J. Neural Eng. 15, 056013 (2018).

10.1088/1741-2552/aace8c

A. Craik, Y. He, and J. L. Contreras-Vidal, “Deep learning for electroencephalogram (EEG) classification tasks: a review,” J. Neural Eng. 16, 031001 (2019).

10.1088/1741-2552/ab0ab5

A. S. Cowen, X. Fang, D. Sauter, and D. Keltner, “What music makes us feel: at least 13 dimensions organize subjective experiences associated with music across different cultures,” Proc. Natl. Acad. Sci. 1924-1934 (2020).

10.1073/pnas.191070411731907316PMC6995018

T. Zhang, Q. Li, X. Yang, and C. L. P. Chen, “MCGC-Net: multi-scale controllable graph convolutional network on music emotion recognition,” IEEE Trans. Affect. Comput. 17, 162-175 (2026).

10.1109/TAFFC.2025.3608830

M. Xiao, Z. Zhu, K. Xie, and B. Jiang, “MEEG and AT-DGNN: improving EEG emotion recognition with music introducing and graph-based learning,” Proc. BIBM, 4201-4208 (2024).

10.1109/BIBM62325.2024.10821806

J. X. Chen, P. W. Zhang, Z. J. Mao, Y. F. Huang, D. M. Jiang, and Y. N. Zhang, “Accurate EEG-based emotion recognition on combined features using deep convolutional neural networks,” IEEE Access, 7, 44317-44328 (2019).

10.1109/ACCESS.2019.2908285

D. A. Adamos, S. I. Dimitriadis, and N. A. Laskaris, “Towards the bio-personalization of music recommendation systems: a single-sensor EEG biomarker of subjective music preference,” Inf. Sci. 343-344, 94-108 (2016).

10.1016/j.ins.2016.01.005

H. Liu, J. Hu, and M. Rauterberg, “Music playlist recommendation based on user heartbeat and music preference,” Proc. ICCTD, 545-549 (2009).

10.1109/ICCTD.2009.246

D. Ayata, Y. Yaslan, and M. E. Kamasak, “Emotion based music recommendation system using wearable physiological sensors,” IEEE Trans. Consum. Electron. 64, 196-203 (2018).

10.1109/TCE.2018.2844736

S. K. Hadjidimitriou and L. J. Hadjileontiadis, “Toward an EEG-based recognition of music liking using time-frequency analysis,” IEEE Trans. Biomed. Eng. 59, 3498-3510 (2012).

10.1109/TBME.2012.2217495

R. Sawata, T. Ogawa, and M. Haseyama, “Human-centered favorite music classification using EEG-based individual music preference via deep time-series CCA,” Proc. ICASSP, 1320-1324 (2021).

10.1109/ICASSP39728.2021.9414945

H. Vedder, F. Stano, and M. Knierim, “Classification of music preferences using EEG data in machine learning models,” Proc. MuC, 1-4 (2024).

B. Ward, C. Pravin, A. Chetcuti, and Y. Hayashi, “Classification of musical preference in generation Z through EEG signal processing and machine learning,” Proc. ISDA, 117-127 (2021).

10.1007/978-3-030-71187-0_11

M. He, W. Luo, Y. Zheng, J. Zhang, and X. Gao, “EEG-FSL: an EEG-based few-shot learning framework for music recommendation,” Proc. CIKM, 823-832 (2025).

10.1145/3746252.3761201

R. W. Wilkins, D. A. Hodges, P. J. Laurienti, M. Steen, and J. H. Burdette, “Network science and the effects of music preference on functional brain connectivity: from Beethoven to Eminem,” Sci. Rep. 4, 6130 (2014).

10.1038/srep0613025167363PMC5385828

I. Daly, A. Malik, F. Hwang, E. Roesch, J. Weaver, A. Kirke, D. Williams, E. Miranda, and S. J. Nasuto, “Neural correlates of emotional responses to music: an EEG study,” Neurosci. Lett. 573, 52-57 (2014).

10.1016/j.neulet.2014.05.003

S. Cheng, J. Wang, R. Luo, and N. Hao, “Brain to brain musical interaction: a systematic review of neural synchrony in musical activities,” Neurosci. Biobehav. Rev. 164, 105812 (2024).

10.1016/j.neubiorev.2024.105812

S. Sangnark, P. Autthasan, P. Ponglernapakorn, P. Chalearn, T. Sudhawiyangkul, and M. Trakruangroj, “Revealing preference in popular music through familiarity and brain response,” IEEE Sens. J. 21, 14931-14940 (2021).

10.1109/JSEN.2021.3073040

ArXiv, https://arxiv.org/html/2404.15753v1, (Last viewed July 21, 2026).

F. Ueno and S. Shimada, “Inter-subject correlations of EEG reflect subjective arousal and acoustic features of music,” Front. Hum. Neurosci. 17, 1225377 (2023).

10.3389/fnhum.2023.122537737671247PMC10475548

H. Sadahisa, Y. Tsuji, S. Kudo, and K. Natsume, “The brain rhythm related to the music preferences and the detection of the preference,” Proc. NOLTA 379-382 (2017).

R. Nawaz, H. Nisar, and Y. V. Voon, “The effect of music on human brain: frequency domain and time series analysis using electroencephalogram,” IEEE Access, 6, 45191-45205 (2018).

10.1109/ACCESS.2018.2855194

K. R. Fricke, D. M. Greenberg, P. J. Rentfrow, and P. Y. Herzberg, “Computer-based music feature analysis mirrors human perception and can be used to measure individual music preference,” J. Res. Pers. 75, 94-102 (2018).

10.1016/j.jrp.2018.06.004

S. Losorelli, D. T. Nguyen, J. P. Dmochowski, and B. Kaneshiro, “NMED-T: a tempo-focused dataset of cortical and behavioral responses to naturalistic music,” Proc. ISMIR, 339-346 (2017).

K. Aldrin and M. Bagger Torang, A machine learning approach to EEG based prediction of user’s music preference, (Bachelor’s degree project, KTH Royal Institute of Technology, 2019).

Y. Pan, C. Guan, J. Yu, K. K. Ang, and T. E. Chan, “Common frequency pattern for music preference identification using frontal EEG,” Proc. NER, 505-508 (2013).

10.1109/NER.2013.6695982

Y. Lin, C. Wang, T. Jung, T. Wu, S. Jeng, J. Duann, and J. Chen, “EEG-based emotion recognition in music listening,” IEEE Trans. Biomed. Eng. 57, 1789-1806 (2010).

10.1109/TBME.2010.2048568

B. Geethanjali, K. Adalarasu, M. Jagannath, and N. P. G. Seshadri, “Music-induced brain functional connectivity using EEG sensors: a study on Indian music,” IEEE Sens. J. 19, 1499-1507 (2019).

10.1109/JSEN.2018.2873402

M. Lee, G. Shin, and S. Lee, “Frontal EEG asymmetry of emotion for the same auditory stimulus,” IEEE Access, 8, 107200-107213 (2020).

10.1109/ACCESS.2020.3000788

V. Pando-Naude, A. Patyczek, L. Bonetti, and P. Vuust, “An ALE meta-analytic review of top-down and bottom-up processing of music in the brain,” Sci. Rep. 11, 20813 (2021).

10.1038/s41598-021-00139-334675231PMC8531391

P. Janata, J. L. Birk, J. D. Van Horn, M. Leman, B. Tillmann, and J. J. Bharucha, “The cortical topography of tonal structures underlying Western music,” Science, 298, 2167-2170 (2002).

10.1126/science.1076262

K. Schulze, S. Zysset, K. Mueller, A. D. Friederici, and S. Koelsch, “Neuroarchitecture of verbal and tonal working memory in nonmusicians and musicians,” Hum. Brain Mapp. 32, 771-783 (2011).

10.1002/hbm.2106020533560PMC6870416

S. Koelstra, C. Muhl, M. Soleymani, J.-S. LEE, A. Yazdani, T. Ebrahimi, T. Pun, A. Nijholt, and I. Patras, “DEAP: a database for emotion analysis using physiological signals,” IEEE Trans. Affect. Comput. 3, 18-31 (2012).

10.1109/T-AFFC.2011.15

I. Daly, D. Williams, F. Hwang, A. Kirke, E. R. Miranda, and S. J. Nasuto, “Electroencephalography reflects the activity of sub-cortical brain regions during approach-withdrawal behaviour while listening to music,” Sci. Rep. 9, 9415 (2019).

10.1038/s41598-019-45105-231263113PMC6603018

The Journal of the Acoustical Society of KoreaISSN:1225-4428(Print) 2287-3775(Online)한국음향학회

Preview

Predicting music preference using deep learning on electroencephalogram and audio features

ABSTRACT

MAIN

Table 1.

Configuration and dimensions of audio features extracted based on the framework proposed by Sawata et al.[13]

Table 2.

Summary of the proposed model configurations. Each model is categorized by model type, input modality, and network architecture for music preference prediction.

Fig. 1.

(1)

(2)

(3)

Fig. 2.

(Color available online) Balanced accuracy comparison across the four models. The dashed line denotes the A-3CNN baseline. R-CONCAT achieved the highest balanced accuracy, followed by N-CONCAT, R-EEGNET, and N-EEGNET.

Table 3.

Performance comparison of A-3CNN, R-EEGNET, N-EEGNET, R-CONCAT and N-CONCAT across four evaluation metrics. Values are reported as mean ± standard deviation over 10 random seeds. R-CONCAT achieves the best performance in all metrics.

Fig. 3.

Acknowledgements

References

Configuration and dimensions of audio features extracted based on the framework proposed by Sawata et al.^[13]

(Color available online) Balanced accuracy comparison across the four models. The dashed line denotes the A-3CNN baseline. R-CONCAT achieved the highest balanced accuracy, followed by N-CONCAT, R-EEGNET, and　N-EEGNET.