Performance analysis of weakly-supervised sound event detection system based on the mean-teacher convolutional recurrent neural network model

Seokjin Lee

doi:10.7776/ASK.2021.40.2.139

All Issue

2021 Vol.40, Issue 2 Preview Page Next Page

Research Article

Performance analysis of weakly-supervised sound event detection system based on the mean-teacher convolutional recurrent neural network model 평균-교사 합성곱 순환 신경망 모델을 이용한 약지도 음향 이벤트 검출 시스템의 성능 분석

31 March 2021. pp. 139-147

PDF XML

Abstract

This paper introduces and implements a Sound Event Detection (SED) system based on weakly- supervised learning where only part of the data is labeled, and analyzes the effect of parameters. The SED system estimates the classes and onset/offset times of events in the acoustic signal. In order to train the model, all information on the event class and onset/offset times must be provided. Unfortunately, the onset/offset times are hard to be labeled exactly. Therefore, in the weakly-supervised task, the SED model is trained by “strongly labeled data” including the event class and activations, “weakly labeled data” including the event class, and “unlabeled data” without any label. Recently, the SED systems using the mean-teacher model are widely used for the task with several parameters. These parameters should be chosen carefully because they may affect the performance. In this paper, performance analysis was performed on parameters, such as the feature, moving average parameter, weight of the consistency cost function, ramp-up length, and maximum learning rate, using the data of DCASE 2020 Task 4. Effects and the optimal values of the parameters were discussed.

Keywords

Sound event detection

Semi-supervised learning

Mean-teacher

Convolutional recurrent neural network

본 논문은 데이터의 일부만 레이블링이 되어있는 약지도 학습을 기반으로 하는 음향 이벤트 검출 시스템을 소개 및 구현하고, 시뮬레이션을 통해 각 파라미터가 성능에 미치는 영향을 분석하였다. 음향 이벤트 검출 시스템은 음향 신호 내에 존재하는 이벤트의 종류, 시작/종료 시점을 추정하는 시스템으로, 이를 학습시키기 위해서는 음향 이벤트 신호와 그 종류, 시작/종료 시점에 대한 모든 정보가 제공되어야 한다. 하지만 이를 모두 표기하여 학습데이터를 만드는 것은 매우 큰 비용이 들어가며, 특히 시작/종료 시점을 정확히 표기하는 것은 매우 어렵다. 따라서 본 논문에서 다루는 약지도 학습 문제에서는 이벤트의 종류와 시작/종료 시점이 모두 표기된 “강하게 표기된 데이터”와, 이벤트의 종류만 표기된 “약하게 표기된 데이터”, 그리고 아무런 표기가 되어 있지 않은 “미표기 데이터”를 이용하여 음향 이벤트 검출 시스템을 학습시킨다. 최근 이러한 문제에서는 평균-교사 모델을 이용한 음향 이벤트 검출 시스템의 성능이 우수하며, 따라서 널리 사용되고 있다. 다만, 평균-교사 모델은 많은 파라미터를 가지고 있고, 이는 성능에 영향을 다소 미칠 수 있으므로 신중하게 선택되어야 한다. 본 논문에서는 DCASE 2020 Task 4의 데이터를 이용하여 특징 값의 종류, 이동 평균 파라미터, 일관성 비용함수의 가중치, 램프-업 길이, 그리고 최대 학습율 등 5가지의 값에 대해 성능 분석을 진행하였으며, 각 파라미터에 대한 영향 및 최적 값에 대해 고찰하였다.

키워드

음향 이벤트 검출

약지도 학습

평균-교사 모델

합성곱 순환 신경망

References

D. Barchiesi, D. Giannoulis, D. Stowell, and M. D. Plumbley, "Acoustic scene classification: Classifying environments from the sounds they produce," IEEE Signal Process. Mag. 32, 16-34 (2015). 10.1109/MSP.2014.2326181

E. Cakir, T. Heittola, H. Huttunen, and T. Virtanen, "Polyphonic sound event detection using multi label deep neural networks," Proc. IJCNN. 1-7 (2015). 10.1109/IJCNN.2015.728062424356781

S. Lee and H.-S.Pang, "Feature extraction based on the non-negative matrix factorization of convolutional neural networks for monitoring domestic activity with acoustic signals," IEEE Access, 8, 122384-122395 (2020). 10.1109/ACCESS.2020.3007199

N. Trupault, R. Serizel, A. P. Shah, and J. Salamon, "Sound event detection in domestic environments with weakly labeled data and soundscape synthesis," Proc. 2019 DCASE Workshop, 253-257 (2019). 10.33682/006b-jx26

P. Bachman, O. Alsharif, and D. Precup, "Learning with pseudo-ensembles," Advances in Neural Information Processing Systems, 27, 3365-3373 (2014).

M. Sajjadi, M. Javanmardi, and T. Tasdizen, "Regularization with stochastic transformations and perturbations for deep semi-supervised learning," Advances in Neural Information Processing Systems, 30, 1163-1171 (2016).

S. Laine and T. Alia, "Temporal ensembling for semi- supervised learning," arXiv preprint arXiv:1610.02242 (2016).

A. Tarvainen and H. Valpola, "Mean teachers are better role models: weight-averaged consistency targets improve semi-supervised deep learning results," Advances in Neural Information Processing Systems, 31, 1195- 1204 (2017).

L. JiaKai and P. Shanghai, "Mean teacher convolution system for dcase 2018 task 4," DCASE. 2018 Challenge Tech. Rep., 2018.

L. Delphin-Poulat and C. Plapous, "Mean teacher with data augmentation for dcase 2019 task 4," Orange Labs Lannion Tech. Rep., 2019.

J. Yan and Y. Song, "Weakly labeled sound event detection with residual crnn using semi-supervised method," DCASE 2019 Challenge Tech. Rep., 2019.

S. Lee, M. Kim, and Y. Jeong, "A study on the waveform-based end-to-end deep convolutional neural network for weakly supervised sound event detection" (in Korean), J. Acoust. Soc. Kr. 39, 24-31 (2020). 10.1109/ICAIIC48513.2020.9064985

A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, "Attention is all you need," Advances in Neural Information Processing Systems, 31, 5998-6008 (2017).

K Miyazaki, T. Komatsu, and T. Hayashi, "Convolution augmented transformer for semi-supervised sound event detection," Proc. 2019 DCASE Workshop, 100- 104 (2019).

D. P. Kingma and J. Ba, "Adam: A method for stochastic optimization," arXiv preprint arXiv:1412. 6980 (2014).

Information

Publisher :The Acoustical Society of Korea
Publisher(Ko) :한국음향학회
Journal Title :The Journal of the Acoustical Society of Korea
Journal Title(Ko) :한국음향학회지
Volume : 40
No :2
Pages :139-147
Received Date : 2021-01-18
Accepted Date : 2021-02-04
DOI :https://doi.org/10.7776/ASK.2021.40.2.139

The Journal of the Acoustical Society of Korea ISSN:1225-4428(Print) 2287-3775(Online) 한국음향학회지

All Issue