Polyphonic sound event detection using multi-channel audio features and gated recurrent neural networks

Sang-Sun   Ko,; Hye-Seung   Cho; Hyoung-Gook  Kim

doi:10.7776/2017.36.4.267

All Issue

2017 Vol.36, Issue 4 Preview Page Next Page

Polyphonic sound event detection using multi-channel audio features and gated recurrent neural networks 다채널 오디오 특징값 및 게이트형 순환 신경망을 사용한 다성 사운드 이벤트 검출

31 July 2017. pp. 267-272

PDF XML

Abstract

In this paper, we propose an effective method of applying multichannel-audio feature values to GRNNs (Gated Recurrent Neural Networks) in polyphonic sound event detection. Real life sounds are often overlapped with each other, so that it is difficult to distinguish them by using a mono-channel audio features. In the proposed method, we tried to improve the performance of polyphonic sound event detection by using multi-channel audio features. In addition, we also tried to improve the performance of polyphonic sound event detection by applying a gated recurrent neural network which is simpler than LSTM (Long Short Term Memory), which shows the highest performance among the current recurrent neural networks. The experimental results show that the proposed method achieves better sound event detection performance than other existing methods.

Keywords

Sound event detection

Multichannel audio features

GRNN (Gated Recurrent Neural Networks)

Polyphonic sound

본 논문에서는 다채널 오디오 특징값을 게이트형 순환 신경망(Gated Recurrent Neural Networks, GRNN)에 적용한 효과적인 다성 사운드 이벤트 검출 방식을 제안한다. 실생활의 사운드는 여러 사운드 이벤트가 겹쳐있는 다성 사운드로, 기존의 단일 채널 오디오 특징값으로는 다성 사운드에서 개별적인 이벤트의 검출이 어렵다는 한계가 있다. 이에 본 논문에서는 다채널 오디오 신호를 기반으로 추출된 특징값을 사용하여 다성 사운드 이벤트 검출에 적용하였 다. 또한 본 논문에서는 현재 순환 신경망에서 가장 높은 성능을 보이는 장단기 기억 신경망(Long Short Term Memory, LSTM) 보다 간단한 GRNN을 분류에 적용하여 다성 사운드 이벤트 검출의 성능을 더욱 향상시키고자 하였 다. 실험결과는 본 논문에서 제안한 방식이 기존의 방식보다 성능이 더 뛰어나다는 것을 보인다.

키워드

게이트형 순환 신경망

사운드 이벤트 검출

다채널 오디오 특징값

다성 사운드

References

A. Mesaros, M. F. McKinney, and J. Skowronek, “Automatic surveillance of the acoustic activity in our living environment,” Proc. IEEE ICME 634-637 (2005).

E. Cakir, T. Heittola, H. Huttunen, and T. Virtanen, “Polyphonic sound event detection using multi-label deep neural networks,” Proc. IEEE IJCNN, 1-7 (2015).

X. xiao, S. Watanabe, H. Erdogan, L. Lu, J.Hershey, M. L. Seltzer, G. Chen, Y. Zhang, M. Mandel, and D. Yu, “Deep beamforming networks for multi-channel speech recognition,” Proc. IEEE ICASSP, 5745-5749 (2016).

G. Parascandolo, H. Huttunen, and T. Virtanen, “Recurrent neural networks for polyphonic sound event detection in real life recordings,” Proc. IEEE ICASSP, 6440-6444 (2016).

T. N. Sainath, O. Vinyals, A. Senior, and H. Sak, “Convolutional, long short-term memory, fully connected deep neural networks,” Proc. IEEE ICASSP, 4580-4584 (2015).

C. Knapp and G. Carter, “The generalized correlation method for estimation of time delay,” IEEE Trans. Acoust. Speech Signal Process. 24, 320-327 (1976).

B. Uzkent, B. D. Barkana, and H. Cevikalp, “Non-speech environmental sound classification using svms with a new set of features,” in IJICIC, 3511 (2012).

A. Mesaros, T. Heittola, A. Eronen, and T. Virtanen, “Acoustic event detection in real life recordings,” 18th European signal processing Conference, 1267-1271 (2010).

Information

Publisher :The Acoustical Society of Korea
Publisher(Ko) :한국음향학회
Journal Title :The Journal of the Acoustical Society of Korea
Journal Title(Ko) :한국음향학회지
Volume : 36
No :4
Pages :267-272
Received Date : 2017-03-17
Accepted Date : 2017-07-31
DOI :https://doi.org/10.7776/2017.36.4.267

The Journal of the Acoustical Society of KoreaISSN:1225-4428(Print) 2287-3775(Online)한국음향학회

All Issue