Interactive sound experience interface based on virtual concert hall

Hye-Seung   Cho; Hyoung-Gook   Kim

doi:10.7776/ASK.2017.36.2.130

All Issue

2017 Vol.36, Issue 2 Preview Page Next Page

Interactive sound experience interface based on virtual concert hall 가상 콘서트홀 기반의 인터랙티브 음향 체험 인터페이스

31 March 2017. pp. 130-135

PDF XML

Abstract

In this paper, we propose an interface for interactive sound experience in the virtual concert hall. The proposed interface consists of two systems, called ‘virtual acoustic position’ and ‘virtual active listening’. To provide these systems, we applied an artificial reverberation algorithm, multi-channel source separation and head-related transfer function. The proposed interface was implemented by using Unity. The interface provides the virtual concert hall to user through Oculus Rift, one of the virtual reality headsets. Moreover, we used Leap Motion as a control device to allow a user experience the system with free-hand. And user can experience the sound of the system through headphones.

Keywords

Interface

Virtual reality

Source separation

Artificial reverberation

Head-related transfer function

본 논문에서는 가상 콘서트홀에서 사용자가 인터랙티브한 음향 체험을 할 수 있는 인터페이스에 대해 제안한다. 제안하는 인터페이스는 가상 콘서트홀을 기반으로 좌석 위치별 음향 체험 시스템과 악기 제어 및 음향 체험 시스템으로 구성된다. 제안하는 인터페이스의 각 시스템을 구현하기 위해 인공 잔향 알고리즘과 멀티채널 음원 분리, 머리전달함수를 적용하였다. 제안하는 인터페이스는 유니티(Unity)를 사용하여 구현되었으며 사용자는 가상현실기기인 오큘러스 리프트(Oculus Rift)를 통해 가상 콘서트홀을 체험할 수 있고 립 모션(Leap Motion)을 통해 별도의 입력 도구 없이 손동작만으로 시스템을 제어할 수 있으며 헤드폰을 통해 시스템이 제공하는 음향을 체험할 수 있다.

키워드

인터페이스

가상현실

음원 분리

인공 잔향

머리전달함수

References

P. Rainer, S. Tjoa, and P. Tavolato, “Advanced file carving approaches for multimedia files,” JoWUA 2, 42-58, (2011).

G. Alex, A. Mohamed, and G. E. Hinton, “Speech recognition with deep recurrent neural networks,” ICASSP, 6645-6649, (2013).

H. Sepp and J. Schmidhuber, “Long short-term memory,” Neural computation. 9, 1735-1780, (1997).

Theano: new features and speed improvements, https://arxiv.org/abs/1211.5590, 2012.

J. Bergstra, O. Breuleux, F. Bastien, P. Lamblin, R. Pascanu, G. Desjardins, J. Turian, D. Warde-Farley, and Y. Bengio, “Theano: a cpu and gpu math expression compiler,” in Proc. Python for Scientific Computing Conference, 3-10, (2010).

V. Nair and G. E. Hinton, “Rectified linear units improve restricted boltzmann machines,” ICML, 807-814, (2010).

Information

Publisher :The Acoustical Society of Korea
Publisher(Ko) :한국음향학회
Journal Title :The Journal of the Acoustical Society of Korea
Journal Title(Ko) :한국음향학회지
Volume : 36
No :2
Pages :130-135
Received Date : 2016-11-28
Revised Date : 2016-12-22
Accepted Date : 2017-03-29
DOI :https://doi.org/10.7776/ASK.2017.36.2.130

The Journal of the Acoustical Society of KoreaISSN:1225-4428(Print) 2287-3775(Online)한국음향학회

All Issue