Nonlinear audio effects modeling using multi subband temporal convolutional networks

Sanghoo Shin; Kyu-Chil Park

doi:10.7776/ASK.2025.44.3.294

All Issue

2025 Vol.44, Issue 3 Preview Page

Research Article

Nonlinear audio effects modeling using multi subband temporal convolutional networks 다중 서브밴드 시계열 합성곱 네트워크를 이용한 비선형 오디오 이펙트 모델링

31 May 2025. pp. 294-302

PDF XML

Abstract

Artificial neural networks are being actively applied for digital modeling of non linear audio effects such as other amplifiers or distortion pedals. However, it is difficult to accurately reproduce high band harmonic and low band resonance as most of them model the entire frequency range in a single band manner. This study proposes a Temporary Convolutional Network based (TCN based) model subband TCN (sTCN) that learns nonlinear behavior in each band after dividing a signal into multi subbands. Through this, we intend to elaborately replicate the distortion characteristics that appear differently in high and low bands, respectively. The proposed model learns nonlinear characteristics by dividing the input audio into 32 subbands from a single band, and placing appropriate TCN blocks for each band. For learning, a pair of datasets that match actual other signals with clean and distortion outputs were used, and frequency and time domain distortions were optimized together by mixing waveform based L1 loss and Short Time Fourier Transform (STFT) loss. As a result of the experiment, when the subband band was divided into 16 bands, the Root Mean Square Error (RMSE) decreased by about 60 % Mean Absolute Error (MAE) and STFT error compared to a single band by about 45 %, confirming that the digital modeling performance of nonlinear audio effects was improved.

Keywords

Temporal Convolutional Networks (TCN)

Nonlinear audio effects

Multi subband

Deep learning

기타 앰프 혹은 디스토션 페달과 같은 비선형 오디오 이펙트의 디지털 모델링을 위해 인공 신경망이 활발히 적용되고 있다. 그러나 대부분 단일 대역 방식으로 전체 주파수 범위를 모델링함에 따라 고역 하모닉 및 저역 공진을 정교하게 재현하기 힘들다. 본 연구는 멀티 서브밴드로 신호를 분할한 후, 각 대역에서 비선형 동작을 학습하는 시계열 합성곱 네트워크(Temporal Convolutional Network, TCN) 기반 모델 서브밴드 TCN(sTCN)을 제안한다. 이를 통해 고역과 저역에서 상이하게 나타나는 왜곡 특성을 각각 정교하게 복제하고자 한다. 제안 모델은 입력 오디오를 단일 밴드부터 32개의 서브밴드로 분할하고, 각 밴드별로 적합한 TCN 블록을 배치하여 비선형 특성을 학습한다. 학습에는 실제 기타 신호를 클린과 디스토션 출력으로 매칭한 페어 데이터셋을 사용하며, 파형 기반 L1 손실과 단시간 푸리에 변환(Short Time Fourier Transform, STFT) 손실을 혼합하여 주파수 및 시간 영역 왜곡을 함께 최적화했다. 실험 결과, 서브밴드 대역을 16밴드로 분할했을 때 단일 밴드 대비 평균 제곱근 오차(Root Mean Square Error, RMSE)가 약 60 % 평균 절대 오차(Mean Absolute Error, MAE)와 STFT error가 약 45 % 감소하는 성능향상을 보여 비선형 오디오 이펙트의 디지털 모델링 성능이 향상되었음을 확인했다.

키워드

시계열 합성곱 네트워크

비선형 오디오 이펙트

다중 서브밴드

딥러닝

References

U. Zölzer, X. Amatriain, D. Arfib, J. Bonada, G. De Poli, P.Dutilleux, G.Evangelista, F.Keiler, A. Loscos, D.Rocchesso, M.Sandler, X.Serra, and T.Todoroff, DAFX-Digital Audio Effects (John Wiley & Sons, Chichester, 2002), pp. 93-136.

M. A. M. Ramírez, E. Benetos, and J. D. Reiss, "Deep learning for black-box modeling of audio effects," Appl. Sci. 10, 638 (2020).

10.3390/app10020638

A. van den Oord, S. Dieleman, H. Zen, K. Simonyan, O. Vinyals, A. Graves, N. Kalchbrenner, A. Senior, and K. Kavukcuoglu, "Wavenet: A generative model for raw audio," arXiv preprint arXiv:1609.03499 (2016).

A. Wright, E.-P. Damskägg, L. Juvela, and V. Välimäki, "Real-time guitar amplifier emulation with deep learning," Appl. Sci. 10, 766 (2020).

10.3390/app10030766

J. Engel, L. Hantrakul, C. Gu, and A. Roberts, "DDSP: Differentiable digital signal processing," arXiv preprint arXiv:2001.04643 (2020).

S. Bai, J. Z. Kolter, and V. Koltun, "An empirical evaluation of generic convolutional and recurrent networks for sequence modeling," arXiv preprint arXiv:1803.01271 (2018).

Y.-H. Chen, W.-Y. Hsiao, T.-K. Hsieh, J.-S. R. Jang, and Y.-H. Yang, "Towards automatic transcription of polyphonic electric guitar music: A new dataset and a multi-loss transformer model," Proc. IEEE ICASSP, 786-790 (2022).

10.1109/ICASSP43922.2022.9747697

A. Carson, V. Välimäki, A. Wright, and S. Bilbao, "Resampling filter design for multirate neural audio effect processing," arXiv preprint arXiv:2501.18470 (2025).

10.1109/TASLPRO.2025.3574878

S. A. K. Basha, P. M. D. R. Vincent, S. I. Mohammad, A. Vasudevan, E. E. H. Soon, Q. Shambour, and M. T. Alshurideh, "Exploring deep learning methods for audio speech emotion detection: An ensemble MFCCs, CNNs and LSTM," Appl. Math. Inf. Sci. 19, 75-85 (2025).

10.18576/amis/190107

N. Takahashi, M. K. Singh, and Y. Mitsufuji, "Robust one-shot singing voice conversion," arXiv preprint arXiv:2210.11096 (2022).

Information

Publisher :The Acoustical Society of Korea
Publisher(Ko) :한국음향학회
Journal Title :The Journal of the Acoustical Society of Korea
Journal Title(Ko) :한국음향학회지
Volume : 44
No :3
Pages :294-302
Received Date : 2025-03-19
Revised Date : 2025-04-14
Accepted Date : 2025-04-16
DOI :https://doi.org/10.7776/ASK.2025.44.3.294

The Journal of the Acoustical Society of KoreaISSN:1225-4428(Print) 2287-3775(Online)한국음향학회

All Issue