Integrated receptive field diversification method for improving speaker verification performance for variable-length utterances

Hyun-seo Shin; Ju-ho Kim; Jungwoo Heo; Hye-jin Shim; Ha-Jin Yu

doi:10.7776/ASK.2022.41.3.319

All Issue

2022 Vol.41, Issue 3 Preview Page Next Page

Research Article

Integrated receptive field diversification method for improving speaker verification performance for variable-length utterances 가변 길이 입력 발성에서의 화자 인증 성능 향상을 위한 통합된 수용 영역 다양화 기법

31 May 2022. pp. 319-325

PDF XML

Abstract

The variation of utterance lengths is a representative factor that can degrade the performance of speaker verification systems. To handle this issue, previous studies had attempted to extract speaker features from various branches or to use convolution layers with different receptive fields. Combining the advantages of the previous two approaches for variable-length input, this paper proposes integrated receptive field diversification that extracts speaker features through more diverse receptive field. The proposed method processes the input features by convolutional layers with different receptive fields at multiple time-axis branches, and extracts speaker embedding by dynamically aggregating the processed features according to the lengths of input utterances. The deep neural networks in this study were trained on the VoxCeleb2 dataset and tested on the VoxCeleb1 evaluation dataset that divided into 1 s, 2 s, 5 s, and full-length. Experimental results demonstrated that the proposed method reduces the equal error rate by 19.7 % compared to the baseline.

Keywords

Speaker verification

Variable-length utterance

Deep neural network

Receptive field

화자 인증 시스템에서 입력 발성 길이의 변화는 성능을 하락시킬 수 있는 대표적인 요인이다. 이러한 문제점을 개선하기 위해, 몇몇 연구에서는 시스템 내부의 특징 가공 과정을 여러가지 서로 다른 경로에서 수행하거나 서로 다른 수용 영역(Receptive Field)을 가진 합성곱 계층을 활용하여 다양한 화자 특징을 추출하였다. 이러한 연구에 착안하여, 본 연구에서는 가변 길이 입력 발성을 처리하기 위해 보다 다양한 수용 영역에서 화자 정보를 추출하고 이를 선택적으로 통합하는 통합된 수용 영역 다양화 기법을 제안한다. 제안한 통합 기법은 입력된 특징을 여러가지 서로 다른 경로에서 다른 수용 영역을 가진 합성곱 계층으로 가공하며, 가공된 특징을 입력 발성의 길이에 따라 동적으로 통합하여 화자 특징을 추출한다. 본 연구의 심층신경망은 VoxCeleb2 데이터세트로 학습되었으며, 가변 길이 입력 발성에 대한 성능을 확인하기 위해 VoxCeleb1 평가 데이터 세트를 1 s, 2 s, 5 s 길이로 자른 발성과 전체 길이 발성에 대해 각각 평가를 수행하였다. 실험 결과, 통합된 수용 영역 다양화 기법이 베이스라인 대비 동일 오류율을 평균적으로 19.7 % 감소시켜, 제안한 기법이 가변 길이 입력 발성에 의한 성능 저하를 개선할 수 있음을 확인하였다.

키워드

화자 인증

가변 길이 발성

심층신경망

수용 영역

References

E. Variani, X. Lei, E. McDermott, I. L. Moreno, and J. G. Dominguez, "Deep neural networks for small footprint text-dependent speaker verification," Proc. IEEE ICASSP, 4052-4056 (2014). 10.1109/ICASSP.2014.6854363

D. Snyder, D. G. Romero, G. Sell, D. Povey, and S. Khudanpur, "X-vectors: Robust dnn embeddings for speaker recognition," Proc. IEEE ICASSP, 5329-5333 (2018). 10.1109/ICASSP.2018.8461375

C. Zhang and K. Koishida, "End-to-end textindependent speaker verification with triplet loss on short utterances," Proc. Interspeech, 1487-1491 (2017). 10.21437/Interspeech.2017-1608

J. H. Kim, H. J. Shim, J. W. Heo, and H. J. Yu, "RawNeXt: Speaker verification system for variable- duration utterances with deep layer aggregation and extended dynamic scaling policies," Proc. IEEE ICASSP, 7647-7651 (2022). 10.1109/ICASSP43922.2022.9747594

J. S. Chung, A. Nagrani, and A. Zisserman, "Voxceleb2: Deep speaker recognition," Proc. Interspeech, 1086- 1090 (2018). 10.21437/Interspeech.2018-1929PMC6639222

S. Xie, R. Girshick, P. Dollar, Z. Tu, and K. He, "Aggregated residual transfomations for deep neural networks," Proc. CVPR, 1492-1500 (2017). 10.1109/CVPR.2017.634

A. Nagrani, J. S. Chung, and A. Zisserman, "Voxceleb: a large-scale speaker identification dataset," Proc. Interspeech, 2616-2620 (2017). 10.21437/Interspeech.2017-950

Y. Wu, J. Zhao, C. Guo, and J. Xu, "Improving Deep CNN Architectures with Variable-Length Training Samples for Text-Independent Speaker Verification," Proc. Interspeech, 81-85 (2021). 10.21437/Interspeech.2021-559

I. Loshchilov and F. Hutter, "SGDR: Stochastic gradient descent with warm restarts," Proc. ICLR, (2017).

S. J. Reddi, S. Kale, and S. Kumar, "On the convergence of adam and beyond," Proc. ICLR, (2018).

Information

Publisher :The Acoustical Society of Korea
Publisher(Ko) :한국음향학회
Journal Title :The Journal of the Acoustical Society of Korea
Journal Title(Ko) :한국음향학회지
Volume : 41
No :3
Pages :319-325
Received Date : 2022-03-16
Accepted Date : 2022-05-04
DOI :https://doi.org/10.7776/ASK.2022.41.3.319

The Journal of the Acoustical Society of Korea ISSN:1225-4428(Print) 2287-3775(Online) 한국음향학회지

All Issue