Conformer with lexicon transducer for Korean end-to-end speech recognition

Hyunsoo Son; Hosung Park; Gyujin Kim; Eunsoo Cho; Ji-Hwan Kim

doi:10.7776/ASK.2021.40.5.530

All Issue

2021 Vol.40, Issue 5 Preview Page

Research Article

Conformer with lexicon transducer for Korean end-to-end speech recognition Lexicon transducer를 적용한 conformer 기반 한국어 end-to-end 음성인식

30 September 2021. pp. 530-536

PDF XML

Abstract

Recently, due to the development of deep learning, end-to-end speech recognition, which directly maps graphemes to speech signals, shows good performance. Especially, among the end-to-end models, conformer shows the best performance. However end-to-end models only focuses on the probability of which grapheme will appear at the time. The decoding process uses a greedy search or beam search. This decoding method is easily affected by the final probability output by the model. In addition, the end-to-end models cannot use external pronunciation and language information due to structual problem. Therefore, in this paper conformer with lexicon transducer is proposed. We compare phoneme-based model with lexicon transducer and grapheme-based model with beam search. Test set is consist of words that do not appear in training data. The grapheme-based conformer with beam search shows 3.8 % of CER. The phoneme-based conformer with lexicon transducer shows 3.4 % of CER.

Keywords

Speech recognition

Transformer

Weighted finite state transducer

End-to-end

최근 들어 딥러닝의 발달로 인해 Hidden Markov Model(HMM)을 사용하지 않고 음성 신화와 단어를 직접 매핑하여 학습하는 end-to-end 음성인식 방법이 각광을 받고 있으며 그 중에서도 conformer가 가장 좋은 성능을 보이고 있다. 하지만 end-to-end 음성인식 방법은 현재 시점에서 어떤 자소 또는 단어가 나타날지에 대한 확률에 대해서만 초점을 두고 있다. 그 이후의 디코딩 과정은 현재 시점에서 가장 높은 확률을 가지는 자소를 출력하거나 빔 탐색을 사용하며 이러한 방식은 모델이 출력하는 확률 분포에 따라 최종 결과에 큰 영향을 받게 된다. 또한 end-to-end 음성인식 방식은 전통적인 음성인식 방법과 비교 했을 때 구조적인 문제로 인해 외부 발음열 정보와 언어 모델의 정보를 사용하지 못한다. 따라서 학습 자료에 없는 발음열 변환 규칙에 대한 대응이 쉽지 않다. 따라서 본 논문에서는 발음열 정보를 담고 있는 Lexicon transducer(L transducer)를 이용한 conformer의 디코딩 방법을 제안한다. 한국어 데이터 셋 270 h에 대해 자소 기반 conformer의 빔 탐색 결과와 음소 기반 conformer에 L transducer를 적용한 결과를 비교 평가하였다. 학습자료에 등장하지 않는 단어가 포함된 테스트 셋에 대해 자소 기반 conformer는 3.8 %의 음절 오류율을 보였으며 음소 기반 conformer는 3.4 %의 음절 오류율을 보였다.

키워드

음성인식

트랜스포머

Weighted finite state transducer

End-to-end

References

A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, N. Gomez, L. Kaiser, and I. Polosukhin, "Attention is all you need," Proc. NIPS. 1-11 (2017).

A. Gulati, J. Qin, C. Chiu, N. Parmar, Y. Zhang, J. Yu, W. Han, S. Wang, Z. Zhang, Y. Wu, and R. Pang, "Conformer: Convolution-augmented transformer for speech recognition," Proc. Interspeech, 25-29 (2020). 10.21437/Interspeech.2020-3015

M. Mohri, F. Pereira, and M. Riley, "Weighted finite- state transducer in speech recognition," Computer Speech & Language, 16, 69-88 (2002). 10.1006/csla.2001.0184

A. Graves, S. Fernandez, F. Gomez, and J. Schmidhuber, "Connectionist temporal classification: Labeling unsegmented sequence data with recurrent neural networks," Proc. ICML. 369-376 (2006). 10.1145/1143844.1143891

A. Graves, "Sequence transduction with neural networks," Proc. ICML. 1-9 (2012). 10.1007/978-3-642-24797-2_3

H. Park, S. Seo, M. Lim, D. Lee, Y. Kang, J. Oh, and J.-H. Kim, "Implementation of Korean grapheme-to- phoneme rules with morpheme analysis," Proc. EECS. (2018).

Information

Publisher :The Acoustical Society of Korea
Publisher(Ko) :한국음향학회
Journal Title :The Journal of the Acoustical Society of Korea
Journal Title(Ko) :한국음향학회지
Volume : 40
No :5
Pages :530-536
Received Date : 2021-08-10
Accepted Date : 2021-09-07
DOI :https://doi.org/10.7776/ASK.2021.40.5.530

The Journal of the Acoustical Society of Korea ISSN:1225-4428(Print) 2287-3775(Online) 한국음향학회지

All Issue