I. 서 론
II. 반사음 표현 알고리즘
2.1 청각 스펙트로그램
2.2 Cortical Analysis(CA) with Gabor
2.3 BioNet과 BioNetV2
III. 실 험
3.1 데이터베이스
3.2 평가지표
3.3 실험결과
IV. 결 론
I. 서 론
소나(Sound Navigation and Ranging, SONAR)는 음향신호(call sound)를 활용하여 주변환경을 탐색하고 이해하는 핵심 기술로 가시광선으로 정보를 얻기 힘든 환경에서 통신, 내비게이션, 무인자동차, 로봇 등 다양한 분야에서 활용되고 있다.[1,2,3,4] 능동 소나 시스템은 음향신호를 외부로 방사한 후, 물체에 반사된 반사음이 되돌아오기까지 시간을 측정하여 주변의 물리적 공간을 파악할 수 있다. 하지만 반사체의 외형과 재질, 반사면(Sonar Cross Section, SCS) 특성, 배경잡음 및 클러터 환경 등 여러 요인으로 인해, 반사체를 정확히 식별하는 데 한계가 있다.[5,6,7] 한편, 박쥐는 생체 소나를 활용하여 주변 환경을 인식하고 길을 찾으며, 다른 개체와 충돌을 피하고 먹이를 사냥한다. 박쥐의 뇌는 방사한 음향 신호와 반사음을 분석하여 표적을 식별하고 적절한 행동을 결정한다. 본 연구에서는 잡음 및 클러터 환경에 강인한 표적 식별을 위해, 박쥐의 청각인지를 모방한 생체모방모델을 탐구하고 효과적인 표적 식별 방법을 제안한다.
Fig. 1은 박쥐의 청각인지를 모방한 인공신경망 개발에 대한 연구 개요를 보여준다. Andoni et al.[8]은 박쥐의 중뇌(Inferior Colliculus, IC)에서 관찰되는 청각인지 특성이 동일 종의 박쥐가 사용하는 음파(bat’s vocalization)의 통계적 특성과 유사함을 보였다. 한편, 데이터 기반의 기계학습 방법을 활용하면 학습데이터의 통계적 모델을 구축할 수 있다. 이러한 사실로부터, 박쥐가 사용하는 음파를 학습데이터로 활용하면, 이들의 통계적 모델을 구축할 수 있다. Park et al.[9]은 중뇌의 생체 뉴런(biological neuron)과 기계학습으로 학습된 인공 뉴런(artificial neuron)의 청각 특성이 통계적으로 유사함을 확인하고, 생체 뉴런의 반응특성을 인공 뉴런으로 재현함으로써, 박쥐의 청각인지를 모방한 생체모방모델(BioNet)을 제안했다.
BioNet은 청각 자극을 압축하여 기억하고 재생하는 뇌의 활동을 모방하기 위해, 오토인코더(autoencoder) 기반의 인공신경망 학습을 통해 구축된다. 먼저, 박쥐의 음향 탐지와 의사소통에 사용되는 음성 데이터를 수집하고, 포유동물의 청각 기관에서 관찰되는 반응특성을 모방한 청각 스펙트로그램(auditory spectrogram, AudSpec)으로 변환한다. 이를 활용하여 오토인코더를 학습하면, 인코더의 출력값(인공 뉴런)은 박쥐의 IC뉴런과 유사한 청각 특성을 나타낸다.[9] 이를 기반으로 BioNet을 활용한 표적 식별은 기존 신호 처리 방법과 비교하여 높은 분별력을 보여준다.[10] 하지만, 기존 BioNet 모델은 낮은 시간 해상도와 제한된 학습 데이터로 인해 성능 개선에 한계가 있다.
본 논문에서는 고해상도의 시간 해상도를 갖는 다양한 학습 데이터를 활용하여 학습된 BioNetV2를 제안한다. 실험에서는 표적 식별을 위한 반사음의 분별력을 평가하기 위해, 실험실 환경에서 6가지 사물(sphere, cube, cylinder, mono-pole, dipole1, dipole3)에 대한 반사음을 직접 녹음하여 데이터를 수집한다. Fisher distance에 기반한 분별력 평가에서 제안하는 BioNetV2는 기존 방법과 비교하여 환경 잡음에 강인하고, 클러터 효과를 재현함을 보여준다.
이후 본 논문의 구성은 다음과 같다. II장에서는 제안하는 방법을 포함하여 반사음 표현 방법을 설명하고, III장에서는 표적 식별 성능평가에 관한 실험을 소개하고 결과를 분석한다. 마지막으로 IV장에서 결론과 향후 연구를 서술한다.
II. 반사음 표현 알고리즘
2.1 청각 스펙트로그램
청각 스펙트로그램은 포유동물의 청각 기관을 모방하여 개발된 시간-주파수 표현 방법이다.[11] 먼저, 1차원 시계열 데이터는 128-채널 Constant-Q 밴드패스 필터를 적용하여 시간-주파수 영역으로 변환된다. 이후, 각 주파수 대역에서 비선형 변환과 부분적인 위상 결속(phase-locking) 특성을 모방하기 위해 시그모이드 함수와 1차 Infinite Impulse Response(IIR) 저대역통과 필터를 적용한다. 이어서, 주파수 첨예화(frequency sharpening)와 반파 정류(half-wave rectification)를 수행한다. 마지막으로 사전에 정의된 프레임 속도(frame rate)에 따라 시계열 정보를 융합하면 청각 스펙트로그램이 완성된다. BioNet을 포함한 기존 연구에서는 프레임 속도를 0.2 ms로 정의하여 반사음을 표현하는 데 약 10개의 프레임이 사용된다. 구현에는 NSL toolbox를 활용하며,[12] Table 1은 각 방법에서 청각 스펙트로그램을 변환하는 데 적용된 주요 변수를 보여준다. 분별력 평가에서는 청각 스펙트로그램을 주파수 영역에서 모든 프레임을 연결하여 128 × T 차원 벡터로 표현된다. 이때 T는 프레임 수를 의미한다.
Table 1.
| AudSpec | CA_Gabor | BioNet | BioNetV2 | |
| frmleng [ms] | 0.2 | 0.1 | ||
| tc [ms] | 0.1 | 0.3 | ||
| fac | 0.1 (sigmoid) | -2 (lienar) | ||
| *fs | 300 kHz | 250 kHz | ||
| **shft | log2 (300/16) | log2 (250/16) | ||
2.2 Cortical Analysis(CA) with Gabor
CA는 시스템적 관점에서 뇌의 반응을 자극과 전달함수의 합성곱으로 근사하며, Eq. (1)과 같이 표현된다.[13]
이때, , , 𝛺, 𝜔는 각각 시간, 주파수, 주파수 변조(spectral modulation), 시간 변조(temporal modulation) 영역을 의미한다. 는 청각 스펙트로그램 (f, t)으로 표현된 청각 자극에 대한 뇌의 반응을 나타낸다. 𝛤는 자극으로부터 반응을 유도하는 전달함수를 의미한다. 청각 자극에 대한 뇌의 반응을 효과적으로 재현하기 위해, Eq. (2)와 같이 2차원 가보어(Gabor) 필터가 주로 사용된다.
이때, , 는 시간-주파수 영역에서 각각 주파수, 시간 영역의 bin 수를 의미한다. 와 는 각각 주파수 영역과 시간 영역에서 평균과 분산을 의미한다. 2차원 가보어 필터는 주파수와 시간 변조 특성을 의미하는 변수 𝛺, 𝜔로 설계된다. 본 연구에서 주파수 변조 영역은 0 cyc/oct ~ 3 cyc/oct에서 0.3 cyc/oct 간격으로 정의되고, 시간 변조 영역은 –384 cyc/s ~ 384 cyc/s에서 16 cyc/s 간격으로 정의된다.
Eq. (1)에서 청각 자극에 대한 뇌의 반응은 3차원 텐서로 표현된다. 분별력 평가에서 CA 특징은 텐서 특이점 분해(Tensor Singular Value Decomposition, TSVD)를 수행하여 3,300차원 벡터로 정의된다.
2.3 BioNet과 BioNetV2
BioNet은 박쥐의 IC뉴런의 반응을 모방하는 비선형 모델로, 반사음을 효과적으로 표현하는 데 활용될 수 있다.[9,10] Fig. 2는 BioNet과 BioNetV2의 학습을 위한 오토인코더 구조를 보여준다. 두 모델은 각각 3개의 합성곱 블록으로 구성되며, 각 블록은 합성곱, 비선형활성 함수(leakyReLU), 최댓값 풀링으로 구성된다. 합성곱 블록 이후, 완전 연결층(fully connected layer)에서 기존 BioNet 모델은 100차원 벡터를 출력하는 반면, 제안하는 BioNetV2 모델은 1,000차원 벡터를 출력한다. 또한, 기존 모델에서는 인코더의 출력을 사전확률로 설정하여 이진 샘플링을 수행한 후, 디코더로 입력되는 반면, BioNetV2 모델에서는 이진 샘플링을 수행하지 않고 디코더로 직접 입력된다. 디코더는 채널 분리(channel separation)와 전치 합성곱(transposed convolution)으로 구성되며, 두 모델이 동일한 구조를 갖는다. BioNet과 BioNetV2를 구축하기 위한 목표 함수는 각각 Eq. (3)으로 정의된다.
이때, 은 n-번째 학습데이터 샘플을 나타내고, E(.)와 D(.)는 각각 인코더와 디코더 함수를 의미한다. Ei(.)는 인코더의 출력값 중 i-번째 요소를 의미한다. 𝜎(.)는 시그모이드 함수를 나타내고, 𝜆는 규제 항(regularization term)의 가중치를 의미한다. 규제 항에서 𝜌는 단일 자극에 반응하는 평균 노드 수를 나타내고, 는 p를 사전확률로 하는 이진 샘플링 함수를 의미한다. 자극의 종류에 따라 선택적으로 반응하는 생체 뉴런의 특성[9,14]을 모방하기 위해, 𝜌는 전체 인공 뉴런 수의 10 %로 설정된다.
Table 2는 오토인코더 학습에 사용된 2가지 데이터셋을 보여준다. Cage set은 약 100마리의 박쥐가 생활하는 사육장에서 녹음된 데이터로 구성되어, 음향 탐지를 위한 소리보다 개체 간 의사소통을 위한 소리가 많이 포함된다.[9] Flying set은 1마리 ~ 2마리의 박쥐가 자유롭게 비행하며 먹이를 사냥하는 동안 녹음된 데이터로 구성되어, 음향 탐지를 위한 소리가 다수 포함된다. 기존 BioNet 모델은 Cage set에 기반하여 구축되어, 표적 식별에 관한 응용 기술에서 한계가 있을 수 있다. 본 연구에서는 이러한 한계를 극복하기 위해, Flying set에 포함된 음향 데이터를 모델 학습에 활용한다. 제안하는 BioNetV2 모델을 학습하기 위해, 각 음향 데이터는 250 kHz로 재샘플링하고 고해상도 시간 분해능을 갖는 청각 스펙트로그램으로 변환된다(Table 1). 이를 활용하여 Fig. 2(b)의 오토인코더를 Eq. (3)의 목적함수에 기반하여 학습한다. 모델 학습에서 전체 데이터의 90 %를 오토인코더 학습에 사용하였고, 나머지 10 % 데이터를 검증데이터로 활용하여 500 epoch 중 목표함수가 최소인 모델로 학습이 완료되며, 이때 인코더를 취함으로써, BioNetV2가 구축된다. Table 3은 기존 모델과 제안하는 모델의 차이를 보여주며, 이외 변수는 기존 모델과 동일하게 적용한다.[10]
Table 2.
Database of bat’s vocalization.
| Cage DB | Flying DB | |
| Scenario | Staying in bat’s house | Flying to hunt prey |
| Total # of bats | ~ 100* | 5 |
| # of audio clips | 21,518 | 2,884 |
| Total time [s] | about 688 | about 92 |
| Samping rate [kHz] | 333 | 250 |
Table 3.
Configuration and training parameters of biomimetic models.
| BioNet[9] | BioNetV2 | |
| Training set | Cage set | Cage set, flying set |
|
Input dim. [frq × frm × ch] | 128 × 160 × 1 | 128 × 320 × 1 |
| Frame rate | 0.2 ms | 0.1 ms |
| Model size | 2.04 MB | 8.20 MB |
| Output dim. | 100 | 1000 |
| Sampling | Bernoulli | - |
| Learning rate | 0.001 | |
| 𝜌 | 10 | 100 |
| 𝜆 | 0.0001 | 0.001 |
분별력 평가 실험에서 BioNetV2 특징은 모델 출력 중 유의미한 반응을 보이는 100개의 인공 뉴런 값을 활용하여 100차원 벡터로 정의한다. 반면, BioNet 특징은 독립적으로 학습된 10개의 모델에서 각각 유의미한 반응을 보이는 10개의 인공 뉴런 값을 모두 연결하여 최종적으로 100차원 벡터로 정의한다.
III. 실 험
3.1 데이터베이스
능동 소나 기반 표적 식별을 위해, 실험실 환경에서 다양한 사물에 반사된 소리를 녹음하여 실험 데이터를 구축한다. 초음파 마이크와 스피커를 동일한 방향으로 나란히 배치하고, 표적을 마이크, 스피커로부터 50 cm 떨어진 위치에 설치한다. 표적 뒤쪽에 클러터를 배치하여, 클러터 환경을 연출하며, 이때 클러터와 표적 사이 거리는 40 cm, 20 cm, 10 cm로 설정하여 3가지 환경을 고려한다[Fig. 3(a)와 (b)]. 녹음에 사용한 호출음은 큰갈색박쥐의 음향 탐지 소리를 합성하여 스피커를 통해 재생한다. 사용된 호출음의 총 길이는 2 ms이고, 1, 2차 주파수 변조 신호로 구성된다(1st FM sweep: 50 kHz ~ 25 kHz, 2nd FM sweep: 100 kHz ~ 50 kHz).[15]
표적을 정의하기 위해, 6가지 3차원 물체를 고려한다: 정육면체, 원기둥, 구, 단극자(Mono-Pole, MP), 작은 쌍극자(Small-Dipole1, SD), 큰 쌍극자(Large-Dipole, LD). 정육면체, 원기둥, 구에서 한 변의 최대 길이는 3 cm이고, 단극자는 지름이 1 cm인 구를 의미한다. 쌍극자는 2개의 단극자가 연결된 물체로 쌍극자1은 두 단극자의 중심 사이 거리가 1 cm이고, 쌍극자2는 3 cm이다[Fig. 3(c)]. 반사면은 각각 0°, 45°, 90°로 3가지 경우를 고려한다. 이때, 0°는 정육면체와 원기둥의 한쪽 평면으로 정의하고 쌍극자의 경우, 2개의 단극자가 중첩 없이 보이는 방향으로 정의된다. 표적 식별에서 식별대상은 6가지 물체에서 상이한 반사면을 고려하여 총 13종류로 정의한다. 구와 단극자의 경우, 0°인 경우로 1가지 경우만 고려되며, 정육면체의 경우, 0°와 45°인 경우만 고려한다.
데이터 수집은 정의된 13가지 클래스에 대해, 각각의 클러터 환경에서 10번씩 녹음하여 수행된다[예시, Fig. 3(d)]. 잡음환경은 녹음으로 수집한 음향 데이터에 가우시안 분포의 백색 잡음을 신호 대 잡음비(Signal to Noise Ratio, SNR)별로 합성하여 구축한다.
3.2 평가지표
반사음 표현 방법의 분별력을 측정하기 위해, Eq. (4)와 같이 정의된 Fisher distance(f-dist)를 사용한다.
이때, 는 i-번째 클래스의 공분산 행렬을 의미하고, 는 두 클래스(i, j)에 대한 교차 공분산 행렬을 의미한다. 13개 클래스 중 두 클래스를 선택하는 모든 조합의 경우(총 78가지)에서 f-dist를 계산한 후 이들의 평균으로 분별력을 수치화한다.
분별력 평가는 부트스트랩에 기반하여 수행한다. 1회 시행에서 전체 데이터의 80 %를 무작위로 선정하여 분별력을 측정한다. 이 과정을 10회 반복하고, 이들의 평균과 분산을 측정한다.
3.3 실험결과
Fig. 4는 환경 잡음(백색 소음)과 클러터 환경에서 측정된 각 방법의 평균 f-dist를 보여준다. 예상대로, 배경잡음이 증가할수록 분별력이 감소하는 경향을 확인할 수 있다[Fig. 4(a)]. BioNet 모델은 AudSpec 및 CA_Gabor와 비교하여 상대적으로 높은 분별력을 보이지만, 잡음이 증가할수록 급격한 성능 저하를 보여준다. 특히, SNR이 –10 dB인 경우, 기존 방법들과 비교해도 분별력이 크게 감소하는 것을 확인할 수 있다. 반면, BioNetV2 모델은 clean 환경에서 BioNet 모델과 유사한 분별력을 보여주면서, 잡음환경에서도 강인한 성능을 보여준다. SNR이 –10 dB인 상황에서, BioNet 모델은 f-dist가 clean 환경과 비교하여 13.51 dB 하락한 반면, BioNetV2 모델은 7.56 dB 감소한다. 이는 실험에서 고려된 방법 중 가장 적은 차이이다.
Fig. 4(b)는 클러터 환경에 따른 분별력을 보여준다. 클러터가 표적과 40 cm 거리를 두고 배치된 경우, BioNet 모델을 제외한 모든 방법에서 분별력이 향상되는 경향을 확인할 수 있다. 반면, 클러터가 가까워질수록(20 cm, 10 cm) 대부분 분별력이 감소하는 현상을 확인할 수 있다. 이론적으로 클러터로부터 반사된 반사음(clutter echo)은 표적을 거쳐 마이크로 입력되며, 여기에 표적의 반대편에 대한 객체 정보를 포함할 수 있어, 표적 식별에 도움이 될 수 있다. 하지만, 클러터가 표적과 가까워지면 표적과 클러터의 반사음이 서로 중첩되면서 왜곡이 발생하여 분별력이 감소할 수 있다. 이 같은 경향은 AudSpec과 BioNetV2 모델 결과에서 확인할 수 있다. 반면, BioNet 모델은 40 cm 클러터 환경에서 분별력이 감소했으며, CA_Gabor는 오히려 클러터가 가까워질수록 성능이 향상되는 결과를 보여준다. 이는 CA_ Gabor에 적용된 차원 축소 기법의 효과로 생각된다. CA_Gabor는 클러터가 존재하는 상황에서 차원 축소를 위해, 클러터가 없는 상황에서 학습한 부분공간을 적용하여 차원 축소를 수행한다. 이때, 표적 반사음과 클러터 반사음이 중첩되어 발생한 왜곡이 완화된 것으로 보인다.
Fig. 5는 클러터가 없는 0 dB 잡음환경 또는 잡음이 없는 40 cm 클러터 환경에서, BioNet과 BioNetV2의 특징 벡터 분포도를 보여준다. 0 dB 잡음환경에서 BioNet은 정육면체(45°)와 단극자, 두 종류의 쌍극자에서 동일한 클래스의 반사음임에도 불구하고 여러 소규모 군집이 구성된 것을 확인할 수 있다. 반면, BioNetV2는 동일한 클래스에서 단일 군집을 보여준다[Fig. 5(a)]. 같은 클래스 안에서 특징 벡터의 낮은 분산은 높은 f-dist를 기대할 수 있다는 점에서 Fig. 4(a)의 분별력 평가 결과와 동일한 경향임을 확인할 수 있다. 한편, 40 cm 클러터 환경에서 BioNet은 큰 쌍극자(0°)와 작은 쌍극자(90°), 직육면체(45°) 사이에 혼합된 군집을 보여주는 반면, BioNetV2는 이들에 대해 각각의 군집을 보여준다[Fig. 5(b)]. 서로 다른 클래스의 특징 벡터가 분리된 분포는 높은 f-dist를 기대할 수 있다는 점에서 Fig. 4(b)의 분별력 평가 결과와 동일한 경향임을 확인할 수 있다. 위 예시로부터, BioNetV2는 같은 클래스의 특징 벡터는 모으고, 서로 다른 클래스의 특징 벡터를 분리하는 데 기존 BioNet보다 효과적임을 확인할 수 있다.
IV. 결 론
본 연구는 생체 소나를 사용하는 박쥐의 청각 인지에서 영감을 받아, 반사음 표현을 위한 새로운 모델 BioNetV2를 제안한다. 1차원 반사음 신호는 청각 기관의 특성을 모방한 청각 스펙트로그램으로 변환되어, 박쥐의 청각 인지를 모방한 인공신경망을 통해 특징 공간으로 맵핑된다. 제안하는 모델의 반사음 표현력을 평가하기 위해, 기존 모델(BioNet)을 포함하여 청각 스펙트로그램, 가보어 필터 기반 CA가 비교대상으로 함께 고려된다. 표적 식별을 위해, 실험실 환경에서 6가지 물체와 3가지 반사면을 고려하여 직접 반사음 데이터을 수집한다. 수집한 데이터를 활용하여, 잡음환경과 클러터 환경을 정의하고, f-dist에 기반하여 총 13가지 클래스에 대한 분별력을 측정한다. 실험 결과는 잡음 및 클러터 환경에서 제안하는 모델이 가장 우수한 분별력을 보여준다. 향후 연구에서는 다양한 반사면에서 연속적으로 관측된 반사음을 통합하여, 3D 객체 인식으로 확장하는 연구를 수행할 계획이다.
