I. 서 론
II. 관련 연구
2.1 합성곱 순환 신경망
2.2 의사 레이블링 기법
III. 제안하는 알고리즘
3.1 모델 구조
3.2 약지도 학습 방법
IV. 실험 내용
4.1 시뮬레이션 데이터
4.2 학습 과정
V. 성능 평가
VI. 결 론
I. 서 론
능동소나 시스템은 표적 탐지 및 식별을 위해 널리 사용되는 기술로, 수동소나 시스템과는 달리 송신단에서 직접 음원을 발생하고 수신단을 통해 표적에서 반사된 음원 신호를 받아들임으로써 표적 신호를 구분한다.[1] 하지만 해양 환경에 산재하고 있는 표적 물체 이외의 다양한 산란체들과, 해저면 및 해수면으로부터 반사되어 들어오는 반향음과 같은 여러 클러터 신호들로 인해 실제 능동소나 시스템의 수신단은 표적 반향음과 더불어 복합적인 반향음을 받아들인다. 이러한 해양 환경의 복잡성은 현재 전적으로 음탐사의 역량에 의존하고 있는 수중 표적 식별의 수행 난이도를 높여 식별의 정확도를 저하시키고 실제 전시 상황에서의 안정적인 표적 식별을 어렵게 한다. 높은 안정성과 효율성을 갖춘 표적 식별의 수행을 위해서는 음탐사를 지원하는 자동 능동소나 표적 식별 알고리즘의 연구가 필수적이다.
기계 학습은 영상 및 음성 신호 처리뿐만 아니라 로봇, 의학 및 여러 산업 분야 걸쳐 표적 식별 분야에서 좋은 성능을 보이고 있다.[2] 소나 시스템을 활용한 표적 식별 연구의 경우에도 기계 학습을 이용한 연구가 이어져 오고 있는데, Williams[3]는 다년간 여러 해양 환경에서 수집한 장면 단위의 다량의 소나 이미지에 합성곱 신경망(Conventional Neural Network, CNN)을 적용하여 딥러닝을 활용한 수중 자동 표적 식별 성능을 확인하였다. Magistris et al.[2]은 능동소나 시스템을 통해 얻은 표적 및 비표적 물체의 스펙트로그램 정보를 합성곱 신경망에 적용하여 능동소나 표적 식별기를 연구하였다. 한편, 합성곱 신경망 외 다양한 네트워크 구조를 활용한 표적 식별 연구도 이루어지고 있다. Liu et al.[4]은 최근 음향 신호처리의 클래스 구분 분야에서 좋은 성능을 보이는 합성곱 순환 신경망(Convolutional Recurrent Neural Network, CRNN)에 수동소나 데이터의 3차원 멜 스펙트로그램을 입력으로 사용한 표적 식별기를 제안하며 합성곱 신경망 모델과 장단기 메모리(Long Short Term Memory, LSTM) 모델, 그리고 합성곱 순환 신경망의 층 깊이에 따른 모델 성능을 비교하였다.
소나 데이터는 데이터의 기밀성 및 보안 특성상 학습을 위한 충분한 데이터를 확보하는 것이 어려우며 현재 대부분의 소나 시스템 표적 식별 연구는 소나 이미지 데이터 혹은 공개된 수동소나 데이터셋으로 이루어지고 있다. 표적의 방사 신호에 의존하는 수동소나 시스템과 비교하여 적극적인 표적 탐지 및 식별 활동이 가능한 능동소나 시스템의 연구가 필수적인 만큼, 능동소나 표적 식별 알고리즘에 대한 개발은 적은 양의 능동소나 데이터를 충분히 활용할 수 있는 기법에 대한 고려가 필요하다. 또한, 표기 데이터와 비교하여 상대적으로 많은 양을 얻을 수 있는 미표기 데이터에 대한 활용 방안도 함께 고려하여 제한된 양의 능동소나 데이터가 최대한 활용되어야 한다.
본 논문에서는 적은 양의 능동소나 표적 식별 표기 데이터를 효과적으로 활용할 수 있는 능동소나 표적 식별 알고리즘으로 의사 레이블링 기법 기반의 약지도 딥러닝 알고리즘을 제안한다. 학습을 위한 특징 인자는 음향 신호처리에 널리 사용되는 단시간 푸리에 변환(Short Time Fourier Transform, STFT) 기법을 통해 추출되었으며, 이를 통해 얻은 스펙트로그램은 정규화 과정 및 데이터 증강 과정을 거쳐 모델의 입력 데이터로 사용되었다. 본 논문은 위 과정을 거친 입력 데이터를 대상으로 합성곱 순환 신경망을 적용하여 표적 식별 실험을 실행하고 그 결과를 분석하였으며, 합성곱 순환 신경망이 능동소나 표적 식별에 유의미한 성능을 보이는 것을 확인했다. 또한 의사 레이블링 기법을 적용한 합성곱 순환 신경망이 적은 양의 불균형 표기 데이터에 대한 합성곱 순환 신경망 기반의 표적 식별 알고리즘 성능 개선에 도움을 주는 것을 확인하였다.
본 논문의 구성은 다음과 같다. I장의 서론에 이어 II장에서 논문에서 사용한 기법과 관련 연구들을 소개한다. III장에서는 본 논문이 제안하는 능동소나 표적 식별 약지도 딥러닝 알고리즘과 더불어 여러 기법들을 알고리즘에 적용한 방식들을 소개한다. IV장에서는 학습에 사용한 시뮬레이션 데이터에 대한 설명과 학습 및 테스트 과정 전반에 대해 설명하였으며, V장에서는 알고리즘 성능을 평가한 방법과 평가 결과에 대해 분석하고 VI장에서 본 연구의 의의와 향후 연구 방향을 제시하며 결론을 맺는다.
II. 관련 연구
2.1 합성곱 순환 신경망
합성곱 순환 신경망은 심층 신경망(Deep Convolutional Neural Network, DCNN)과 순환 신경망(Recurrent Neural Network, RNN)이 결합한 모델이며, 특징 시퀀스 기반의 종단간 신경망 구조를 갖는다.[5] 합성곱 순환 신경망은 심층 신경망의 합성곱 층을 통하여 입력 데이터로부터 특징 시퀀스를 추출하고, 추출한 특징 시퀀스를 다시 순환 신경망의 입력으로 사용하여 각각의 특징 시퀀스에 대한 예측값을 출력한다. 이러한 신경망 구조는 시계열 데이터의 시간 순차적 특성을 효과적으로 반영할 수 있고, 제안하는 알고리즘의 학습 데이터로 사용하는 스펙트로그램의 시간-주파수 특성을 고려하는 것에 적합하다.
기계 학습 알고리즘이 발전하면서 음향 신호를 활용하여 주변 환경을 인식하는 연구가 활발히 진행되어 오고 있다. 이러한 기류에 따라 삼성, 구글 그리고 소니 등과 같은 세계 유수 기관들과 서울대학교, 도쿄대학교 등을 포함한 여러 명문 대학교들을 중심으로 IEEE AASP Challenge on Detection and Classification of Acoustic Scenes and Events(DCASE) 대회가 매년 개최된다. 합성곱 순환 신경망 구조를 활용한 알고리즘은 DCASE 대회의 음향 이벤트 검출 분야에서 다년간 상위권 성적을 유지하고 있는데, 특히 DCASE 2021 Task 4와 DCASE 2022 Task 4, 그리고 DCASE 2023 Task 4 – Subtask A에서 1위를 차지한 바 있다.[6,7,8] 이처럼 합성곱 순환 신경망은 음향 신호처리 분야에서 좋은 성능을 보이는데, 이는 데이터의 특징 시퀀스를 입력으로 사용하는 합성곱 순환 신경망의 구조가 데이터의 시간 축과 주파수 축의 시계열 특성을 주로 고려하는 음향 신호처리의 특징을 잘 반영하기 때문으로 판단된다.
소나 시스템의 경우 수동소나 데이터를 중심으로 합성곱 순환 신경망을 활용한 표적 식별 연구가 이루어지고 있다. Liu et al.[4]은 수동소나 데이터의 3차원 멜 스펙트로그램을 합성곱 순환 신경망의 입력으로 사용한 표적 식별 알고리즘을 연구한 바 있다. Zhang et al.[9]은 수동소나 데이터의 2차원 스펙트로그램과 3차원 멜 스펙트로그램, 그리고 멜-주파수 켑스트럼 계수(Mel-Frequency Cepstral Coefficient, MFCC)를 합성한 특징 인자를 장단기 메모리의 입력으로 사용하여 특징 인자의 종류에 대한 합성곱 순환 신경망의 표적 식별 성능을 비교하였다. Pengyuan et al.[10]은 웨이블릿 변환을 통한 수동소나 데이터의 분해값과 멜-주파수 켑스트럼 계수를 합성하여 합성곱 순환 신경망의 입력으로 사용하며 높은 표적 식별 성능을 보였다.
합성곱 순환 신경망이 수동소나 데이터의 표적 식별 분야에서 활발히 사용되며 좋은 성능을 보이고 있으나, 능동소나 데이터의 표적 식별에 대한 합성곱 순환 신경망 모델의 연구는 매우 부족한 실정이다. 본 논문에서는 얕은 층의 합성곱 순환 신경망 구조를 통해 능동소나 데이터의 특징을 적은 양의 학습 데이터로도 충분히 고려하는 표적 식별 알고리즘을 제안하고자 한다.
2.2 의사 레이블링 기법
의사 레이블링 기법은 미표기 데이터를 확률적 레이블링을 통해 표기 데이터로 사용하는 방법이다. 이때 확률적 레이블링이란 미표기 데이터에 지정하고자 하는 클래스 항목들에 대한 사전 학습 모델의 예측값을 비교하고, 그중 가장 높은 확률에 해당하는 예측값의 클래스를 미표기 데이터의 의사 레이블로 지정하는 것을 말한다.[11] 확률적 레이블링의 과정을 아래 수식을 통해 나타냈다. 이때 는 클래스의 항목을 의미하고 는 각 클래스 항목마다의 예측값을 의미한다.
의사 레이블링 기법은 적은 양의 데이터를 모델 학습에 효과적으로 활용하기 위해 고안된 방법으로 약지도 학습에서 널리 사용되고 있다.[12] 앞서 소개한 DCASE 2022 Task 4와 DCASE 2023 Task 4 – Subtask A에서의 1위 알고리즘 또한 의사 레이블링 기법을 적용한 구조를 사용하고 있다.
의사 레이블링 기법이 일반적인 음향 신호처리 분야에서는 활발히 사용되고 있으나, 능동 소나 시스템의 표적 식별 알고리즘에 대한 미표기 능동소나 데이터에 해당 기법이 적용된 바는 없다. 기계학습 기반의 능동 소나 신호처리 알고리즘을 개발하는 데에 있어 가장 어려운 점 중 하나가 데이터를 확보하기 어렵다는 것임을 고려하여, 본 논문에서는 의사 레이블링 기법을 적용한 약지도 학습을 통하여 표적 식별 모델을 학습하는 알고리즘을 제안하고자 한다.
III. 제안하는 알고리즘
본 논문에서는 표적의 반향음이 송신단의 사전 정의된 음원 신호와 동일한 신호임을 고려하였을 때, 입력 데이터로 사용하는 스펙트로그램의 시간 순차적 특성을 고려할 수 있는 신경망 구조를 표적 식별과정에 활용하고자 합성곱 순환 신경망을 알고리즘의 기틀로 사용하였다. 또한, 학습을 위한 충분한 양의 데이터 확보가 어려운 능동소나 데이터의 특성을 반영하기 위해 의사 레이블링 기법을 추가로 적용하였다. 제안하는 알고리즘은 표기 데이터로 사전 학습한 합성곱 순환 신경망을 사용해 미표기 데이터에 대한 의사 레이블링을 수행하고, 의사 레이블링 데이터로 인하여 확장된 데이터셋을 사용해 합성곱 순환 신경망을 다시 학습하는 구조를 가진다. 제안하는 알고리즘을 구성하는 기법들과 적용 방향을 3.1장과 3.2장에서 구체적으로 설명하였으며 전반적인 알고리즘의 구조는 Fig. 1과 같다.
3.1 모델 구조
본 논문은 데이터 전처리 과정으로 최소-최대 정규화 기법과 잘라내기 증강 기법을 사용하였다. 데이터 내 이상치가 학습 성능을 저해하는 것을 방지하기 위해 최소-최대 정규화 기법을 스펙트로그램에 적용하여 데이터의 최솟값과 최댓값이 0과 1이 되도록 하였다. 또한 데이터 반향 신호의 시간 축과 주파수 축을 포함할 수 있는 200 × 300 크기의 스펙트로그램 이미지를 잘라내기 증강 기법을 적용하여 얻음으로써 적은 양의 데이터를 보완하고자 하였다.
위의 데이터 전처리 과정을 거친 데이터를 합성곱 순환 신경망의 입력 데이터로 사용하여 알고리즘을 학습하였다. 알고리즘에서 사용하는 합성곱 순환 신경망의 심층 신경망을 3층의 합성곱 층으로 구성하고, 순환 신경망에 사용한 장단기 메모리를 1개의 은닉층으로 구성하여 적은 양의 학습 데이터에 대한 과대 적합을 방지할 수 있는 신경망을 구축하고자 하였다. 신경망 사이에 드롭아웃 층을 두어 0.5 비율로 랜덤하게 신경망 계층 간의 결합이 끊어지도록 함으로써 알고리즘의 데이터 과적합을 방지하였다. 자세한 네트워크 구조에 대한 내용을 Table 1에 나타냈고, 학습 데이터가 합성곱 순환 신경망을 거치는 과정은 Fig. 2와 같다.
Table 1.
Network architecture.
3.2 약지도 학습 방법
Fig. 1에서 보인 제안하는 알고리즘의 전반적인 구조는 약지도 학습을 위해 의사 레이블링 기법의 구조를 따른다. 먼저 소량의 능동소나 표기 데이터를 사용하여 모델을 학습함으로써 사전 학습 모델을 얻는다. 그다음 Eq. (1) 에서 보인 의사 레이블링 과정을 따라 비교적 많은 양의 미표기 데이터에 대해 사전 학습 모델이 구한 표적과 비표적 클래스에 대한 두 예측값을 비교하고, 더 큰 예측값을 가지는 클래스를 미표기 데이터에 대한 의사 레이블로 지정한다. 마지막으로 의사 레이블링을 거쳐 레이블을 얻은 미표기 데이터와 기존의 표기 데이터를 랜덤한 순서로 합하여 생성한 확장 데이터셋을 다시 모델의 학습에 사용하여 약지도 학습을 수행한다. 의사 레이블링 기법을 통한 약지도 학습 방법을 통해 적은 양의 능동소나 표기 데이터로 인한 모델 학습의 어려움을 개선할 수 있다.
IV. 실험 내용
4.1 시뮬레이션 데이터
본 논문의 시뮬레이션 데이터는 중심주파수 3 kHz와 대역폭 1 kHz를 갖는 2 s 길이의 선형 주파수 변조(Linear Frequency Modulation, LFM) 신호를 능동소나 시스템의 음원 신호로 가정한다. 시뮬레이션 데이터의 시간-주파수 특성을 알고리즘의 특징 인자로 사용하고자 단시간 푸리에 변환을 적용하여 데이터의 스펙트로그램을 얻었다.
학습용 데이터와 테스트용 데이터를 분리하기 위해 서로 다른 신호대잡음비와 클러터 환경을 가정한 두 개의 데이터셋을 생성하였다. 본 논문은 생성한 두 개의 데이터셋을 Case1 데이터셋과 Case 2 데이터셋으로 명명한다. 각각의 데이터셋은 배경 잡음의 세기, 그리고 산란체로 인한 잔향의 세기 및 유형에서 차이가 있다.
잔향 신호는 임의의 위치에 임의의 산란 세기를 가지는 다수 개의 산란체를 생성하여 이에 의한 반향을 누적함으로써 생성할 수 있다.[13,14] 본 논문에서는 Reference [14]와 유사하게 1300 ~ 1500개의 산란체의 위치를 6000 m 범위에 걸쳐 0°에서 180° 사이의 방위에 균일 분포를 가지는 난수로 생성하여, 이로부터의 반향을 누적함으로써 퍼진 산란체로부터의 잔향을 합성하였다.
실제 수중 환경에서는 위와 같이 퍼진 산란체로 인한 잔향 외에도 표적으로 오인하기 쉬운 군집 산란체로부터의 반향도 관찰된다. 본 논문에서는 Reference [14]와 유사한 방법론으로 이를 모사하기 위하여, 0개 ~ 3개의 임의의 거리 값을 균일 분포의 난수로 선정한 후, 선정된 거리를 기준으로 300 m ~ 400 m 범위의 균일 분포를 가지는 700개의 산란체를 추가로 생성하여 그로부터의 반향을 합산하였다. 배경 잡음은 정규분포를 따르는 난수를 전체 수신 신호에 더하여 생성하였다.
표적 데이터의 경우, Case 1 데이터셋은 강한 세기의 배경 잡음을 가지도록 설정하여 9 dB ~ 17 dB의 신호대배경잡음비 및 7 dB ~ 12 dB의 신호대잔향음비를 가지도록 설정하였다. Case 2 데이터셋의 표적 신호는 11 dB ~ 22 dB의 신호대배경잡음비 및 6 dB ~ 10 dB의 신호대잔향음비를 가지도록 설정되어, Case 1과 비교하면 비교적 약한 배경 잡음 세기와 강한 잔향 세기를 가진다. 비표적 데이터의 경우, Case 1과 Case 2 데이터셋의 군집 산란체 유형을 다르게 설정하여 서로 다른 비표적 데이터셋을 생성하였다. 군집 산란체의 경우, 두 데이터셋이 동일한 개수의 산란체를 가지지만 Case 1 데이터셋의 산란체가 Case 2 데이터의 산란체에 비해 표적과의 거리가 더 멀고 더 넓은 범위에 산재하도록 하였다. 각각의 데이터셋은 능동소나 데이터의 불균형 데이터 특성을 반영하여 전체 데이터 중 표적 데이터의 비율이 실험 종류에 따라 약 7 %에서 9 %를 차지하도록 하였다. 시뮬레이션 데이터들의 예시를 Fig. 3에 나타내었다.
위 과정을 통해 얻은 시뮬레이션 데이터는 알고리즘의 입력에 적합하도록 2가지의 전처리 과정을 거친다. 테스트를 위해 사용한 일부 Case 2 데이터셋을 제외하고 모든 표적 데이터와 비표적 데이터에 잘라내기 증강을 적용하였다. 이때 표적 데이터의 증강 비율이 비표적 데이터 증강 비율보다 10배 더 크도록 설정하여 기존 시뮬레이션 데이터의 데이터 불균형을 완화하고자 하였다. Case 1 데이터셋을 표기 데이터로 구성하여 사전 모델 학습에 사용하였으며, Case 2 데이터셋을 미표기 데이터로 구성하여 의사 레이블링 및 테스트에 사용하였다. 테스트를 위한 Case 2 데이터셋은 증강 기법을 적용하지 않았다.
4.2 학습 과정
적은 양의 불균형 표기 데이터에 대한 합성곱 순환 신경망 모델의 성능 및 의사 레이블링 기법의 영향을 확인하기 위해 세 종류의 실험을 수행했다. 첫 번째 실험을 기준으로 학습 데이터 구성을 변경하여 그 외 실험을 수행하였다. 첫 번째 실험은 전체 619개의 표기 데이터 중 8.9 %만이 표적 데이터인 소량 불균형 데이터 환경에서 사전 모델 학습이 진행되었다. 두 번째 실험에서는, 첫 번째 실험과 모델의 사전 학습을 위해 사용한 표기 데이터의 불균형 정도는 8.3 %로 유사하지만 약 23 % 더 적은 양의 전체 표기 데이터를 사용하도록 하였다. 세 번째 실험은 첫 번째 실험과 비교하여 표기 데이터의 양이 약 20 % 더 많지만, 표적 데이터의 비율을 8.9 %에서 7 %로 변경하여 더 강한 불균형 데이터 환경에서의 알고리즘 성능을 확인하고자 하였다. 의사 레이블링과 테스트를 위해 사용하는 미표기 데이터는 세 가지 실험 모두 같은 데이터를 사용하였고 실제 표적 데이터의 비율은 6.5 %로 매우 적다. 각 실험에서 사용한 자세한 데이터 구성을 Table 2에 나타냈다. Case 1의 pretrain은 사전 학습을 위해 사용한 표기 데이터를 의미하고 Case 2의 pseudo와 test는 각각 의사 레이블링에 사용한 미표기 데이터와 테스트 데이터를 의미한다. T와 N은 표적 데이터와 비표적 데이터를 의미한다.
Table 2.
Configuration of the simulation dataset used in each experiment.
Case 1 | Case 2 | |||||
Pretrain | Pseudo | Test | ||||
T | N | T | N | T | N | |
Experiment 1 | 55 | 564 | 79 | 1206 | 56 | 804 |
Experiment 2 | 40 | 440 | 79 | 1206 | 56 | 804 |
Experiment 3 | 52 | 690 | 79 | 1206 | 56 | 804 |
모델의 사전 학습 과정과 이후 실행되는 약지도 학습 과정에서 사용하는 학습 파라미터는 동일하다. 두 경우 모두 0.0001의 학습률과 30의 배치 크기 그리고 0.00001의 가중치 감쇠 값을 사용했다. 옵티마이저로는 Adam을 사용했다.[15]
하나의 실험을 마치면 총 세 개의 모델을 얻게 된다. 먼저 표기 데이터셋만을 사용하여 학습한 사전 학습 모델을 얻고, 그 후 기존의 표기 데이터에 의사 레이블링 기법이 적용된 미표기 데이터가 더해진 확장 데이터셋을 사용하여 학습한 약지도 학습 모델을 얻는다. 마지막으로 약지도 학습 모델의 성능 비교를 위하여 기존의 표기 데이터와 미표기 데이터를 모두 표기 데이터로 사용하여 학습한 지도 학습 모델을 얻는다. 본 논문은 두 번째로 얻은 약지도 학습 모델을 의사 약지도 학습 모델이라 명명한다. 세 종류의 실험에 대한 사전 학습 모델, 의사 약지도 학습 모델, 그리고 지도 학습 모델에 대한 학습 오류 수렴도를 Fig. 4에 나타내었다.
V. 성능 평가
사전 학습 모델과 의사 약지도 학습 모델, 그리고 지도 학습 모델의 테스트 성능을 표적과 비표적에 대한 F1 점수를 통해 분석했다. F1 점수는 정밀도와 재현률의 조화 평균을 의미하며 분류 클래스 간 불균형이 강한 데이터에 대한 모델의 성능 분석에 적합한 것으로 알려져 있다.[16] 본 논문은 표적과 비표적 두 경우에 대한 F1 점수를 분석하여 모델의 예측 경향을 구체적으로 평가하고자 하였다. F1 점수는 아래 수식을 사용하여 계산할 수 있다. 이때 TP, FP, FN 은 데이터에 대한 정탐, 오탐, 미탐 확률을 말하며 표적 F1 점수는 표적이 긍정, 비표적이 부정을 의미하고 비표적 F1 점수는 비표적이 긍정, 표적이 부정을 의미한다는 점에서 다르다.
Table 3에 세 종류의 실험에 대한 사전 학습 모델과 의사 약지도 학습 모델, 그리고 지도 학습 모델의 표적 F1 점수와 비표적 F1 점수를 나타냈다. 실험 1에서, 매우 적은 양의 표기 데이터 619개 중 표적 데이터의 비율이 8.9 %인 불균형 데이터로 실험을 진행하였음에도 불구하고 합성곱 순환 신경망 알고리즘을 통한 표적 식별이 유의미한 성능을 보이는 것을 확인할 수 있다. 또한 의사 레이블링 기법의 적용으로 사전 학습 모델의 성능 대비 표적 F1 점수는 13.3 % 개선되었고 비표적 F1 점수는 0.7 % 개선되었다. 실험 1과 비교하여 더 적은 양의 표기 데이터를 사용한 실험 2에서 표적 F1 점수는 낮아지는 경향을 보이지만 비교적 높은 비율의 학습 데이터양을 가진 비표적 데이터의 F1 점수는 실험 전체에서 매우 높은 경향을 보인다. 실험 3은 실험 1보다 표적 데이터의 불균형 정도가 1.3배 강한 환경에서 수행되었음에도 사전 학습 모델의 표적 F1 점수와 비표적 F1 점수가 가장 높다. 이는 사전 학습 모델의 성능이 학습 데이터양에 큰 영향을 받기 때문으로 분석할 수 있다. 의사 레이블링 기법의 정확도가 사전 학습 모델에 의존적이기 때문에 의사 약지도 학습 모델의 성능에 강한 영향을 끼침에도 불구하고 모든 실험에서 의사 레이블링 기법이 능동소나 표적 식별 알고리즘의 성능 개선에 도움을 주는 것을 확인할 수 있다.
Table 3.
Performance comparisons of the models for each experiment.
세 종류의 실험에서, 사전 학습 데이터와 의사 레이블링을 위한 데이터를 모두 표기 데이터로써 학습에 사용한 지도 학습 모델의 경우 모델의 성능이 매우 높은 것을 확인할 수 있다. 이는 표기 데이터의 개수가 다른 모델 학습에 사용한 표기 데이터의 개수와 비교하여 상당히 많기 때문으로 판단된다. 또한 다른 모델들의 경우 테스트 데이터로 사용되는 Case 2 데이터셋에 대한 정보가 전혀 제공되지 않지만, 지도 학습 모델의 경우 Case 2 데이터셋의 표기 데이터가 다량으로 제공되기 때문에 표적 식별 성능이 상당히 높은 것을 확인할 수 있다.
지도 학습 모델은 데이터 양 및 포함하는 정보가 충분히 많을 때의 모델 성능이라고 볼 수 있으므로, Table 3에서의 의사 약지도 학습 모델과 사전 학습 모델의 성능 차이()를 “제안하는 모델의 성능 개선” 정도로, 지도 학습 모델과 의사 약지도 학습 모델의 성능 차이()를 “학습 방법의 추가 연구를 통한 성능 개선 여지” 로 해석할 수 있다. 표적 데이터의 F1-score를 기준으로 보면, 3개의 실험 결과 모두 학습 방법의 추가 연구를 통한 성능 개선 여지가 있음을 확인할 수 있다. 특히, 실험 1( = 12.7, = 18.5) 과 실험 3( = 9.5, = 15.3)에 비해, 실험 2( = 9.6, = 37.4)의 차이가 더욱 두드러지는데, 이는 데이터의 부족이 심한 환경에서는 사전학습 모델의 정확도가 확보되지 않아서 성능 개선이 제한적일 수 있음을 나타내고 있다.
VI. 결 론
본 논문에서는 기존의 합성곱 순환 신경망 모델과, 의사 레이블링 기법을 기반으로 한 합성곱 순환 신경망 모델을 이용하여 능동소나 표적 식별 알고리즘을 구축하였다. 서로 다른 신호대잡음비와 클러터 환경을 가정하여 만든 두 가지 시뮬레이션 데이터셋을 사용해 실험을 진행하였으며 데이터의 양과 불균형 정도에 따라 세 가지 실험을 구성하고 표적 F1 점수와 비표적 F1 점수를 통해 성능을 평가하였다. 실험 결과를 통해, 의사 레이블링 기법이 극소량의 강한 불균형 데이터를 가진 능동소나 표적 식별 알고리즘의 성능 향상에 도움을 주는 것을 확인할 수 있다.
그러나 의사 레이블링 기법은 사전 학습 모델의 성능에 의존적이기 때문에 사전 학습 모델의 성능이 낮을수록 의사 레이블링 기법으로 인한 성능 향상 정도가 떨어진다는 한계점이 있다. 향후 연구에서 표기 데이터의 정답 레이블을 추가로 활용하여 잘못된 의사 레이블링 결과를 보완하는 과정이 필요할 것으로 보인다.