I. 서 론
II. 문턱값 기반 표적 탐지 기법
III. 심층학습을 통한 분류기의 학습과 능동소나 다층 처리기의 개선
IV. 성능분석
4.1 소수 불균형 데이터를 이용한 표적/비표적 분류기의 학습
4.2 식별된 학습기를 이용한 표적/비표적 구분
4.3 추적 필터 및 표적 궤적 관리
V. 결 론
I. 서 론
능동소나는 수중에서 은밀하게 기동하는 물체를 탐지하기 위해 음파를 송신하여 표적에서 반사되어 돌아오는 신호를 탐지한다. 그러나 수신된 신호에는 표적의 반향음 외에도 해저면/해수면에서 반사되는 잔향음, 생물 소음 및 기타 잡음이 포함되어 있어 표적인식을 어렵게 한다.
수백 kHz의 고주파 음파를 송신하여 고해상도 영상을 획득하여 해저면 탐사, 근거리 소형물체 탐색을 수행하는 측면주사소나와 달리, 수 kHz의 음파를 이용하여 수 km의 표적을 탐지하는 중주파수 소나는 획득되는 영상의 방위-거리 해상도가 낮을 뿐 아니라, Fig. 1과 같이 방위-거리 전시화면에서 백색으로 표시된 표적 외의 수많은 신호들이 탐지되어 이들 중에서 표적을 구분하는 일이 매우 어렵다.
기존의 능동소나는 운용자가 설정한 문턱값 이상의 신호를 탐지한다.[1,2] 계절, 해역, 해상교통량 등 시-공간에 따라 변하는 다양한 환경에서 적절한 문턱값을 설정하는 것은 매우 어려우며, 이는 표적의 미탐지 혹은 다수의 오탐지로 이어져, 소나 운용자가 표적을 인식하기 어렵게 한다. 이를 극복하기 위해 다수 오탐지 발생 환경에서 오경보율을 예측하는 연구,[3] 다수 표적 및 비균질 환경에서 탐지의 밀도를 고려하여 문턱값을 설정하는 Constant False Alarm Rate(CFAR) 연구[4,5]가 수행되었다. 또한 시-공간적으로 불규칙적으로 발생하는 잡음 탐지를 배제하고 표적을 추적하기 위한 추적 필터 및 자료결합 연구,[6,7] 허프 변환을 이용한 클러터 제거 연구,[8] 군집화 기반의 클러터 제거기법[9] 등의 연구가 수행되었으나 표적과 비표적의 불균형성으로 상당수의 오탐지가 발생하는 환경에서는 그 한계가 존재한다.
본 논문에서는 탐지 신호의 방위-거리 에너지 분포 영상을 데이터의 불균형성을 고려한 방식으로 분류기를 학습하여 표적과 비표적을 구분하고 추적 기법을 적용함으로써, 표적의 오구분을 최소화하고 비표적을 제거하여 능동소나 운용자의 표적 인식을 용이하게 하였다
영상 기반의 식별에 널리 사용되는 심층학습의 합성곱신경망 기법을 적용한 분류기의 학습을 위해 탐지 데이터의 에너지 분포를 영상화하였다. 표적과 약 200배 ~ 300배의 비표적으로 구성된 데이터의 불균형을 고려하여 서로 다른 비표적 데이터를 이용하여 학습한 200개의 분류기의 정확도를 산출하고, 우수한 분류기를 선정하여 기존의 다층 처리 구조에 적용하였다.
I장 서론에 이어 II장에서는 기존의 문턱값 기반의 표적 탐지 및 추적 기법의 한계에 대해 기술하였다. III장에서는 제안한 탐지 신호의 에너지 분포 영상과 불균형 데이터를 이용한 심층학습 기반의 표적/비표적 구분과 추적 기법의 연계에 대해, IV장에서는 실제 동해에서 획득한 해상실험 데이터를 이용한 성능검증 결과를 제시하였다. 그리고 V장에서 결론을 맺는다.
II. 문턱값 기반 표적 탐지 기법
능동소나는 음파를 송신 후 반향음이 돌아오는 시간 정보를 이용하여 표적 거리를 파악한다. 표적 탐지를 용이하게 하기 위해 고출력 송신과 수신시의 지향 이득을 높이기 위해 주로 수십 개의 센서로 구성된 원형 부배열, 그 부배열 여러 개가 수직으로 적층된 원통형의 배열소나를 이용한다.
배열소나에서 송신하여 표적 및 수중환경에서 반향되는 수신신호의 능동소나 다층처리는 Fig. 2와 같이 크게 탐지와 표적관리로 나눌 수 있다.
먼저 탐지는 전처리, 빔형성, 정합처리, 규준화를 거쳐 문턱값을 이용하여 탐지결과를 생성한다.
이득보상과 같은 전처리를 거친 센서 신호는 Eq. (1)과 같이 시간영역에서의 지연합 빔형성기를 통해 전 방위 360°에 대한 고해상도 지향빔 출력 를 생성한다. 이 때 부엽 방위 등 타 방위에서 수신되는 간섭신호를 배제하기 위한 가중치를 적용한다.
여기서 은 j번째 지향방위의 n번째 출력, i는 센서 번호, M은 빔형성에 사용되는 센서의 개수, 는 부엽억제를 위해 센서에 적용하는 가중치, 은 i번째 센서의 n번째 신호, 는 j번 빔의 i번 센서의 시간지연 표본수이다.
빔형성기 출력에 대해 신호처리 이득을 얻기 위해 Eq. (2)와 같이 지향빔 출력 와 송신펄스 의 능동신호처리을 통해 방위별 능동소나 탐지 데이터 를 생성한다.
는 j번째 지향방위의 k번째 출력, n은 입력 데이터의 표본으로 과 는 정합처리에 사용되는 샘플의 시작과 끝에 해당한다.
또한 능동신호처리에서는 능동소나 탐지 데이터를 주변 영역의 평균 잡음을 추정하여 나눔으로써 방위-거리별 규준화된 탐지 데이터를 산출 후, log scale로 변환하여 Fig. 1과 같이 전시하여 결과를 제시한다.
다음으로 표적관리부에서는 생성된 탐지 결과를 이용하여 추적 및 연관, 궤적관리를 수행하여 순간적인 탐지결과를 배제하고, 시간적으로 지속 유지되는 궤적만을 남긴다.
능동소나의 탐지 결과에는 표적 외에도 다양한 반향음이 포함되어 있어 상당수의 비표적 탐지가 존재한다. 이처럼 환경에서 극히 소수의 표적을 인식하기 위해 여러 번 핑을 송신하여 연속적으로 발생하는 탐지 데이터를 연계하여 표적 궤적을 생성 및 관리함으로써 단기간에 사라지는 비표적 궤적과의 차별화하여 운용자에게 소수의 표적 후보를 제시하는 것이다.
실제 해상실험에서 획득한 능동소나 탐지자료(Fig. 1)는 소나 탑재 함정을 중심으로 거리 10 km까지 해당되는 영역의 자료로 세로축 128개 방위, 가로축 약 3,100개의 거리 출력으로 구성된 2차원 데이터를 나타낸 것이다. 이 탐지 자료에서 방위축으로 7 pixel, 거리축으로 11 pixel 크기의 추출 창을 이용하여 첨두값을 추출하는데 표적 외에도 상당한 비표적의 탐지가 발생한다. 예를 들어 Fig. 3에서는 탐지자료(약 40만 pixel)에서 1 %에 가까운 3,450개가 첨두치로 추출되고, 탐지결과 생성에 일반적으로 사용되는 문턱값(6 dB)을 적용하였을 때, 519개의 탐지 데이터가 발생하였는데 이를 적색 십자 마크로 나타내었다. 실험에 동원된 실제 수중 표적은 검정색 박스로 표시한 하나이며, 나머지는 비표적 탐지이다.
III. 심층학습을 통한 분류기의 학습과 능동소나 다층 처리기의 개선
최근 영상처리 분야에서 인공지능 기술을 통한 탐지, 분류, 세분화 성능이 획기적으로 향상되면서, 능동소나에서도 표적과 비표적의 특징 차이를 분석하여 기계학습을 통해 표적과 비표적을 구분하는 연구가 수행되었다.[10,11,12]
탐지자료의 중심과 거리에 따라 영역을 세분화하여 그 에너지 크기와 비율을 특징 정보로 하여 구분하는 접근법으로 비표적 탐지 결과를 상당 수 제거하여 추적의 입력을 줄여 궤적의 난립을 억제하는 연구 또한 수행되었다.[13]
본 연구에서는 표적과 비표적의 방위-거리 에너지 분포 영상을 이용한 심층학습 분류기를 추가하여 Fig. 4와 같이 능동소나 다층 처리기를 개선하였다.
탐지 데이터를 심층학습을 위한 입력으로 사용하기 위해, 6 dB ~ 48 dB 범위의 탐지 결과를 0 ~ 255의 값을 갖는 8비트 영상으로 변환하였다. Fig. 5에서 표적 영상의 에너지 분포 형상에서 방위(세로축)는 센서 배열의 방위지향 특성에 따라, 거리(가로축) 는 송신 펄스와 수신 신호의 정합기 출력에 따르나, 비표적의 경우는 탐지 자료의 중심에만 에너지가 분포하거나, 센서 배열의 방위지향특성 및 정합처리기의 거리 출력과 무관하게 나타난다.
방위-거리 에너지 분포 영상을 이용한 지도학습 기반 표적/비표적 분류기의 구현을 위해 동해상에서 수행한 해상실험을 통해 획득한 220 핑의 데이터에 문턱값을 적용하여 탐지 데이터를 추출하였으며, 실험 일지 및 GPS 로그 분석 등을 통해 수동으로 220개의 표적과 약 4.4만개의 비표적으로 구분하였다.
각 탐지 데이터의 에너지 분포를 영상화하기 위한 창의 크기는 센서 배열의 방위지향특성과 송신 펄스 길이를 고려하여, 방위 15 픽셀, 거리 25픽셀로 설정하였으며, 심층학습을 위한 입력 데이터를 학습용 50 %, 검증용 25 %, 평가용 25 %로 나눠 분류기를 훈련, 검증 후, 평가 데이터를 이용하여 그 성능을 분석하였다.
표적/비표적 분류기의 학습은 Fig. 6. 과 같이 input-[convolution/ReLU/pooling]-[convolution/ReLU/pooling]-[affine/ReLU/Softmax]-output의 11개 층을 갖는 합성곱 신경망(CNN)을 이용하였으며, 비용함수는 softmax, 최초 학습률은 0.001, 최적화 방식은 Adam, 학습 횟수는 100 epochs로 설정하였다.
앞서 언급한 바와 같이 실험 데이터는 소수의 표적과 약 200배의 비표적으로 구성된 불균형 데이터이며, 각각의 주변잡음 대비 신호 크기의 비율[이후 Signal to Noise Ratio(SNR)]에 따른 분포비를 Fig. 7에 나타내었다.
표적과 비표적의 누적분포함수를 Fig. 8에 나타내었으며, 비표적의 높은 SNR 기준을 누적분포 75 % 인 13 dB 이상, 표적의 낮은 SNR 기준을 누적분포 25 % 인 28 dB 이하로 설정하였다. 해당 구간에서는 표적과 비표적이 혼재되어 분포함을 확인할 수 있다.
이처럼 표적 대비 200배 이상의 비표적 데이터를 고려한 분류기의 학습 시, 불균형 데이터를 그대로 이용하거나 표적과 동일한 수의 비표적을 이용한 학습은 불가하므로 비표적의 수를 표적의 수와 동일하게 설정하여 200개 세트로 분할하여 순차적으로 학습하였다.
또한 훈련/검증/평가에 사용할 표적과 각 비표적 데이터 세트의 SNR을 고르게 분포시키기 위해, Table 1과 같이 설정하여 학습을 수행하였다.
Table 1.
SNR of Data set for training/validation/test.
| Training | Validation | Test | |
| High | 12.5 % | 6.25 % | 6.25 % |
| Medium | 25 % | 12.5 % | 12.5 % |
| Low | 12.5 % | 6.25 % | 6.25 % |
| Sum | 50 % | 25 % | 25 % |
학습된 200개의 분류기 중 추적과 연계할 분류기 선정을 위해 표적의 오분류율과 비표적 제거율의 가중합을 이용하였다. 본 연구는 표적의 오분류 최소화에 중점을 두면서, 비표적을 제거하는 것이 목표이므로 가중치는 각각 0.75와 0.25로 설정하였다.
선정된 분류기를 통해 각 핑에서 비표적 탐지자료를 배제 후, 연속되는 핑에서 표적궤적 관리를 수행하였다. 비표적 탐지 특징인 불규칙성으로 인한 궤적 미생성과 단기 유지로 연속적인 궤적의 수가 한정됨으로써, 운용자의 표적 인식성을 개선하였다. 추적 필터로는 칼만 필터(Kalman Filter)를 적용하였으며, 상태 변수로는 방위, 방위변화율, 거리, 거리변화율을 이용하였다. 핑 간의 연계기법은 최근접 연계를 이용하였으며, 연계/미연계에 따른 궤적 신뢰도를 통해 신규 궤적의 생성과 삭제를 수행하였다.
IV. 성능분석
3장에서 소수 불균형 데이터에 적합한 분류기를 학습하여 능동소나의 다층처리 구조에 추가하였으며 연구 목표인 표적 인식성의 향상을 검증을 위해 동해에서 획득한 해상실험 데이터를 이용하여 분석하였다. 중주파수 원통형 배열소나를 이용하여 전 방향으로 주파수 대역폭 400[Hz], 펄스길이 50[ms]의 FM 신호를 송신하였으며, 탐색 거리는 약 6 km ~ 10 km이다. 배열 소나의 수신 신호는 4 km ~ 6 km 거리에 위치한 표적의 반향음과 그 외 반향음 및 잡음을 포함하는 비표적 신호를 획득하였으며 모두 220핑으로 구성된다.
4.1 소수 불균형 데이터를 이용한 표적/비표적 분류기의 학습
차별화된 200개 비표적 데이터 세트를 이용하여 분류기의 학습을 수행하여 개별 분류기의 성능을 확인하였다. 200개 분류기에 공통적으로 적용된 평가 데이터의 표적 54개에 대한 정확도 분포는 Fig. 9와 같다.
그림에서 가로축은 정확도이며, 세로축은 정확도 구간에 따른 분류기의 수이다. 54개 각 표적에 대한 식별율의 최저값은 75.9 %, 최대값은 94.4 %, 평균 84.5 %로 우수한 정확도를 보인다.
한편 비표적은 200개 세트로 분할되어 각 분류기마다 다르게 적용되었다. 비표적의 주변잡음대비 신호 크기(SNR) 분포는 Table 1과 같이 균일하게 설정하여 SNR차에 의한 분류기 성능차를 억제하였다. 비표적 56개에 대한 정확도 분포는 Fig. 10과 같다. 최저값은 89.3 %, 최대값은 100 %, 평균 98.5 %로 높은 정확도를 보인다.
전체 표적과 비표적 데이터에 대한 구분 성능을 포함하여 Table 2에 제시하였으며, 합계 평균 91.6 %로 구분 성능이 우수한 결과를 보임을 알 수 있다.
Table 2.
Discrimination result of trained classifiers.
| Min | Max | Average | |
| Target | 75.9 % | 94.4 % | 84.5 % |
| Non-Target | 89.3 % | 100 % | 98.5 % |
| Total | 87.3 % | 94.6 % | 91.6 % |
4.2 식별된 학습기를 이용한 표적/비표적 구분
학습된 분류기의 일반화 성능을 확인하기 위해 전체 220핑에 대해 표적과 비표적 구분을 수행하였다.
전반부의 탐색거리 약 10 km의 핑에서는 문턱값을 초과한 탐지결과가 약 300개, 후반부의 6 km 탐색거리에서는 약 150개 정도가 확인되었다. 이를 분류기에 적용하여, 표적 오분류율, 비표적 잔여율을 통해 순차적으로 학습된 200개 분류기의 성능을 확인하였다.
예를 들어 Fig. 11의 31번 핑 탐지 결과에서는 표적과 함께 314개의 비표적이 있으나, Fig. 12의 분류기 적용 결과 표적 구분과 함께 비표적의 수를 6개까지 줄일 수 있음을 확인하였다.
전체 220 핑에 대한 200개 분류기의 성능을 Table 3에 나타내었다. 표적의 오구분율은 가장 우수한 경우 5 %, 가장 저조한 경우 7.7 %, 평균은 5.9 %였으며, 비표적 잔존율은 가장 우수한 경우 0.3 %, 가장 저조한 경우 11.1 %, 평균 5.2 %로 분석되었다. 표적의 오구분율을 억제하면 비표적 잔존율이 올라가는 trade-off 관계를 보인다.
Table 3.
Performance of trained classifiers.
| Best | Worst | Average | |
| Rate of target misclassification | 5 % | 7.7 % | 5.9 % |
| Rate of remained non-target | 0.3 % | 11.1 % | 5.2 % |
추적과 연계하기 위해 표적 오구분율과 비표적 잔존율의 가중합이 가중 우수한 분류기를 선정하였다. 해당 분류기를 이용하여 전체 220핑에 대한 성능 지표를 Table 4와 같이 혼동행렬로 나타내었다.
Table 4.
Confusion matrix of selected classifier (original).
True Estimation | Target | Non-target |
| Target | 206 | 3,398 |
| Non-target | 14 | 40,605 |
비표적이 표적대비 200배 많은 불균형 데이터이므로 비표적수를 표적과 동수가 되도록 배수 200으로 나눠 조정된 Table 5를 생성하고 Eqs. (3), (4), (5)를 이용하여 정밀도, 재현율, 조화평균(F-1 score)을 산출하여 Table 6을 생성하였으며, 각각 0.936, 0.924, 0.93으로 우수함을 확인할 수 있다.
Table 5.
Confusion matrix of selected classifier (adjusted).
True Estimation | Target | Non-target |
| Target | 206 | 17 |
| Non-target | 14 | 203 |
그리고 전체 표적/비표적을 이용하여 False Positive Rate(FPR), True Positive Rate(TPR)를 산출하여 대표적인 값으로 Table 7을 생성하고, 이를 이용하여 분류기의 ROC 곡선을 Fig. 13과 같이 도시하여 성능을 확인하였다.
Table 7.
False positive rate (FPR) and true positive rate (TPR).
| FPR | 0.035 | 0.070 | 0.08 | 0.09 |
| TPR | 0.918 | 0.932 | 0.946 | 0.955 |
학습된 분류기의 비표적의 오긍정이 억제되어 있어 낮은 FPR에서도 TRP이 0.9 이상으로 확인된다.
4.3 추적 필터 및 표적 궤적 관리
소나 운용자의 표적 인식을 용이하도록 추적 필터와 연계 기법, 표적궤적 관리를 적용하였다. 추적 기법으로는 일반적으로 널리 사용하는 칼만 필터를, 연계기법으로는 최근접연계를 적용하였으며, 추적중인 궤적이 정상 연계가 될 경우는 신뢰도 점수를 증가시키고, 연계가 되지 않을 경우는 감점하였으며, 신뢰도가 0이 된 궤적은 삭제하였다. 신뢰도의 최소값은 0, 최대값은 1, 최초 생성 표적은 0.5, 증감폭은 0.4로 설정하였다.
예를 들어 핑 31에서의 표적 궤적은 Fig. 14과 같이 표적 궤적을 유지하면서 비표적에 의한 궤적이 하나로 억제되어 있는 것을 볼 수 있다.
전체 데이터는 74핑(핑 25 ~ 98, 세트 1)과 146핑(핑 224 ~ 369, 세트 2)로 구성되며, 신규궤적의 생성은 두 핑 이상 처리하여야 하므로 각 세트의 첫 핑은 궤적 수 산정에서 제외된다.
세트 1의 각 핑에서 생성 및 유지되는 궤적 수는 최소 1개, 최대 9개, 평균 3.4개였으며, 세트 2의 궤적 수는 최소 2개, 최대10개, 평균 3.8개로 그 결과를 Tables 8, 9에 제시하였다.
Table 8.
Result of proposed algorithm : set 1 (74 ping).
| Number of Target | Min | Max | Average |
| Detection | 225 | 361 | 284 |
| Classification | 1 | 16 | 7.4 |
| Track | 1 | 9 | 3.4 |
Table 9.
Result of proposed algorithm : set 2 (136 ping).
| Number of Target | Min | Max | Average |
| Detection | 118 | 259 | 151.9 |
| Classification | 4 | 17 | 10.1 |
| Track | 2 | 10 | 3.8 |
최초 탐지 결과에서 분류기와 표적궤적관리를 거치며 대부분의 비표적이 제거되어 소나 운용자에게 제시되는 결과는 기존의 능동소나 다층처리 구조 대비 표적의 인식성이 상당히 향상되었다.
물론 기존의 탐지와 표적관리 관리로 구성된 다층처리 구조에서도 고도화된 추적필터, 연계기법, 표적궤적 관리 기법을 통해 성능 개선은 가능하겠지만, 과도한 비표적 탐지 환경에서는 개선정도가 제한될 것으로 추정된다. 제시된 기법에서는 추적 필터와 연계 기법의 고도화를 다루고 있지 않으므로 그와의 성능 비교 결과는 제시하지 않는다.
V. 결 론
본 논문에서는 기존의 능동소나의 다층처리 구조에 소수 불균형 데이터를 이용하여 학습한 표적/비표적 분류기를 추가함으로써 표적의 인식성을 향상시키는 기법을 제안하고, 실제 해상에서 획득한 데이터를 이용하여, 표적 인식성을 개선할 수 있음을 입증하였다.
분류기의 학습 목표인 능동소나의 운용 목적을 고려하여 표적 미탐지를 최소화하면서, 가능한 많은 비표적 탐지를 제거하였다. 학습된 여러 분류기 중에서 위 최적의 분류기를 선정하고, 추적 필터 및 연관을 통한 표적 궤적 관리와의 연계를 통해 시간적, 공간적 연속성을 확보함으로써, 신규 궤적의 난립을 억제하고, 후속 핑과의 연계를 신뢰도 높은 소수의 탐지 결과로 한정하면서 표적 궤적의 수를 최소화하여 능동소나 화면에서 운용자의 표적 인식성을 향상시켰다.
