I. 서 론
해양에서 수중 소음은 선박 소음, 바람에 의한 해수면 소음, 생물학적인 소음 등과 같이 광대역 소음원이 항시 존재한다.[1,2] 최근 전 세계적으로 항행선박의 양적 증가, 대형화 및 고속화 추세로 증가된 선박소음으로부터 해양 생태계 보호를 위한 관심이 증가함에 따라, 국제해사기구(International Maritime Organization, IMO)는 선박소음을 해양 생물에 영향을 미치는 가장 중요한 소음원으로 규정하고 선박소음을 규제하기 위한 논의를 해양환경보호위원회(Maritime Environment Protection Committee, MEPC)에서 진행하고 있다.[3] 현재 IMO는 중·대형 선박의 항행정보를 실시간으로 송·수신하는 통신장치인 Automatic Identification System(AIS)를 의무적으로 선박에 부착하여 전세계 선박의 항행 정보 및 통행량을 모니터링하고 있다. 하지만, 불법 조업 및 밀입국 선박 등 의도적으로 AIS를 꺼놓는 경우 선박의 항행정보를 확인할 수 없기 때문에 이동 선박의 통행량 파악의 오차를 유발하게 된다.
수중 음향을 이용하는 방법으로는 수중에 음향신호 수신기를 설치하고 선박 소음을 측정하여 이를 주파수 분석하는 방법으로, 수중 소음원 신호 탐지뿐만 아니라 신호의 특징을 추출함으로써 식별 기능도 수행하는 대표적인 두 알고리즘인 Detection of Envelope Modulation on Noise(DEMON)과 Low Frequency Analysis and Ranging(LOFAR)를 들 수 있다.[4] 해당 알고리즘을 활용하여 수중 소음 신호의 특징을 분석하고 식별을 하기 위해서는 전문적인 지식이 요구되므로, 활용하는 사람에 따라 상이한 판단을 내릴 가능성이 있고, 선박 및 잠수함의 저소음화 기술이 발달함에 따라 탐지 및 식별의 효율성을 위해 자동화 기술이 요구되고 있다.
국내외적으로 과학기술의 혁신으로 불리는 제 4차 산업혁명 시대가 다가옴에 따라 첨단정보 산업의 핵심인 인공지능의 연구가 다양한 분야에서 활발히 이루어지고 있고,[5,6] 최근 들어 수중 음향 분야에서 인공지능 기법을 적용하는 다양한 연구가 발표되고 있다.[7,8]
본 연구는 2016년 7월 15일 ~ 26일 동안 제주도 남부해역에서 측정한 수중 소음 신호의 스펙트럼 이미지를 분석하고, 딥러닝 중에서도 이미지 인식에 최적화된 컨볼루션 신경망(Convolutional Neural Networks, CNN) 모델을 활용하여 선박 소음 자동 탐지 가능성을 검증하였다.
II. CNN 모델을 활용한 이미지 학습 및 결과 평가 방법
2차원 텍스처의 인식 및 분류에 적합한 컨볼루션 신경망 모델은 주로 이미지, 비디오, 텍스트, 얼굴 인식 등 다양한 영역에서 특징 추출 또는 분류를 위해 적용되고 있다. 컨볼루션 신경망은 직접 패턴을 찾아 특징을 분류하고 높은 수준의 인식 결과를 가진다는 장점으로 인하여 본 연구의 광대역 줄무늬 패턴과 같은 뚜렷한 선박소음 신호의 특징을 학습하고 이를 탐지하기 위한 기법으로 적합하다.[5,6,7,8]
본 연구에서 적용한 CNN 모델의 구조는 Fig. 1와 같이 convolution layer, relu layer, pooling layer, fully connected layer 등으로 구성되며, 각 레이어에 대한 간단한 설명은 다음과 같다.[9,10]
Convolution layer는 이미지의 값이 행렬로 입력된 후, 설정된 필터만큼 정해진 stride와 padding값에 따라 컨볼루션을 수행하여 특징 맵을 생성한다. ReLU는 활성함수 중 하나로 convolution layer에서 전달된 특징 맵에서 어떤 값들을 활성화 시킬지를 결정짓는 함수로 특징 맵에서 양수의 값은 왜곡하지 않고 계산 속도 또한 빠르다는 장점이 있다. Pooling layer는 ReLU에 의해서 활성화된 특징 맵 중 일정 범위에 존재하는 특정 값을 샘플링하는 과정으로 본 연구에서는 최대 값을 샘플링 하였다. Fully connected layer는 앞 과정을 거치면서 최종적으로 추출된 특징 맵과 이미지에 설정된 클래스를 연결시키는 과정으로 역전파(Backpropagation)학습을 통해 파라미터 값을 최적화하면, softmax layer에서 특징 맵과 클래스가 일치하는 정도를 수치로 나타내고 분류한다.
본 연구에서 사용한 CNN 모델의 설정은 Table 1과 같다.
Table 1.
Layers of CNN.
수집된 선박 소음 및 주변 소음 스펙트럼 이미지들은 100×100크기의 이미지로 리샘플링 시킨 후에 학습, 교차 검증 및 테스트 이미지의 input layer로 활용하였고, 2개의 convolution layer, 2개의 pooling layer 그리고 2개의 fully connected layer로 CNN 모델을 구성하였다. 또한 각 층에서 활성함수로는 ReLU를 사용하였으며, 최종적으로 softmax layer에서 영상의 특징과 클래스가 일치하는 정도를 수치로 나타낸 값들을 정규화하고, classification layer에서 높은 수치를 가지는 클래스와 정규화 값을 출력하여 선박 소음인지 주변소음의 스펙트럼인지를 분류하였다.
본 연구에서 제안하는 기법의 정확도 검증은 인공지능 알고리즘을 진단하여 순위를 선정할 때 사용하는 지표인 정밀도, 재현율, 평균 정밀도와 정확도 개념을 적용하여 평가하였다.[11]
Fig. 2는 인공지능 기반 예측 값과 실제 값을 비교하기 위한 오차행렬이다. 이를 본 연구에 적용하여 설명하면, True Positives(TP)는 CNN 모델이 정확히 탐지한 선박 소음, False Positives(FP)는 CNN 모델이 선박 소음이라고 오인한 주변 소음, False Negatives (FN)는 CNN 모델이 주변 소음이라고 오인한 선박 소음, True Negatives(TN)은 CNN 모델이 정확히 탐지한 주변 소음을 나타낸다. 따라서 정밀도는 모델이 선박 소음이라고 예측한 것 중에서 실제 선박 소음인 것의 비율로 다음 식으로 나타난다.
| $$\mathrm{Precision}:\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}.$$ | (1) |
재현율은 전체 선박 소음인 것 중에서 모델이 예측한 선박 소음의 비율로 다음 식으로 나타난다.
| $$\mathrm{Recall}:\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}.$$ | (2) |
정확도는 가장 직관적으로 모델의 성능을 나타낼 수 있는 평가 지표로 다음 식으로 나타난다.
| $$\mathrm{Accuracy}:\frac{\mathrm{TP}+\mathrm{TN}}{\mathrm{TP}+\mathrm{FN}+\mathrm{FP}+\mathrm{TN}}.$$ | (3) |
정밀도와 재현율을 분리하여 하나의 지표로 평가한다면 자료 해석의 오류를 일으킬 수 있기 때문에 정밀도-재현율 곡선이 커버하는 면적을 뜻하는 평균 정밀도를 종합적인 성능 지표로 사용하였다. 평균 정밀도는 0 ~ 1 사이의 값으로 나타나며, 알고리즘을 평가한 결과의 평균 정밀도가 1이라면 오인 탐지를 포함하지 않고 실제 선박 소음을 모두 예측한 것이다. 또한 오인 탐지를 포함하거나 실제 선박 소음을 예측 못했을 경우 평균 정밀도는 1 보다 낮은 값을 가진다. 따라서 평균 정밀도는 1에 가까울수록 평가 성능이 좋다고 판단할 수 있다.
III. 수중 소음 측정 실험 및 학습 자료 구성
수중 소음을 수집한 제주 남부 해역은 동중국해를 이동하는 대형 화물선 및 유조선에 의해 해상 물동량 운반을 위한 선박 교통량이 높은 지역이다. 또한 어족자원이 풍부하여 연중 다양한 어로 행위로 인한 어선의 빈번한 왕래가 있고 유람선과 여객선이 정기적으로 운항하는 해역이다.
Fig. 3은 수중 소음 신호를 수집한 해역의 수신기 위치 및 실험기간 동안 측정된 AIS 자료 분석을 통해 도출한 선박 항행 정보 그리고 음향 수신기 수중 설치 환경 정보를 나타낸다.
실험해역의 해저 지형은 Korea Institute of Ocean Science & Technology(KIOST)에서 보유하고 있는 지리정보시스템(Geographic Information System, GIS) 데이터 베이스에서 추출한 수심자료로 전반적인 수심 분포는 제주 남부 연안에서 10 km 이내의 해상에서는 1.0 ~ 1.5 사이의 경사도를 가지며 수심 100 m까지 깊어지고, 10 km 이상 떨어진 해역의 수심의 변화는 80 m ~ 120 m 사이에 분포하며, 해저면 저질 입도 성분은 3.6인 대부분 사질로 구성되어 있음을 확인하였다.
수중 소음을 측정한 수신기는 자가음향기록 청음기로 육상으로부터 약 18 km 떨어진 해역에 수중 부이를 활용하여 수심 약 50 m에서 신호를 수신하였다. 음향 데이터는 샘플링 주파수가 24 kHz, 시스템 이득 12 dB, 40 Hz에서 고역통과 필터가 적용되어 있고 수신감도는 -163.7 dB re 1 V/μPa로 10 min 단위로 WAV파일 형태로 저장하였다.
해저 지진, 선박, 잠수함 및 해양 생물 등과 같은 수중 소음원으로부터 발생한 신호를 시간-주파수 영역을 동시에 표현하는 스펙트로그램은 수상 및 수중에 존재하는 상이한 음원에 대한 음향학적 특징 정보를 포함하고 있으므로 음향 분야에서 기본적으로 활용되는 분석 방법이다. 이동 선박의 방사소음 스펙트럼은 특정 주파수에서 강하게 나타나는 줄무늬 패턴의 특징을 가지며, 이를 활용하여 음원을 탐지, 식별 및 위치를 추정하는데 적용되고 있다.[12] 광대역 줄무늬 패턴은 음향 채널에서 전파되는 둘 이상의 정상 모드 또는 다중경로간의 음파 간섭으로 발생하는데, 선박 이동에 따른 거리 및 수심의 변화, 해저면 기울기 및 해저 저질 성분에 따라 다양한 광대역 줄무늬 패턴을 가지게 된다. 수중 소음을 측정한 실험해역은 수신기 설치 위치로부터 약 20 km 이내의 수심은 평탄하였고 해저면 지질성분도 공간적으로 변화가 크지 않은 환경이므로 이동하는 선박과 수신기간 시공간적인 수평거리 변화 따라 다양한 광대역 줄무늬 패턴을 수집 할 수 있다.
Fig. 4는 선박이 수신기의 최근접점(Closest Point of Approach, CPA)을 통과하는 전후 시점에서의 스펙트로그램을 나타낸다. Fig. 4에서 모드 또는 다중경로간 간섭에 의하여 발생하는 줄무늬 패턴은 CPA기준 좌측의 선박이 수신기에 접근 경우 음()의 기울기를 가지고 CPA를 통과한 패턴의 경우 양(+)의 기울기를 가지게 된다. 이러한 선박 소음의 줄무늬 패턴은 선박의 유무를 결정짓는 중요한 음향학적 특징으로 컨볼루션 신경망 접근의 패턴 인식에 적합한 자료로 활용 가능하다.
2016년 7월 15일부터 26일 까지 약 12일 동안 연속적으로 수집된 수중 소음 자료는 하나의 스펙트럼 이미지당 10 min. 자료로 총 1580개의 스펙트럼 이미지의 자료를 수집하였다. 선박의 항행정보인 AIS 자료를 활용하여 수신기의 위치를 중심으로 반경 20 km이내의 CPA 정점 271개를 도출하였고, 매10분 자료 총 1580개의 스펙트럼 이미지의 광대역 줄무늬 패턴을 육안으로 확인하여 151개를 추가하였다. 총 광대역 줄무늬 패턴을 포함하는 선박 소음 이미지 422개, 주변 소음 이미지 1158개의 클래스를 구분하여 학습, 교차검증 및 평가 이미지로 사용하였다. Fig. 5는 이미지 분류 클래스로 선정된 선박 소음 및 주변 소음 각각의 대표적인 예시이다.
IV. 결 과
수집된 이미지는 학습 데이터, 교차 검증 데이터, 평가 데이터로 나눌 수 있는데, 본 연구에서는 6 : 1 : 3 비율로 구분하여 학습(948개), 교차 검증(158개) 및 평가(474개)를 수행하였다. 교차 검증 데이터는 학습 단계를 통과한 파라미터를 이용하여 CNN의 과적합 및 부적합을 줄여주는 역할을 위해 요구된다. Fig. 6은 학습과 교차 검증 과정을 모두 50회(epoch) 수행한 신경망 오류율로 29회의 반복학습에서 교차 검증 데이터의 오류율이 가장 낮았고, 해당 횟수에서의 특징 맵을 평가 데이터에 적용하였다.
실해역에서 수집된 수중 소음 데이터를 CNN모델로 학습 및 교차검증하고 평가 데이터를 자동 판별 분류한 결과를 정밀도-재현율 곡선으로 나타내면 Fig. 7과 같다. 정밀도-재현율 곡선은 재현율이 증가함에따라 정밀도가 감소하는데, 이는 CNN모델이 실제 주변 소음 데이터를 선박 소음이라고 오인 판단한 결과가 포함되었기 때문이다. 모델 예측 결과 선박 소음이라고 분류한 것 중 실제 선박 소음인 것의 정밀도는 0.936이었고, 실제 선박 소음인 것 중에서 CNN모델이 예측한 선박 소음의 재현율은 0.830이었다. 또한 Fig. 7과 같이 정밀도-재현율 곡선이 커버하는 면적은 종합적인 성능 지표인 평균 정밀도 값으로 나타낼 수 있는데, 본 결과에서의 평균 정밀도는 0.824였다. 또한 주변 소음 자료도 목표 탐지 클래스로 본다면 Eq. (3)을 이용하여 모델의 성능 정확도를 직관적으로 표현할 수 있고, 본 연구에서의 정확도는 0.949로 나타났다(Fig. 8).
V. 결론 및 토의
본 논문에서는 실해역에서 약 12일 동안 총 1580개의 스펙트럼 이미지의 자료를 수집하였고, 그 중 선박 소음 특성인 광대역 줄무늬 패턴 스펙트럼을 갖는 선박 소음 이미지 422개, 주변 소음 이미지 1158개의 클래스를 AIS 자료 및 육안으로 판단하여 구분하였다. 그리고 2개의 convolution 층, 2개의 pooling 층 그리고 2개의 fully connected 층으로 구성된 간단한 CNN 구조의 모델을 활용하여 이동하는 선박 소음을 자동으로 탐지하는 기법에 대하여 적용한 결과 평균 정밀도는 0.824이고 모델의 정확도는 0.949로 선박 소음의 자동 탐지 가능성을 확인하였다.
본 연구의 결과로부터 탐지 성능을 향상시킬 수 있는 방안으로는 다음과 같다.
1) 인공지능 기반의 이미지 패턴 인식 연구에 관심도가 높아짐에 따라 성능 좋고 신속한 연산이 가능한 다양한 모델들이 개발되고 있기 때문에 다양한 CNN 모델을 적용하여 본 연구에 적용하면 정밀도, 재현율, 정확도 측면에서 향상된 결과를 예상할 수 있을 것이다.
2) 본 논문에는 약 12일의 수중 소음 자료를 학습하여 CNN 모델을 최적화 하였지만, 향후에 추가적인 선박 소음 자료 학습을 기반으로 CNN 모델을 업데이트하면 향상된 선박 소음 탐지 성능을 보여줄 것이다.
향후 연구로 다양한 선박의 AIS자료 수집 및 광대역 줄무늬 패턴을 학습하여 선박 탐지 뿐만 아니라 식별하는 연구가 수행된다면, 수중 소음원 특징 추출을 기반으로 자동으로 식별을 수행하는 LOFAR, DEMON을 이용한 시스템에 적용될 수 있을 것이다. 또한 줄무늬 패턴은 이동하는 선박의 수심, 지형 구조 및 해저면 저질 성분 등에 따라 달라지기 때문에 다양한 환경에서의 광대역 줄무늬 패턴을 학습함으로써 역으로 해저면 환경 예측이 가능할 것이다.
마지막으로 본 연구를 기반으로 인공지능 기법 향상 및 대용량 수중 소음 데이터 확보가 지속된다면 연안 해양공간에서 해양 생태계 보호 및 관리 측면에서 항행 선박 등 인위적 소음의 시·공간적 모니터링 체계 구축을 통해 국제해사기구 선박 수중 소음 국제 규제 대응을 위한 연안 항만 통행 선박 시공간 모니터링 기술 개발에 활용 가능하며, 추가적으로 대용량 수중 소음 자료로부터 수중 및 수상 표적 자동 식별 알고리즘 구축에 활용될 수 있을 것이다.
