Passive sonar signal classification using graph neural network based on image patch

Guhn Hyeok Ko; Kibae Lee; Chong Hyun Lee

doi:10.7776/ASK.2024.43.2.234

Preview

Research Article

The Journal of the Acoustical Society of Korea. 31 March 2024. 234-242
https://doi.org/10.7776/ASK.2024.43.2.234

Passive sonar signal classification using graph neural network based on image patch

영상 패치 기반 그래프 신경망을 이용한 수동소나 신호분류

Guhn Hyeok Ko¹

Kibae Lee¹

Chong Hyun Lee¹^*

고 건혁¹

이 기배¹

이 종현¹^*

¹제주대학교 해양시스템공학과

^{*Corresponding Author}

ABSTRACT

We propose a passive sonar signal classification algorithm using Graph Neural Network (GNN). The proposed algorithm segments spectrograms into image patches and represents graphs through connections between adjacent image patches. Subsequently, Graph Convolutional Network (GCN) is trained using the represented graphs to classify signals. In experiments with publicly available underwater acoustic data, the proposed algorithm represents the line frequency features of spectrograms in graph form, achieving an impressive classification accuracy of 92.50 %. This result demonstrates a 8.15 % higher classification accuracy compared to conventional Convolutional Neural Network (CNN).

Keywords

Passive sonar

Graph representation

Patch image

Graph Neural Network (GNN)

본 논문에서는 그래프 신경망을 이용한 수동소나 신호 분류 알고리즘을 제안한다. 제안하는 알고리즘은 스펙트로그램을 영상 패치로 분할하고, 인접 거리의 영상 패치 간 연결을 통해 그래프를 표현한다. 이후, 표현된 그래프를 이용하여 그래프 합성곱 신경망을 학습하고 신호를 분류한다. 공개된 수중 음향 데이터를 이용한 실험에서 제안된 알고리즘은 스펙트로그램의 선 주파수 특징을 그래프 형태로 표현하며, 92.50 %의 우수한 분류 정확도를 갖는다. 이러한 결과는 기존의 합성곱 신경망과 비교하여 8.15 %의 높은 분류 정확도를 갖는다.

키워드

수동소나

그래프 표현

영상 패치

그래프 신경망

MAIN

I. 서 론
II. 수동소나 신호분류
2.1. 수동소나 표적신호
2.2. 그래프 합성곱 신경망
2.3. 영상 패치 기반 분류 알고리즘
III. 실험 및 결과
3.1. 데이터 구성 및 그래프 표현
3.2. 분류 모델 구현
3.3. 분류 결과
IV. 결 론

I. 서 론

잠수함과 같이 수중에서 운용되는 함정들은 주로 수동소나를 이용하여 상황을 인지한다. 수동소나에서 인지되는 주 표적인 선박신호는 기계 장치에 의한 기계소음과 프로펠러에 의한 공동소음을 동반한다. 이러한 선박신호의 소음들은 선종에 따라 고유 특성을 나타내어 선박의 식별을 위해 사용된다.^[1,2] 기존 연구에서는 LOw Frequency Analysis and Recording(LOFAR)와 DEModulation Of Noise(DEMON)을 통해 기계소음과 공동소음의 협대역 신호를 분석하여 선박을 식별한다.^[3,4,5] 최근에는 심층학습 알고리즘을 사용하여 선박신호를 분류하는 연구가 수행되고 있다. 이러한 연구에서는 단시간 푸리에 변환으로 생성된 시간-주파수 영역 특징을 주로 사용하며, 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Reccurent Neural Network, RNN)과 같은 심층학습 알고리즘이 사용된다.^{[6,7,8,9,10,11,12]}

합성곱 신경망은 여러 채널을 갖는 합성곱 필터와 영상화된 특징과의 연산을 통해 시간-주파수 영역의 상관관계를 학습한다. 순환 신경망은 시간 시퀀스에 따른 특징을 순차적으로 입력하여 인접 시간 간의 상관관계를 학습한다. 이러한 심층학습 알고리즘들은 전역적인 특징 학습을 위해 다층의 네트워크를 구성하여 많은 연산이 요구된다.

최근, 그래프 형태의 데이터를 처리하기 위해 그래프 신경망(Graph Neural Network, GNN)에 대한 연구가 활발히 진행되고 있다. 그래프 신경망은 비유클리디안 공간에서의 특징 추출을 가능하게 한다. 또한, 영상처리 및 음성인식 분야에서는 그래프 표현을 통해 영상이나 스펙트로그램의 전역적인 연결을 사전에 포함할 수 있어, 적은 연산량을 통한 특징 추출의 목적으로 활용되고 있다.^[13,14,15] 영상처리 분야에서는 슈퍼픽셀 알고리즘을 사용하여 영상을 그래프 형태로 표현한다.^[13,14] 음성인식 분야에서는 단시간 푸리에 변환으로 생성된 스펙트로그램을 세기를 기준으로 분할하고 중첩 영역 간 연결을 통해 그래프 형태로 표현한다.^[15]

본 논문에서는 그래프 신경망을 이용한 선박신호 분류 알고리즘을 제안한다. 제안하는 알고리즘은 선박신호의 스펙트로그램을 다수의 영상 패치로 분할하고, 인접 거리의 영상 패치 간 연결을 통해 그래프로 표현한다. 이후, 표현된 그래프를 이용하여 그래프 합성곱 신경망(Graph Convolutional Network, GCN)을 학습하고 신호를 분류한다. 본 논문에서는 공개된 수동소나 데이터를 이용하여 제안된 그래프 기반 분류 알고리즘의 성능을 평가한다.

II. 수동소나 신호분류

2.1. 수동소나 표적신호

수동 소나에서 측정되는 선박 신호는 엔진과 같은 기계류에 의한 기계소음, 프로펠러의 공동현상에 의한 공동소음, 유체와 선체의 상호작용으로 인한 유체소음을 포함한다. 각각의 소음은 신호의 스펙트로그램에서 다양한 형태로 발현된다.

선박 신호의 대표적인 소음인 기계 소음은 혼재된 고조파 협대역 신호로, 1 kHz 이하의 저주파수 대역에서 강한 주파수선 특징을 갖는다.^[16,17] 공동 소음과 유체 소음은 광대역 신호로 스펙트로그램에서 수 kHz 대역에 걸쳐 다양한 형태로 포진된다. 또한, 선박의 주요 소음은 로이드 거울 효과에 의해 지속적인 보강 및 간섭을 동반하여 전파된다.^[18,19] 이는, 스펙트로그램에서 포물선의 형태로 나타나며, 선박이 측정 지점을 고속으로 통과할 때 더욱 날카로운 형상을 갖는다.

2.2. 그래프 합성곱 신경망

본 논문에서는 선박신호 분류를 위해 그래프 합성곱 신경망을 사용한다. Fig. 1은 그래프 합성곱 신경망을 이용한 그래프 분류 과정을 보여준다. 그래프 합성곱 신경망은 노드 행렬인 $H \in ℝ^{N \times p}$ 와 그래프의 연결 정보를 나타내는 인접 행렬 $A \in ℝ^{N \times N}$ 으로 구성된 그래프 $G (H, A)$ 를 입력받는다. 여기서, $N$ 은 노드 개수를 나타내고, $p$ 는 노드를 구성하는 특징벡터의 길이를 의미한다.

https://static.apub.kr/journalsite/sites/ask/2024-043-02/N0660430211/images/ASK_43_02_11_F1.jpg

Fig. 1.

(Color available online) The graph classification process using GCN with single layer.

그래프 합성곱 신경망은 매 층마다 그래프 합성곱 연산을 Eq. (1)과 같이 수행한다.

(1)

Z^{(l + 1)} = σ ({\tilde{D}}^{- \frac{1}{2}} \tilde{A} {\tilde{D}}^{- \frac{1}{2}} Z^{(l)} W^{(l)}), Z^{(0)} = H,

여기서 $\tilde{A}$ 는 정규화된 인접행렬, $\tilde{D}$ 는 $\tilde{A}$ 로부터 도출된 차수행렬, $W^{(l)}$ 은 $l$ 층에서 학습되는 가중치 행렬, $Z^{(l)}$ 은 $l$ 층의 노드 행렬, $σ (\cdot)$ 는 활성화 함수를 의미한다.^[20,21]

$L$ 층의 그래프 합성곱 신경망에 의해 출력되는 $Z^{(L)}$ 은 리드아웃을 통해 단일 특징 벡터로 변환된다. 리드아웃에는 합, 평균, 최대값과 같은 단순한 순열 불변성 기법, Weisfeiler-Lehman test 값에 따라 임베딩된 노드의 순서를 정렬하는 SortPool, 그래프의 구조를 유지하여 표현하는 DiffPool이 사용될 수 있다.^{[20,21,22,23]} 끝으로, 변환된 특징 벡터는 완전 연결 층을 통해 분류된다.

2.3. 영상 패치 기반 분류 알고리즘

본 절에서는 수동소나 신호의 시간-주파수 특징을 학습하는 영상 패치 기반 신호 분류 알고리즘을 제안한다. 제안하는 알고리즘은 Fig. 2와 같이 단시간 푸리에 변환을 통해 생성된 스펙트로그램의 영상 패치를 그래프로 표현하고, 그래프 합성곱 신경망을 이용하여 그래프 분류를 수행한다. 생성된 스펙트로그램 $S \in ℝ^{F \times T}$ 는 $N$ 개의 영상 패치 $\{P_{1}, P_{2}, \dots, P_{N}\}$ 으로 분할된다. 여기서 $F$ 는 주파수 빈 개수, $T$ 는 시간 프레임 개수를 의미한다. 영상 패치 $P_{n} \in ℝ^{\tilde{F} \times \tilde{T}}$ , $n \in \{1, 2, \dots, N\}$ 는 인접한 영상 패치와 시간 혹은 주파수 축으로 $r_{o}$ 만큼 중첩하여 슬라이딩을 통해 생성한다. 여기서 $\tilde{F}$ 와 $\tilde{T}$ 는 $P_{n}$ 의 주파수 빈과 시간 프레임 개수로 $\tilde{F} < F$ 와 $\tilde{T} < T$ 의 조건을 만족한다. Fig. 2의 예시와 같이 $F$ 와 $T$ 가 모두 512인 $S$ 는 $r_{o}$ 가 0.5일 때, $\tilde{F}$ 와 $\tilde{T}$ 가 모두 128인 49개의 영상 패치 $\{P_{1}, P_{2}, \dots, P_{49}\}$ , $P_{n} \in ℝ^{128 \times 128}$ 로 분할된다.

https://static.apub.kr/journalsite/sites/ask/2024-043-02/N0660430211/images/ASK_43_02_11_F2.jpg

Fig. 2.

(Color available online) Overview of the proposed graph representation algorithm with $F = 512$ , $T = 512$ , $\tilde{F} = 128$ , $\tilde{T} = 128$ , $r_{o} = 0.5$ and $K = 2$ .

Fig. 3은 $P_{n}$ 으로부터 그래프의 노드를 구성하는 방법을 보여준다. 노드의 구성은 생성된 단일 패치로부터 동일한 시간 시퀀스를 갖는 주파수 특징을 순차적으로 배열하여 시간에 따른 주파수 정보가 유지되도록 한다. 따라서, 노드 벡터 $h_{n}$ 은 Eq. (2)를 Eq. (3)과 같이 재정렬하여 생성한다.

(2)

P_{n} = [\begin{matrix} p_{n}^{11} & \dots & p_{n}^{1 \tilde{T}} \\ ⋮ & ⋱ & ⋮ \\ p_{n}^{\tilde{F} 1} & \dots & p_{n}^{\tilde{F} \tilde{T}} \end{matrix}] .

(3)

h_{n} = [p_{n}^{\tilde{F} 1}, \dots, p_{n}^{11}, p_{n}^{\tilde{F} ` 2}, \dots, p_{n}^{22}, \dots, p_{n}^{1 \tilde{T}}] .

생성된 $N$ 개의 노드 벡터 $\{h_{1}, h_{2}, \dots, h_{N}\}$ 는 열 방향으로 정렬되어 노드 행렬 $H$ 를 구성한다.

https://static.apub.kr/journalsite/sites/ask/2024-043-02/N0660430211/images/ASK_43_02_11_F3.jpg

Fig. 3.

(Color available online) Method of generating the node vector from the image patch.

그래프의 인접 행렬 $A ∊ ℝ^{N \times N}$ 는 Eq. (4)와 같이 정의되며, 각 요소 값 $a_{i j}$ 는 $i$ 와 $j$ 번째 노드 벡터 $h_{i}$ , $h_{j}$ 간의 간선 정보를 나타낸다.

(4)

A = [\begin{matrix} a_{11} & \dots & a_{1 N} \\ ⋮ & ⋱ & ⋮ \\ a_{N 1} & \dots & a_{N N} \end{matrix}] .

$A$ 는 $\{h_{1}, h_{2}, \dots, h_{N}\}$ 의 노드 벡터들 간 거리를 기반으로 Table 1과 같이 생성된다. 먼저, 노드 벡터들 간 거리를 계산하여 $h_{i}$ 와 인접한 $K$ 개의 노드 벡터를 탐색한다. 여기서 $h_{i}$ 와 $h_{j}$ 간 거리 $d_{i j}$ 는 Eq. (5)와 같이 계산된다.

(5)

d_{i j} = ∥ h_{i} - h_{j} ∥_{2} .

이후 인접한 $K$ 개 노드 벡터의 인덱스 $\{j_{1}, j_{2}, \dots, j_{K}\}$ 를 추출하고, $A$ 의 $(i, j_{k})$ 번째 요소 값 $a_{i j_{k}}$ 를 1로 설정한다. 결과적으로, 본 논문에서는 0과 1의 이진 값을 가지는 방향성 그래프를 생성한다.

Table 1.

Procedure for generating the adjacency matrix.

Input:
Node vectors:

\{h_{1}, h_{2}, \dots, h_{N}\}

Number of connection for each node:

K

Output:
Adjacency matrix:

A

1: Initialize

A

as an matrix of zeros
2: for

i = 1, 2, \dots, N

do
3: Find

K

nearest node vectors
4: Update

K

indices:

\{j_{1}, j_{2}, \dots, j_{K}\}

5: for

k = 1, 2, \dots, K

do
6: Set

(i, j_{k})

th element of

A

a_{i j_{k}} = 1

7: end
8: end

영상 패치를 이용하여 생성된 $H$ 와 $A$ 는 그래프 신경망에 입력되어 Fig. 1과 같이 노드 임베딩을 수행한 후 리드아웃 층을 거쳐 완전 연결층과 소프트맥스 연산을 통해 분류된다.

III. 실험 및 결과

3.1. 데이터 구성 및 그래프 표현

공개된 수동소나 데이터인 ShipsEar database^[24]를 이용하여 제안하는 알고리즘의 성능을 평가한다. 본 논문에서는 ShipsEar database의 11종 선박신호 중에서 학습 데이터를 충분히 확보할 수 있는 모터보트, 여객선 등 5종의 선박 신호를 사용한다. Fig. 4는 훈련 및 평가에 사용되는 선박 신호의 대표적인 스펙트로그램을 나타낸다. 선박은 저속 및 고속 이동에 따라 스펙트로그램의 형태가 달라지므로 이를 나누어 도시하였다.

https://static.apub.kr/journalsite/sites/ask/2024-043-02/N0660430211/images/ASK_43_02_11_F4.jpg

Fig. 4.

(Color available online) Spectrograms according to ship type and operating speed.

실험에 사용되는 데이터는 75 % 오버랩하여 4 s 길이로 생성되었다. 각 선종 별 학습 데이터는 무작위로 400개가 선택되고, 평가 데이터는 잔여 데이터 중 학습 데이터와 신호가 중첩되지 않도록 80개 선택된다. Table 2는 학습 및 평가에 사용되는 선박신호의 데이터 처리를 위한 설정 값들을 보여준다. 실험에 사용되는 데이터는 1.8 kHz 표본화율을 가지며, 0.1 s 단위 시간 윈도우와 93 %의 오버랩을 적용한 스펙트로그램으로 변환된다. 스펙트로그램은 17.18 Hz의 주파수 빈 간 간격을 가지며, (512, 512)의 크기를 갖는다. 본 논문에서는 2.3절에 제안된 알고리즘을 이용하여 스펙트로그램을 방향성 그래프로 표현한다. 여기서, 단일 패치 영상의 시간과 주파수 범위는 Table 2에 기술한 바와 같이 2,250 Hz와 1 s로 설정한다.

Table 2.

Parameters and settings for data processing.

Audio data
Sampling rate	1.8 kHz
Signal length	4 sec
Window length	0.1 sec
Overlap ratio	93 %
Frequency interval	17.18 Hz
Input size	512 × 512
Graph representation
Patch size ( $\tilde{F} \times \tilde{T}$ )	128 × 128
Patch overlap ratio ( $r_{o}$ )	0.5
Number of nodes ( $N$ )	49
Nearest Neighbors ( $K$ )	8
Frequency range [Hz]	2,250 Hz
Time range [s]	1 sec

Fig. 5는 Fig. 4의 스펙트로그램으로부터 표현된 그래프를 보여준다. 선박의 저속 운동 시의 신호로부터 표현된 그래프는 저주파 대역에서는 주파수 변이가 적은 선 주파수 특성을 반영하여 시간 축 방향으로 노드 간 연결을 갖는다. 반면, 고속으로 접근 중 관측된 경우는 선 주파수의 기울기가 형성되어 고주파 대역의 주파수 변이에 따른 노드 간 연결을 확인할 수 있다.

https://static.apub.kr/journalsite/sites/ask/2024-043-02/N0660430211/images/ASK_43_02_11_F5.jpg

Fig. 5.

(Color available online) Represented graphs from spectrograms.

3.2. 분류 모델 구현

본 절에서는 제안된 알고리즘과 함께 게이트 순환 유닛 신경망(Gated Recurrent Unit network, GRU), 합성곱 신경망, 잔차 연결된 합성곱 신경망(Residual neural network-4, ResNet-4)을 구현한다. 구현하는 모든 네트워크의 완전 연결 층은 128, 5개의 은닉 유닛을 갖는 2층으로 구성되며, 소프트맥스 연산을 수행한다.

게이트 순환 유닛 네트워크는 512개의 게이트 순환 유닛을 가지는 4층의 게이트 순환 유닛 네트워크로 구성된다. 각 게이트 순환 유닛은 층별로 256, 128, 64, 32 길이의 벡터를 출력한다. 또한, 과적합 방지를 위해 4번째 층 이후 0.3의 드롭아웃을 수행한다.

합성곱 신경망은 64, 64, 32, 32개의 합성곱 필터, 3, 3, 2, 2의 커널 크기로 구성되는 4층의 은닉층을 갖는다. 각 층에서는 Rectified Linear Unit(ReLU) 활성화 함수를 사용하며, 연산 이후에 배치 정규화를 수행한다. 또한, 2개의 층마다 2의 필터 크기와 2의 스텝 크기를 갖는 Max pooling을 수행한다. 마찬가지로, 잔차 연결된 합성곱 신경망은 합성곱 신경망과 같이 4층의 은닉층으로 구성된다. 단, 두 개의 은닉층은 하나의 잔차 블록으로 구성되고, 잔차 블록의 입력이 잔차 블록의 출력에 합성되어 다음 층으로 전달된다.

4층의 그래프 합성곱 신경망은 256, 128, 64, 32 크기의 임베딩된 노드 벡터를 출력한다. 이후, 각 층의 노드 벡터를 순차적으로 결합하여 SortPool을 수행한다.

구현된 4종의 분류 모델은 AMD의 “Ryzen 5 5600X 6-Core Processor” Computing Processing Unit(CPU)과 NVIDIA으로 “Geforce RTX 3060 Ti” Graphical Processing Unit(GPU)으로 구동되었으며, 모두 동일하게 32 배치 크기, 500 Epoch 설정과 0.01 학습률의 SGD optimizer를 사용하여 학습된다.

3.3. 분류 결과

Table 3은 4종의 분류 모델에 대해 선박 종류 별로 10회 평균한 분류 정확도, 학습 파라미터 개수, 에폭 당 훈련과 추론 시간 그리고 전처리 시간을 나타낸다. 여기서 전처리 시간은 스펙트로그램의 그래프 표현을 위해 소요 되는 시간을 의미한다.

Table 3.

Accuracy in %, number of parameters (# parameters), training time, inference time and preprocessing time for classification algorithms evaluated by ShipsEar dataset.

Ship type	GRU	CNN	ResNet-4	GCN
Motor boat Mussel boat Ocean liner Passengers RORO ship	70.25 89.25 72.75 75.25 84.00	77.75 89.50 87.25 78.75 88.50	82.75 90.50 90.25 85.50 91.25	90.00 89.50 94.75 93.75 94.50
Total accuracy (%)	78.3	84.35	88.05	92.50
# Parameters (mega)	6.5	14.5	25.6	4.5
Training time (s)	8.12	7.11	7.78	5.60
Inference time (s)	0.219	0.036	0.117	0.017
Preprocessing time (s)	-	-	-	0.011

제안하는 그래프 기반 분류 알고리즘은 기존의 방법들과 비교하여 최소 4.45 % 높은 92.50 %의 우수한 정확도를 보여준다. 또한, 비교 모델들에 비해 최소 30.7 % 적은 학습 파라미터를 가지며, 단일 에폭의 훈련 시간은 5.6 s, 추론 시간은 0.017 s로 가장 적은 시간이 소요된다. 이는 제안된 알고리즘으로 표현된 그래프가 유의미한 지역 및 전역적인 연결을 포함하기에 그래프 신경망이 이를 활용하여 적은 연산량으로 효율적인 특징 추출이 가능하다는 것을 보여준다. 하지만, 훈련과 추론 시 단일 데이터의 그래프 표현을 위해 0.011 s의 추가적인 전처리 시간이 요구된다. 이러한 추가적인 전처리 시간에도 불구하고, 제안하는 그래프 기반 분류 알고리즘은 비교 모델들에 비해 최소 23 % 적은 시간으로 추론을 수행한다.

Fig. 6는 분류 알고리즘에 따른 대표적인 혼동 행렬을 보여준다. Fig. 6에서 기존의 분류 알고리즘들은 최소 2종의 선박에서 10개 이상의 오분류를 갖는 것을 확인할 수 있다. 반면에, 그래프 기반 분류 알고리즘은 모든 선종에서 8개 이하의 오분류를 갖는다. 추가적으로, Fig. 7은 완전 연결 층의 출력 벡터에 대한 t-SNE plot을 보여준다. 여기서, 기존 알고리즘들에 비해 그래프 기반 분류 알고리즘에서 높은 변별력을 갖는 것을 확인할 수 있다. 특히, 잔차 연결된 합성곱 신경망에서 군집되지 않는 신호들이 제안된 알고리즘에서는 군집화되어 표현된다.

https://static.apub.kr/journalsite/sites/ask/2024-043-02/N0660430211/images/ASK_43_02_11_F6.jpg

Fig. 6.

(Color available online) Confusion matrices. (a) GRU, (b) CNN, (c) ResNet-4, (d) GCN.

https://static.apub.kr/journalsite/sites/ask/2024-043-02/N0660430211/images/ASK_43_02_11_F7.jpg

Fig. 7.

(Color available online) t-SNE plot. (a) GRU, (b) CNN, (c) ResNet-4, (d) GCN.

그래프 신경망의 리드아웃 방식과 스펙트로그램의 그래프 변환에서 주요한 매개변수인 $r_{o}$ , $\tilde{F}$ , $\tilde{T}$ , $K$ 에 따른 성능을 평가한다. Table 4는 리드아웃 방식에 따른 분류 정확도를 제시한다. Table 4에서 리드아웃 방식 중 Sortpool 방식이 최소 2.05 % 높은 정확도를 갖는 것을 보여준다. Fig. 8은 $r_{o}$ 가 0과 0.5인 경우에서 $\tilde{F}$ 와 $\tilde{T}$ 에 따른 분류 정확도를 보여준다. Fig. 8(a)에서 $r_{o}$ 가 0인 경우에는 $\tilde{F}$ 와 $\tilde{T}$ 의 변이에 따라 17.75 %의 높은 정확도 편차를 갖는다. 반면에, $r_{o}$ 가 0.5인 경우에는 $\tilde{F}$ 와 $\tilde{T}$ 의 변이에도 단지 3.50 %의 낮은 정확도 편차를 갖는다. Fig. 8(b)는 $K$ 에 따른 분류 정확도를 보여준다. 여기서, $r_{o}$ 는 0.5, $\tilde{F}$ 와 $\tilde{T}$ 는 128로 설정된다. Fig. 8(b)에서 $K$ 가 3에서 25까지 변이하여도 최소 88.76 %의 분류 정확도를 갖는 것을 확인할 수 있다. 이러한 결과는 $K$ 의 변화에도 기존 알고리즘들과 비교하여 우수한 성능을 보여준다.

Table 4.

Accuracy in % for readout methods evaluated by ShipsEar dataset.

Readout methods	Sum	Mean	Max	Sortpool
Accuracy (%)	90.30	89.85	90.45	92.50

https://static.apub.kr/journalsite/sites/ask/2024-043-02/N0660430211/images/ASK_43_02_11_F8.jpg

Fig. 8.

(Color available online) Classification accuracies according to (a) parameters　 $r_{o}$ , $\tilde{F}$ , and $\tilde{T}$ and (b) parameter $K$ .

IV. 결 론

본 논문에서는 수동소나의 표적신호를 효율적으로 학습할 수 있는 그래프 기반 분류 알고리즘을 제안하였다. 제안하는 알고리즘은 스펙트로그램을 다수의 영상 패치로 분할하고 인접 거리의 영상 패치들을 서로 연결하여 방향성 그래프를 생성한다. 이후, 생성된 그래프들을 이용하여 그래프 합성곱 신경망을 학습하고 표적 신호를 분류한다. 공개된 수동소나 데이터를 이용한 실험에서 제안된 그래프 기반 분류 알고리즘은 기존의 합성곱 신경망과 순환신경망 기반 분류 알고리즘에 비해 적은 계산량으로 최소 4.45 % 높은 92.50 %의 우수한 분류 정확도를 보였다.

수동소나 기반 수중 감시체계에서는 신속한 상황 인식이 필수적이다. 제안된 그래프 기반 분류 알고리즘은 적은 학습 파라미터와 연산량을 이용한 학습 및 추론으로 수동소나 기반 감시의 효율성을 향상시킬 수 있다. 향후 다양한 수동소나 감시 환경과 시스템의 요구사항을 충족시키기 위한 그래프 신경망의 최적화 설계에 관한 연구가 필요하다. 이러한 연구는 그래프 기반 기술의 적용 범위를 넓히고, 수동소나 기반 감시체계의 성능을 극대화할 것으로 기대된다.

Acknowledgements

이 논문은 2024학년도 제주대학교 교원성과지원사업에 의하여 연구되었음.

References

H. J. Lee, I. S. Seo, and K. S. Bae, "Separation of passive sonar target signals using frequency domain independent component analysis" (in Korean), J. Acoust. Soc. Kr. 35, 110-117 (2016). 10.7776/ASK.2016.35.2.110

R. J. Urick, Principles of Underwater Sound (McGraw-Hill, New York, 1993), pp. 302-310.

J. K. Ahn, H. D. Cho, D. Shin, T. Kwon, and G. T. Kim, "LOFAR/DEMON grams compression method for passive sonar" (in Korean), J. Acoust. Soc. Kr. 39, 28-46 (2020).

S. E. Lee, S. B. Hwang, and D. Y. Noh, "A study on the algorithm for underwater target automatic classification using the passive sonar" (in Korean), J. KIMS Technol. 3, 76-84 (2000).

H. S. Kim, "Intelligent feature extraction and scoring algorithm for classification of passive sonar target" (in Korean), J. Korean Inst. Intell. Syst. 19, 629-634 (2009). 10.5391/JKIIS.2009.19.5.629

J. d. C. V. Fernandes, N. N. de Moura Junior, and J.M. de Seixas, "Deep learning models for passive sonar signal classification of military data," Remote Sens. 14, article no. 2648 (2022). 10.3390/rs14112648

C. Satheesh, S. Kamel, A. Mujeeb, and M. H. Supriya, "Passive sonar target classification using deep generative β-VAE," IEEE Signal Process Lett, 28, 808-812 (2021). 10.1109/LSP.2021.3071255

V. S. Doan, T. Huynh-The, and D. S. Kim, "Underwater acoustic target classification based on dense convolutional neural network," IEEE Geosci. Remote Sens. Lett. 19, 1-5 (2022). 10.1109/LGRS.2020.3029584

S. Kim, S. K. Jung, D. Kang, M. Kim, and S. Chon, "Application of the artificial intelligence for automatic detection of shipping noise in shallow-water" (in Korean). J. Acoust. Soc. Kr. 39, 279-285 (2020).

K. B. Lee, G. H. Ko, and C. H. Lee, "Passive sonar signal classification using attention based gated recurrent unit" (in Korean). J. Acoust. Soc. Kr. 42, 345-356 (2023).

S. Kamal, C. S. Chandran, and M. H. Supriya, "Passive sonar automated target classifier for shallow waters using end-to-end learnable deep convolutional LSTMs," Eng. Sci. Technol. an Int. J. 24, 860-871 (2021). 10.1016/j.jestch.2021.01.014

F. Liu, T. Shen, Z. Luo, D. Zhao, and S. Guo, "Underwater target recognition using convolutional recurrent neural networks with 3-D Mel-spectrogram and data augmentation," Appl. Acoust. 178, article no. 107989 (2021). 10.1016/j.apacoust.2021.107989

P. H. C. Avelar, A. R. Tavaras, T. L. T. da Silveira, C. R. Jung, and L. C. Lamb, "Superpixel image classification with graph attention networks," Proc. 33rd SIBGRAPI, 203-209 (2020). 10.1109/SIBGRAPI51738.2020.00035

P. Sellars, A. I. Aviles-Rivero, and C. B. Schonlieb, "Superpixel contracted graph-based learning for hyperspectral image classification," IEEE Trans Geosci Remote. 58, 4180-4193 (2020). 10.1109/TGRS.2019.2961599

C. Aironi, S. Cornell, E. Principi, and S. Squartini, "Graph-based representation of audio signals for sound event classification," Proc. 29th EUSIPCO, 566-570 (2021). 10.23919/EUSIPCO54536.2021.9616143

Y. C. Jung, B. U. Kim, S. K. An, W. J. Seong, and K. H. Lee, "An algorithm for submarine passive sonar simulator" (in Korean), J. Acoust. Soc. Kr. 32, 472-483 (2013). 10.7776/ASK.2013.32.6.472

M. Deaett, "Signature modeling for acoustic trainer synthesis," IEEE J. Ocean. Eng. 12, 143-147 (1987). 10.1109/JOE.1987.1145249

S. H. Kang, "A study on the Lloyd's mirror effect on the underwater radiated noise for the underwater vehicle" (in Korean), J. Acoust. Soc. Kr. 40, 314-319 (2021).

L. E. Kinsler, A. R. Frey, A. B. Coppens, and J. V. Sanders, Fundamentals of Acoustics (John Wiley & Sons, New Jersey, 1999), pp. 446-448.

M. Zhang, Z. Cui, M. Neumann, and Y. Chen, "An end-to-end deep learning architecture for graph classification," Proc. 32nd AAAI. Conf. Artificial Int. 4438-4445 (2018). 10.1609/aaai.v32i1.11782

T. N. Kipf and M. Welling, "Semi-supervised classification with graph convolutional networks," arXiv preprint, (2016).

N. Shervashidze, P. Schweitzer, E. J. Van Leeuwen, K. Mehlhorn, and K. M. Borgwardt, "Weisfeiler-lehman graph kernels," J. Mach. Learn. Res. 12, 2539-2561 (2011).

Z. Ying, J. You, C. Morris, X. Ren, W. Hamilton, and J. Leskovec, "Hierarchical graph representation learning with differentiable pooling," 32nd Adv. Neural Inf. Process. Syst. 1-11 (2018).

D. S. Domingues, S. T. Guizarro, A. C. Lopez, and A. P. Gimenez, "ShipsEar: An underwater vessel noise database," Appl. Acoust. 113, 64-69 (2016). 10.1016/j.apacoust.2016.06.008

The Journal of the Acoustical Society of Korea 한국음향학회지 ISSN:1225-4428(Print) 2287-3775(Online)

Preview

Passive sonar signal classification using graph neural network based on image patch

ABSTRACT

MAIN

Fig. 1.

(Color available online) The graph classification process using GCN with single layer.

(1)

Fig. 2.

(Color available online) Overview of the proposed graph representation algorithm with F=512, T=512, F~=128, T~=128, ro=0.5 and K=2.

(2)

(3)

Fig. 3.

(Color available online) Method of generating the node vector from the image patch.

(4)

(5)

Table 1.

Procedure for generating the adjacency matrix.

Fig. 4.

(Color available online) Spectrograms according to ship type and operating speed.

Table 2.

Parameters and settings for data processing.

Fig. 5.

(Color available online) Represented graphs from spectrograms.

Table 3.

Accuracy in %, number of parameters (# parameters), training time, inference time and preprocessing time for classification algorithms evaluated by ShipsEar dataset.

Fig. 6.

(Color available online) Confusion matrices. (a) GRU, (b) CNN, (c) ResNet-4, (d) GCN.

Fig. 7.

(Color available online) t-SNE plot. (a) GRU, (b) CNN, (c) ResNet-4, (d) GCN.

Table 4.

Accuracy in % for readout methods evaluated by ShipsEar dataset.

Fig. 8.

(Color available online) Classification accuracies according to (a) parameters ro, F~, and T~ and (b) parameter K.

Acknowledgements

References

(Color available online) Overview of the proposed graph representation algorithm with $F = 512$ , $T = 512$ , $\tilde{F} = 128$ , $\tilde{T} = 128$ , $r_{o} = 0.5$ and $K = 2$ .

(Color available online) Classification accuracies according to (a) parameters　 $r_{o}$ , $\tilde{F}$ , and $\tilde{T}$ and (b) parameter $K$ .