Side scan sonar image super-resolution using an improved initialization structure

Junyeop Lee; Bon-hwa Ku; Wan-Jin Kim; Hanseok Ko

doi:10.7776/ASK.2021.40.2.121

Preview

Research Article

The Journal of the Acoustical Society of Korea. 31 March 2021. 121-129
https://doi.org/10.7776/ASK.2021.40.2.121

Side scan sonar image super-resolution using an improved initialization structure

향상된 초기화 구조를 이용한 측면주사소나 영상 초해상도 영상복원

Junyeop Lee¹

Bon-hwa Ku¹

Wan-Jin Kim²

Hanseok Ko¹^*

이 준엽¹

구 본화¹

김 완진²

고 한석¹^*

¹고려대학교

²국방과학연구소

^{*Corresponding Author}

ABSTRACT

This paper deals with a super-resolution that improves the resolution of side scan sonar images using learning-based compressive sensing. Learning-based compressive sensing combined with deep learning and compressive sensing takes a structure of a feed-forward network and parameters are set automatically through learning. In particular, we propose a method that can effectively extract additional information required in the super-resolution process through various initialization methods. Representative experimental results show that the proposed method provides improved performance in terms of Peak Signal-to-Noise Ratio (PSNR) and Structure Similarity Index Measure (SSIM) than conventional methods.

Keywords

Compressive sensing

Deep learning

Underwater sonar image

Super resolution

본 논문에서는 학습 기반 압축 센싱을 이용하여 측면 주사 소나 영상의 해상도를 향상하는 초해상도 기법을 다룬다. 딥러닝과 압축 센싱이 접목된 학습 기반 압축 센싱은 구조적인 측면에서 피드-포워드(feed forward) 네트워크 형태이며 학습을 통하여 파라미터들을 자동으로 설정하게 된다. 본 논문에서는 초해상도 과정에서 필요한 추가 정보들을 다양한 초기화 방법을 통해 효과적으로 추출할 수 있는 방법을 제안한다. 다양한 모의 실험에서 제안하는 방법은 기존 방식보다 Peak Signal-to-Noise Ratio(PSNR) 및 Structure Similarity Index Measure(SSIM) 지표상 향상된 성능 결과를 나타내었다.

키워드

압축 센싱

딥러닝

수중 소나 영상

초 해상도 복원

MAIN

I. 서 론
II. 관련 연구
2.1 Iterative Shrinkage and Thresholding Algorithm(ISTA)
2.2 ISTA-NET
2.3 SENET
III. 제안 방법
3.1 기존모델 비교
3.2 초기화 모듈
3.3 ISTA 블록
3.4 픽셀 공간 투사 upsampling 모듈
3.5 손실 함수
IV. 실험 결과
4.1 측면 주사 소나 초 해상도 복원
4.2 측면 주사 소나 초 해상도 복원 실험 결과
V. 결 론

I. 서 론

수중영상을 통한 해양 탐사 연구는 지속적인 관심을 받고 있으며, 국방영역과 민간영역 두 분야에서 활발하게 발전되고 있다. 두 분야에서 해저면 물체 식별 및 인식을 위한 수중 시각화는 공통적인 관심 요소이다. UAV, 기뢰 식별과 같은 국방 분야와 지질 조사, 광물 탐사와 같은 민간 분야에서 연구들이 활발히 진행되고 있으며, 측면 주사 소나는 수중 영상을 획득할 수 있는 널리 알려진 능동형 원격탐사 기기로 일반적인 광학 영상 기기와 다른 특성을 가지고 있다. 측면 주사 소나 영상 시각화의 가장 큰 이슈는 운용 주파수에 따른 촬영 범위와 해상도 사이의 트레이드-오프 관계이다. 저주파 측면 주사 소나는 유전체 손실, 피층 효과 등이 작아 넓은 영역 촬영에 적합하지만, 고화질 영상을 얻을 수 없다. 반대로 고주파 측면 주사 소나는 고해상도의 영상 획득이 가능하지만, 촬영범위가 협소하여 광범위한 해저면 영상이 획득될 수 없다. 저해상도의 측면 주사 소나 영상을 고해상도 영상으로 개선하는 기술은 측면 주사 소나를 이용한 효율적 수중 탐색에 중요한 요소가 될 수 있다.

광학 영상의 초해상도 복원 연구는 최근 딥러닝 기반의 여러 기법이 제시되었으며 기존 결과들을 넘어서는 우수한 성능 결과를 보여주고 있다.^[1] 하지만 수중 소나 영상의 초해상도 복원 연구는 광학 영상과는 달리 질적/양적으로 부족한 훈련 데이터 등 제약적인 요소로 인해 활발한 연구가 진행되지 못하고 있다. 압축 센싱 연구는 2006년 “IEEE Trans. on Information Theory”에 발표된 이론으로 대부분의 값이 $0$ 인 성긴 신호에 대해 적은 수의 선형측정으로 원신호를 복원시킬 수 있다.^[2] 수중영상의 희소성을 분석, 스파스 코딩 관점이 측면 주사 소나 영상 복원에 효과적임이 증명되었다.^[3] 학습기반 영상개선은 필요한 파라미터들을 학습을 통해 자동적으로 설정하게 되는데 최근에는 딥러닝 네트워크와의 접목을 통해 우수한 성능을 획득하고 있다.^[4] 2018년 “CVPR” 학회에서 발표된 “ISTA- NET”은 이러한 장점을 결합하여 제안된 학습기반 압축 센싱 네트워크로 “ISTA-NET”의 모든 파라미터는 자동화되어 학습 가능하며, 영상 복원에 탁월한 성능을 보인다.^[5]

본 논문에서는 학습 기반 압축 센싱 네트워크를 수중 소나 영상의 초해상도 복원에 적용하는 방법에 대해 다룬다. 제안하는 학습 기반 압축 센싱 네트워크는 ISTA-NET의 기본 구조를 따르고 있다. 해상도 향상을 위해 본 논문에서는 초기화 부분을 개선하는 접근 방법을 제안하였으며 영상 재구성을 위한 확장 레이어를 추가하여 초해상도 복원을 위한 학습 기반 압축 센싱 네트워크를 구성하였다. 초해상도 복원 네트워크의 경량화를 위해 효과적인 특징 정보 추출을 위한 초기화는 저해상도 공간에서 추출하는 방식을 채택하였다. 다양한 측면 주사 소나 영상에 대한 모의 실험을 통해 제안된 방식의 우수성을 입증하였다.

본 논문의 구성은 다음과 같다. II장에서는 관련 연구에 대한 소개를, III장은 제안 방식들에 대한 세부 내용을 알아본다. IV장 에서는 제안 방식들의 실험 결과를 보여주며, V 장은 본 논문의 결론을 기술한다.

II. 관련 연구

2.1 Iterative Shrinkage and Thresholding Algorithm(ISTA)

압축 센싱 관점에서 관측 신호 $y$ 을 토대로 원신호 $x$ 를 복원하는 문제는 Eq. (1)과 같이 표현할 수 있다.

(1)

\min_{x} \frac{1}{2} | | y - Φ x | |_{2}^{2} + λ | | Ψ x | |_{1},

여기서 $Φ$ 는 측정 행렬, $Ψ$ 는 신호 x를 sparse 공간으로 변환해주는 변환 행렬, $λ$ 는 정규화 파라미터를 나타낸다. ISTA는 Eqs. (2), (3) 단계를 반복하면서 Eq. (1)의 최적화 해를 찾게 된다.

(2)

r^{(k)} = x^{(k - 1)} - ρ Φ^{T} (Φ x^{(k - 1)} - y),

(3)

x^{(k)} = {argmin}_{x} \frac{1}{2} | | y - r^{(k)} | |_{2}^{2} + λ | | Ψ x | |_{1},

여기서 $k$ 는 반복 단계, $ρ$ 는 스텝 크기 이다.

2.2 ISTA-NET

ISTA-NET은 전통적인 압축 센싱 방법인 ISTA를 학습기반 네트워크로 확장한 모델이다. 최적화 해를 찾기 위해 필요한 $Ψ$ 변환 및 문턱치 값들을 경험적으로 수동 설정해야 것을 딥러닝 네트워크를 통해 자동으로 설정할 수 있는 네트워크 형태로 구성하였다. Eq. (4)에서의 $A, B$ 는 각각의 3x3 “filter”를 가지는 “convolutional operator”이고, F(x)는 Rectified Linear Unit(ReLU) 비선형 변환을 통한 함수이다.

(4)

F (x) = B ∙ R e L U (A x) .

2.3 SENET

Squeeze and Excitation(SE) NET은 특징 정보의 압축과 재조정을 통해 효율적인 학습을 유도한다.^[6] 압축과 재조정은 각각 Eqs. (5)와 (6)를 통하여 진행된다.

(5)

z_{c} = F_{s q} (u_{c}) = \frac{1}{H W} \sum_{i = 1}^{H} \sum_{j = 1}^{W} u_{c} (i, j) .

(6)

s = F_{e x} (z, W) = σ (W_{2} δ (W_{1} z)),

여기서 $H$ , $W$ , $C$ 는 특징맵의 높이, 폭, 채널 크기를 나타낸다. $u_{c}$ 는 c번째 필터의 파라미터이며, $F_{s q}$ 는 입력 이미지 공간에서의 평균 연산을 나타낸다. $F_{e x}$ 는 2개의 완전 연결층과( $W_{1}, W_{2}$ ) $δ$ 와 $σ$ 는 각각 ReLU( $δ$ ) 함수, sigmoid 함수( $σ$ )로 구성된다.

III. 제안 방법

본 논문에서는 Fig. 1과 같이 ISTA 기반의 초해상도 학습형 압축 센싱 모델을 제안한다. 제안 모델은 초기화 모듈, 특징맵을 희소하게 표현해 주는 ISTA- block 모듈, 초해상도 영상 차원으로 특징을 변환해주는 업샘플링 모듈로 구성된다.

https://static.apub.kr/journalsite/sites/ask/2021-040-02/N0660400203/images/ASK_40_02_03_F1.jpg

Fig. 1.

(Color available online) Overview of the proposed algorithm network.

3.1 기존모델 비교

1) 기존 모델

연구에서 기초모델로 사용된 ISTA-NET은 압축센싱을 적용한 잡음제거 모델을 제안했으며, SE-NET은 전반적인 딥러닝 모델에 적용 가능한 특징 활용방식을 제안하였다. ISTA-NET에서의 초기화 모듈은 잡음제거 방식에 맞게 선형맵핑 방식을 제안하였다. ISTA-NET에서는 학습가능한 선형 Convolutional operator들로 기존 ISTA 모델안의 모듈을 대체했으며, 이는 “3x3 conv”을 기본으로 구성한다.

2) 기존 모델과의 차이점

본 연구에서는 최소 자승 방식으로 초기화를 추정해 기초적인 잡음제거를 수행하는 잡음제거 모델과는 달리, 조금 더 풍부한 특징을 추출하여 초해상도 복원에 활용하여 성능을 향상할 수 있는 다양한 초기화 방식을 제안하였으며, 추출된 정보를 활용하여 초해상도 복원을 수행하기 위한 학습 가능한 픽셀공간 투사 모듈을 제안하였다.

3.2 초기화 모듈

초기화 모듈은 Fig. 1과 같이 입력 영상을 특징 공간으로 변환해주는 “Feature space mapping” 부분과 고해상도 영상 확장을 위한 “Initialization”부분으로 구성된다. “Feature space mapping”은 2개의 “3x3conv” 연산과 “ReLU” 비선형 변환을 통해 입력 영상을 특징 공간으로 변환하고 비선형적 특징이 추출된다. “Initialization”은 고해상도 영상 복원을 위한 정보를 1차적으로 획득하는 과정이다. 일반적으로 고해상도 영상 복원을 위한 “Initialization”은 “bicubic” 보간을 통해 영상 혹은 특징을 확장해 주게 된다. 그러나 확장된 공간에서 초해상도 네트워크 모델을 학습시키는 방법은 계산량 문제와 신호 왜곡문제점들이 발생할 가능성이 있다.^[7] 본 논문에서는 공간상의 확장에 필요한 정보를 채널의 확장을 통해 추정하는 방식을 제안한다. 채널 확장을 통한 고해상도 정보 추출 방식은 학습 모델 파라미터를 줄이면서도 복원 정보를 추정하는 이점을 지닌다. Fig. 2와 같이 단순 채널 확장 초기화 방식과 더불어 주요한 채널 정보에 가중치를 두어 채널 확장하는 방식을 제안한다.

https://static.apub.kr/journalsite/sites/ask/2021-040-02/N0660400203/images/ASK_40_02_03_F2.jpg

Fig. 2.

(Color available online) Structure of the initialization layer.

1) 기본 초기화 모듈

기본 초기화 모듈은 초기화 부분을 64 채널의 “3x3 conv” 3개로 구성해 네트워크의 기초적 초 해상도 복원 성능을 검증한다. 초 해상도 복원에 필요한 정보가 선별되지 않았을 때의 압축 센싱을 이용한 학습기반 네트워크의 기초적 성능을 알아보기 위함이다.

2) Bottleneck 초기화 모듈

병목(Bottleneck) 초기화 모듈에서는 채널이 점점 감소하다 증가하는 추세의 병목 구조를 통해 입력특징이 $x^{(0)}$ 로 초기화된다. 채널이 확장된 특징 정보들이 초 해상도 복원에 유의미한 초기화 값을 형성하기 위해 병목 구조를 제안한다. 확장된 채널 정보 중 중요 여부에 대한 필터링 과정을 채널의 병목 구조를 통해 얻는다.

3) SE 초기화 모듈

SE 초기화 모듈에서는 채널을 통과한 정보들의 필터링 과정에서 나아가 정보의 가중치를 가하기 위해 “3x3 conv”과 SE 블록을 연결하여 설계한다. SE 블록을 “3x3 conv” 뒤에 구성해 채널의 추출된 입력 영상의 특징 중 초 해상도 복원에 도움을 주는 특징에 가중치를 더한다. 가중치로 인해 모델을 학습시킬때 고해상도 복원에 효과적인 정보들을 더욱 반영하도록 하고자 하였다.

3.3 ISTA 블록

ISTA 블록의 수식은 Eqs. (7), (8)로 표현할 수 있다. 각각의 표현은 특징 표현 공간으로 매핑된 저해상도 영상의 특징 표현 $y_{f}$ , 특징 공간 내에서 추출되는 특징 표현 $x^{(k)}$ , 측정 행렬 $Φ$ , $Φ^{T}$ 에 대응되는 $H^{(k)}$ , ${\tilde{H}}^{(k)}$ 와 $Ψ$ , $Ψ^{T}$ 에 대응되면서 $x^{(k)}$ 가 희소(sparse) 해질 수 있는 변환 공간 $F^{(k)}, {\tilde{F}}^{(k)}$ 이다. $H^{(k)}$ , ${\tilde{H}}^{(k)}$ 와 $F^{(k)}, {\tilde{F}}^{(k)}$ 은 서로 Restrict Isometry Property(RIP)를 만족하도록 학습하며 대칭적인 성질을 가진다.

(7)

r^{(k)} = x^{(k - 1)} - {\tilde{H}}^{(k)} (H^{(k)} x^{(k - 1)} - y_{f}) .

(8)

x^{(k)} = {\tilde{F}}^{(k)} (s o f t (F^{(k)} (r^{(k)}), θ^{(k)})) .

ISTA-block은 Fig. 3과 같이 1^st part와 2^nd part로 구성되어 있다. Eq. (7)의 1^st part는 측정 연산 $H^{(k)}$ 와 ${\tilde{H}}^{(k)}$ 의 계산으로 구성되며 $H^{(k)}$ 는 “3x3conv”, “down sample”, “3x3conv”로 표현된다. 파란색 상자의 채널 크기는 두께와 비례하며, ${\tilde{H}}^{(k)}$ 는 $H^{(k)}$ 의 역 구조를 가진다. Eq. (8)에 해당하는 2^nd part는 1^st part로부터 복원된 $r^{(k)}$ 를 변환 공간 $F^{(k)}$ 에서 $θ^{(k)}$ 파라미터를 가지는 “soft thresholding function” $s o f t (r^{(k)}, θ^{(k)})$ 으로 희소한 성질을 갖게 하고 ${\tilde{F}}^{(k)}$ 로 역변환하여 희소한 성질을 갖는 특징 표현으로 복원한다. $F^{(k)}$ 와 ${\tilde{F}}^{(k)}$ 는 두 개의 “3x3conv”사이에 “1x1conv”이 위치하여 비선형성을 강화하는 구조를 가지도록 설계되었다. 또한 $F^{(k)}$ 의 마지막 “3x3conv” 채널을 두 배로 구성하여 “over- complete” 사전의 역할을 한다. K-번의 ISTA- block을 통해 비선형 공간에서의 희소해 $x^{(K)}$ 를 얻는다.

https://static.apub.kr/journalsite/sites/ask/2021-040-02/N0660400203/images/ASK_40_02_03_F3.jpg

Fig. 3.

(Color available online) Structure of the ISTA block.

3.4 픽셀 공간 투사 upsampling 모듈

압축된 특징을 픽셀 공간으로 확장 투사를 위해 복원 영상 신호 $x^{(K)}$ 는 Fig. 4의 “Upsampling layer”를 통과한다. 특징 표현은 저해상도 차원에서 ISTA-block을 거쳐 고해상도 공간으로 가기 위해 해상도를 늘려주는 “Upsampling layer”를 통과하게 되며, “Upsampling layer”는 연속된 두 개의 “Deconv layer”와 “3x3conv”와 “1x1conv”으로 이루어져 있다. 입력특징은 특징 공간에서 픽셀 공간으로 영상 크기를 늘려 최종 복원 결과를 얻게 된다. Fig. 4에서 64 채널과 32 채널로 표현된 검은색 “Deconv block”은 점근적으로 신호의 채널은 감소시키는 반면 공간 해상도는 확장하는 형태로 학습하게 된다. 첫 번째 “Deconv block”은 64개의 채널이 32개로 감소하게 되며, 공간 해상도는 채널 정보가 절반으로 감소하는 만큼 2배로 늘어나게 된다. 마찬가지로 두 번째 “Deconv block”에서는 32개의 채널을 16개로 개수를 차츰 줄여나가게 되며, 16채널의 특징값은 적색의 “3x3 conv”을 통하고,최종적으로 청색의 “1x1 conv”을 통해 1채널의 최종 복원 영상 값을 가진다.

https://static.apub.kr/journalsite/sites/ask/2021-040-02/N0660400203/images/ASK_40_02_03_F4.jpg

Fig. 4.

(Color available online) Structure of the upsampling layer.

3.5 손실 함수

초해상도 복원에서 제안하는 모델의 손실 함수는 총 3개로 구성되어 있으며 각각 복원 영상과 원본 영상의 차를 최소화하는 $L_{m a i n}$ , $H^{(k)}$ 와 ${\tilde{H}}^{(k)}$ 의 RIP ${\tilde{H}}^{(k)} \circ H^{(k)} = I$ 를 반영하는 $L_{H}$ , $F^{(k)}, {\tilde{F}}^{(k)}$ 의 RIP에 대응하는 $L_{F}$ ,이다. 학습 시 사용하는 최종 손실 함수는 다음과 같다.

(9)

L = L_{m a i n} + γ_{1} L_{H} + γ_{2} L_{F} .

(10)

\{\begin{cases} L_{m a i n} = \frac{1}{N_{b} N} \sum_{i = 1}^{N_{b}} | | x_{i} - x_{p r e d_{i}} | |_{2}^{2} L_{H} = \frac{1}{N_{b} N} \sum_{i = 1}^{N_{b}} \sum_{k = 1}^{K} | | {\tilde{H}}^{(k)} (H^{(k)} (x'_{i}^{(k)})) - x'_{i}^{(k)} | |_{2}^{2} . \\ L_{F} = \frac{1}{N_{b} N} \sum_{i = 1}^{N_{b}} \sum_{k = 1}^{K} | | {\tilde{F}}^{(k)} (F^{(k)} (r'_{i}^{(k)})) - r'_{i}^{(k)} | |_{2}^{2} \end{cases}

$γ_{1}$ , $γ_{2}$ 은 각 손실 함수의 정규화 상수이고, $N$ , $N_{b}$ , $K$ 는 각각 영상 패치 $x_{i}$ 의 크기, 미니배치 수, ISTA-block의 개수이다.

IV. 실험 결과

4.1 측면 주사 소나 초 해상도 복원

1) 측면 주사 소나 영상 분석

기존 측면 주사 소나 데이터와 새로 수집하게 된 측면 주사 소나 영상의 총 개수는 291장이며, 영상의 크기는 240x240부터 3005x5140까지 구성되어 있다. 교각, 배 등 물체를 담고 있는 영상은 총 102장으로 해저면 영상과 비율이 비슷하게 분포되어 있다. 테스트 영상은 240x240 크기의 각기 다른 물체를 포함한 20장 영상으로 구성한다. 네트워크 훈련 시 미니배치 집합은 2로 설정하였으며 정규화 상수는 모두 0.01을 사용했다. 실험 코드는 텐서플로를 사용하였으며 Intel Core i7-8700 CPU와 RTX2080Ti GPU를 이용하여 모델을 학습하였다.

4.2 측면 주사 소나 초 해상도 복원 실험 결과

1) ISTA-block 개수에 따른 성능 변화

Fig. 5는 ISTA-block 개수 K에 따른 제안 모델의 4배 초 해상도 복원 테스트 결과이다. 테스트 영상은 5개의 측면 주사 소나 영상을 샘플링하여 사용했으며, ISTA-block의 개수가 증가할수록 Peak Signal-to- Noise Ratio(PSNR) 성능이 수렴한다. 성능과 모델의 메모리 사용량 사이의 트레이드-오프를 고려하여 실험에서는 K는 5로 고정하여 실험을 진행한다.

https://static.apub.kr/journalsite/sites/ask/2021-040-02/N0660400203/images/ASK_40_02_03_F5.jpg

Fig. 5.

(Color available online) Comparison of the PSNR on scale 4 depends on the number of ISTA block iteration K.

2) 모델 간 비교 검증

Table 1에서는 전통적 초 해상도 복원인 “Bicubic” 보간법, 비 학습기반 압축 센싱 초 해상도 기법(ANRSE,^[8] ASDS,^[9] RSSC, RSSC-NL^[3])과, 학습형 압축 센싱 초 해상도 알고리즘의 테스트 영상의 해상도 별 초 해상도 복원 성능 비교이다. 알고리즘의 성능 측정은 PSNR, Structure Similarity Index Measure(SSIM)^[10]실행 시간의 비교를 통해 수행한다. 제안된 방식은 Table 1에서 볼 수 있듯 영상 1개를 초해상도 복원함에 있어 스케일 별 딥러닝 학습방식으로 처리속도가 획기적으로 감소하여 실시간 영상 처리가 가능하며, 전반적으로 SSIM 수치에서 제안한 학습기반 방식이 기존 비 학습 방식보다 우수했다. 또한, 3배 초 해상도 복원에서 기존 방식보다 PSNR,SSIM,실행시간 모두 우수한 성능을 보였다.

Table 1.

A comparison of the super-resolution performance of each resolution in the test image.

Method	Bi-cubic			ANRSE			ASDS
Scale	PSNR	SSIM	Time	PSNR	SSIM	Time	PSNR	SSIM	Time
3	22.01	0.418	0.02	22.34	0.461	14.97	23.85	0.571	152
4	21.24	0.367	0.02	21.29	0.378	15.52	22.79	0.474	139
5	20.62	0.333	0.02	20.87	0.334	15.12	22.04	0.412	122
Method	RSSC			RSSC-NL			Proposed (bottleneck)
Scale	PSNR	SSIM	Time	PSNR	SSIM	Time	PSNR	SSIM	Time (GPU)
3	23.57	0.536	75.3	22.69	0.563	72.5	23.92	0.701	0.00407
4	22.6	0.433	67.9	22.91	0.482	65.4	22.76	0.626	0.00464
5	21.92	0.397	58.2	22.08	0.42	55.1	21.29	0.509	0.00468

3) 모델 간 비교 검증

Table 2에서는 4배 확장에 대한 초기화 방법에 따른 제안된 방법 간 초 해상도 복원 성능을 비교한다. 성능 측정은 PSNR,SSIM의 비교를 통해 수행한다. 기본모델이나 bottle-neck을 적용한 제안 모델보다 SE block을 통한 제안 모델의 성능이 대부분의 이미지에서 더 높은 정량적 결과를 보여 채널 정보가 잘 활용되는 것을 확인할 수 있다.

Table 2.

Comparison of the performance between the different proposed initialization method on scale 4.

	Ours-1 (3-conv)		Ours-2 (bottle-neck)		Ours-3 (SE block)
scale 4	PSNR	SSIM	PSNR	SSIM	PSNR	SSIM
1	24.48	0.56	24.65	0.56	24.67	0.56
2	23.38	0.56	23.69	0.56	23.68	0.56
3	17.39	0.56	17.69	0.59	17.68	0.58
4	19.50	0.60	19.94	0.61	19.95	0.61
5	28.82	0.67	28.78	0.66	28.81	0.67
6	24.02	0.73	24.19	0.74	24.20	0.75
7	19.39	0.65	19.46	0.65	19.50	0.66
8	18.11	0.56	18.20	0.57	18.28	0.58
9	25.89	0.76	26.07	0.76	26.11	0.77
10	24.89	0.61	24.83	0.60	24.95	0.61
11	17.41	0.46	17.53	0.46	17.54	0.45
12	23.44	0.75	23.47	0.75	23.54	0.75
13	23.40	0.61	23.29	0.61	23.35	0.61
14	24.10	0.60	24.15	0.59	24.19	0.61
15	25.75	0.69	25.75	0.68	26.16	0.69
16	24.35	0.57	24.35	0.57	24.36	0.58
17	22.34	0.63	22.40	0.64	22.38	0.64
18	25.17	0.61	25.19	0.60	25.27	0.62
19	18.83	0.57	18.93	0.59	18.99	0.60
20	22.61	0.63	22.73	0.63	22.81	0.64
AVG	22.664	0.619	22.765	0.621	22.821	0.627

4) 측면 주사 소나 초 해상도 복원 출력 영상

Figs. 6, 7는 3배 초 해상도 복원에 대한 “Bicubic” 보간법과, “RSSC-NL”, “RSSC”, 제안된 모델의 출력 비교 영상이다. 제시된 방법의 영상은 비 학습기반 압축 센싱 초 해상도 알고리즘 및 “Bicubic” 보다 선명하고 식별 가능한 결과를 보여주었으며, PSNR 수치도 우수한 성능을 보인다.

https://static.apub.kr/journalsite/sites/ask/2021-040-02/N0660400203/images/ASK_40_02_03_F6.jpg

Fig. 6.

(Color available online) Comparison of the super-resolution image output on scale 3.

https://static.apub.kr/journalsite/sites/ask/2021-040-02/N0660400203/images/ASK_40_02_03_F7.jpg

Fig. 7.

(Color available online) Comparison of the super-resolution image output on scale 3.

5) 결과 분석

제안 모델은 전통적 압축 센싱 기반 초 해상도 복원 모델과 비교하여 실시간 처리가 가능한 획기적으로 줄어든 실행시간 및 전반적 PSNR,SSIM 의 우수한 수치를 획득했다. 그러나 특정 해상도[스케일(Scale) 4, 5]의 경우는 기존 모델보다 소폭 저하되는 모습을 보인다. 채널 변화 실험에서 스케일 3에서는 PSNR과 SSIM이 채널 수가 늘어날수록 비례 관계를 보이지만, 스케일 5에서는 오히려 줄어드는 경향을 보인다. 이는 25배의 픽셀을 복원해야 하는 스케일 5에서 정보가 늘어남에 따라 학습이 원활히 이루어지지 않는 것으로 보인다. 결과 그림에서 보듯이(Figs. 6, 7) 제안한 모델은 기존 방식보다 선명한 결과 영상을 보인다. 제안 모델은 상대적으로 전반적인 영상의 선명성이 강화되고 있지만, 배경이나 바닥에 대해 스무딩 현상이 부분적으로 확인된다.

V. 결 론

논문에서는 측면 주사 소나 영상의 초해상도 복원을 위해서 ISTA 기반의 학습형 압축 센싱 알고리즘을 제안하였다. 초해상도 복원 모델의 성능 향상을 위해 다양한 초기화 구조 및 최적화된 네트워크 구조를 제안하였다. 제안된 모델과 기존 모델과의 비교 실험을 통해 학습형 모델의 우수성 및 제안한 모델의 효용성을 확인하였다.

Acknowledgements

본 논문은 국방과학연구소 연구과제인 “압축센 싱소나 신호처리 특화연구실: 수중영상 신호처리 연구”의 연구 결과 중 일부이다(UD190005DD (CS-3)).

References

J. Lee, J. Park, K. Lee, J. Min, G. Kim, B. Lee, B. Ku, D. K. Han, and H. Ko, "FBRNN: Feedback recurrent neural network for extreme image super-resolution," Proc. of the IEEE/CVF conf. on CVPR. 1-8 (2020). 10.1109/CVPRW50498.2020.00252

L. Y. Ma, X. L. He, and Z. S. Huang, "Side scan sonar image super resolution based on sparse representation," Applied Mechanics and Materials, 48, 1049-1052 (2011). 10.4028/www.scientific.net/AMM.48-49.1049

J. Park, B. Ku, Y. Jin, and H. Ko, "Side scan sonar image super resolution via region-selective sparse coding," IEICE Trans. on Information and Systems, 102, 210-213 (2019). 10.1587/transinf.2018EDL8170

B. Lim, S. Son, H. Kim, S. Nah, and K. M. Lee, "Enhanced deep residual networks for single image super-resolution," Proc. of the IEEE conf. on CVPR. 136-144 (2017). 10.1109/CVPRW.2017.151

J. Zhang and B. Ghanem, "ISTA-Net: Interpretable optimization-inspired deep network for image compressive sensing," Proc. of the IEEE conf. on CVPR. 1828-1837 (2018). 10.1109/CVPR.2018.00196

J. Hu, L. Shen, S. Albanie, and G. Sun, "Squeeze-and- excitation networks," Proc. of the IEEE conf. on CVPR. 7132-7141 (2018).

Z. WANG, J. Chen, and S. C. H. Hoi, "Deep learning for image super-resolution: A survey," IEEE Trans. on Pattern Analysis and Machine Intelligence, 1-1 (2020). 10.1109/TPAMI.2020.298216632217470

H. Chen, X. He, L. Qing, and Q. Then, "Single image super-resolution via adaptive transform-based nonlocal self-similarity modeling and learning-based gradient regularization," IEEE Trans. on Multimedia 19, 1702- 1717 (2017). 10.1109/TMM.2017.2688920

W. Dong, L. Zhang, G. Shi, and X. Wu, "Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization," IEEE TIP. 20, 1838-1857 (2011). 10.1109/TIP.2011.210830621278019

Z. WANG and A. C. Bovik, Modern Image Quality Assessment (Morgan & Claypool, San Rafael, 2006), pp. 1-156. 10.2200/S00010ED1V01Y200508IVM003

The Journal of the Acoustical Society of Korea ISSN:1225-4428(Print) 2287-3775(Online) 한국음향학회지

Preview

Side scan sonar image super-resolution using an improved initialization structure

ABSTRACT

MAIN

(1)

(2)

(3)

(4)

(5)

(6)

Fig. 1.

(Color available online) Overview of the proposed algorithm network.

Fig. 2.

(Color available online) Structure of the initialization layer.

(7)

(8)

Fig. 3.

(Color available online) Structure of the ISTA block.

Fig. 4.

(Color available online) Structure of the upsampling layer.

(9)

(10)

Fig. 5.

(Color available online) Comparison of the PSNR on scale 4 depends on the number of ISTA block iteration K.

Table 1.

A comparison of the super-resolution performance of each resolution in the test image.

Table 2.

Comparison of the performance between the different proposed initialization method on scale 4.

Fig. 6.

(Color available online) Comparison of the super-resolution image output on scale 3.

Fig. 7.

(Color available online) Comparison of the super-resolution image output on scale 3.

Acknowledgements

References