I. 서  론

해양 탐사를 위해서 측면주사소나 장비를 활용하는 사례가 증가하고 있으며, 응용 목적에 맞게 측면주사소나 장비의 성능을 선택하여 운용되고 있다. 측면주사소나 영상의 해상도 및 화질은 운용 주파수에 큰 영향을 받게 된다. Fig. 1은 저주파 및 고주파 측면주사소나 장비로 촬영된 영상을 나타낸다. 객체 검출과 같이 관심 표적을 세부적으로 관찰해야 하는 경우, 고화질 영상을 획득할 수 있는 고주파 측면주사소나 장비를 운용하는 것이 적합하다. 그러나 고주파 측면주사소나 장비를 운용할 경우, 탐색 범위가 좁기 때문에 넓은 영역을 탐색해야 하는 임무에는 부적합하다. 이에 반해 저주파 측면주사소나 장비를 운용할 경우 넓은 영역을 빠르게 탐색할 수 있으나, 저해상도 및 잡음으로 인한 저화질 영상을 얻게 된다.^[1]

Fig. 1.

Low and high frequency side scan sonar image.

측면주사소나 영상 획득 과정에서 먼 거리로부터의 수신파는 에너지 값이 매우 낮기 때문에 이것을 보상하는 과정이 필수적이다. 이러한 보상 과정은 시간에 따라 이득을 조절하는 시간변환이득(Time-Varied Gain, TVG)을 거치게 된다. 그러나 TVG는 표적 신호뿐만이 아니라 잡음 신호도 증폭하는 문제가 발생한다. 이득값을 시간에 따라 다르게 설정하는 TVG 과정은 측면주사소나 영상의 잡음 특성에 큰 영향을 미치게 된다. 일반적인 광학영상에서는 균일 잡음 특성을 가정하지만 측면주사소나 영상에서는 TVG의 영향으로 인해 비균일 잡음 특성이 생성된다. 해양 환경에 의한 신호 간섭, 장비 소음, 백색 잡음 등 소나 신호를 왜곡시키는 요소를 잡음으로 간주하고 있고, 위 요소들은 불규칙하게 발생되기 때문에 소나 신호의 잡음을 WGN(White Gaussian Noise) 형태로 모델링할 수 있다. 뿐만 아니라 해수 거리에 따라 다르게 적용되는 TVG의 영향으로 인해 비균일 잡음이 생성된다. 따라서 측면주사소나 영상의 잡음을 WGN에 TVG가 적용된 형태로 모델링할 수 있으며, 측면주사소나 영상 잡음 제거시 반영이 되어야 한다.^[2]

신호의 희소성을 기반한 압축 센싱 기법은 신호 복원 및 획득에 우수성이 입증되었으며, 특히 영상 잡음 제거 분야에서 활발히 연구되어 오고 있다.^[3-7] 개별 영상 픽셀 정보에 희소성 기반 연구와 더불어 영상 내의 공통 특징을 갖는 그룹들간의 구조적 희소성을 기반한 압축 센싱 연구들이 영상 분류 및 영상 복원 분야에서 큰 주목을 받고 있다.^[8,9]

본 논문에서는 비균일 잡음 환경에 적합한 구조적 희소성 기반의 잡음 제거 알고리즘(Structural Sparsity based Compressive Sensing, SSCS)을 제안한다. 구조적 희소성 기반의 알고리즘은 구조적 특징 도메인에서 국부적/비국부적 모델링을 동시에 반영한다. 국부적 모델은 입력 영상 신호의 희소성을 보장하며 비국부적 모델링에서는 영상 내에 특징이 유사한 영역들을 클러스터링하고 희소 계수가 유사하도록 한다. 구조적 희소성 기반 방법에서는 국부 모델뿐만 아니라 비국부적 모델링의 강화가 성능 향상에 큰 영향을 미치게 된다. 본 논문에서는 비국부적 모델링이 강화될 수 있도록 구조적 특징 기반의 패치 검색 방법을 제안한다. 기존의 픽셀 intensity 기반의 비국부적 모델링에서 벗어나 공통 특징을 갖는 그룹의 구조적 특징을 반영하여 비국부적 모델링을 강화하였다. 제안한 방법은 TVG에 따른 비균일 요소를 비국부적 모델링에 반영하여 보상하는 과정을 거치게 된다.

본 논문의 II장에서는 관련 연구를 소개하고, III장은 제안하는 알고리즘에 대한 세부 내용을 다룬다. IV 장에서는 제안 방식들의 실험 결과를 보여주며, V장은 본 논문의 결론을 기술한다.

II. 관련 연구

NLM(Non-local Mean)기반^[10]의 잡음 제거 알고리즘은 기존의 알고리즘(i.e. neighborhood filter,^[11] mixture of Gaussian filter^[12])을 능가함이 입증되면서, NLM 방식의 잡음 제거 연구가 활발히 진행되어 오고 있다. NLM 방식은 Eq. (1)과 같이 기준 패치와 인근 패치와의 유사도를 계산하여 인근 패치 중앙 픽셀의 가중합으로 기준 패치의 중앙 픽셀을 복원한다.

, (1)

여기서 와 는 기준 픽셀과 인근 픽셀 좌표, 는 픽셀 의 인근 픽셀 집합, 는 픽셀 의 intensity, 는 가중치를 의미한다. 이때 가중치는 Eq. (2)와 같이 가우시안 커널 함수와 픽셀 intensity 기반의 SSD(Sum of Squared Distance)를 이용하여 계산한다.

, (2)

는 픽셀 를 중심으로 한 정사각 패치, 는 정규화 상수, 는 감쇠상수다. 가장 널리 알려진 BM3D^[13]은 비슷한 영역들을 그룹지어 3차원 텐서로 구성한 뒤, transform-domain에서 잡음을 제거하는 방식으로 성능이 우수하다고 알려졌다.

압축 센싱 기술은 적은 수의 기저 신호를 결합하여 원 신호를 표현하는 방법으로 영상 복원 분야에서 활발히 연구되어 오고 있다. 센싱 행렬 D와 희소 계수 α는 Eq. (3)과 같이 계산되며, 센싱 행렬과 희소 계수의 선형 결합으로 신호를 복원한다. 첫 번째 항은 복원 신호와 입력신호의 차이를 최소화시키며, 두 번째 항은 희소 계수의 non-zero 원소의 수를 제한시켜 희소성을 보장한다.

, (3)

기존의 압축 센싱 기반의 신호 복원 알고리즘 K-SVD^[3]는 K-means^[14] 클러스터링 알고리즘을 차용한 방식이다. 희소 계수는 matching pursuit 방식, 센싱 행렬은 SVD(Singular Value Decomposition) 방식으로 훈련한다. 희소 계수와 센싱 행렬을 반복적으로 번갈아 훈련하면서 최적화된 값을 찾는다. 그러나 긴 훈련 시간과 스무딩 효과가 발생하는 단점이 있다. CSR(Clustering-based Sparse Representation)^[4] 기법은 공통 특징을 갖는 그룹들간의 희소성을 유사하도록 하고자, Eq. (4)와 같이 기존 목적함수에 비국부적 모델링을 추가한다.

 (4)

,

여기서 는 클래스 에 포함된 패치의 인덱스 집합, 는 클래스 의 중심값이다.비국부적 모델링은 패치들의 희소 계수를 속한 클래스의 중심값과 유사하게 함으로서, 동일 클래스 내에 속한 패치들의 희소성을 유사하도록 보장한다. CSR 알고리즘은 비국부적 모델로 인해 연산량이 증가하는 단점이 있으나, 성능이 대폭 향상되기 때문에 압축 센싱 분야에서 주목을 받고 있다.

CSR 알고리즘을 강화하기 위해서는 국부 모델뿐만 아니라 비국부적 모델링이 강화되어야 한다. 본 논문에서는 비국부적 모델링을 강화하기 위해 구조적 특징을 적용한 패치 검색 방법을 모색한다. 또한 일반적인 광학 영상의 균일 잡음과는 다른 TVG에 따른 비균일 잡음 환경에서도 CSR 알고리즘이 강인하도록 비국부적 모델링을 개선한다.

III. 제안 방법

본 논문에서 제안하는 전체적인 알고리즘 구조는 Fig. 2와 같다. 국부적 모델링은 영상의 희소성을 보장하면서 센싱 행렬을 훈련한다. 센싱 행렬 훈련은 K-means와 PCA(Principal Component Analysis)^[15] 과정을 거친다. 영상 내 모든 패치를 K-means를 통해 개의 그룹별로 분류를 수행한 뒤, 각 그룹별 패치들에 대해 PCA 를 수행한다. 그룹별 고유벡터들은 연쇄화을 통해 센싱 행렬의 기저 함수로 사용한다. 비국부적 모델링은 유사한 영역은 유사한 희소 계수를 갖는다는 근거로 접근한다. 비국부적 자가 유사 패치를 검색하고 패치 유사도를 반영해서 가중치를 연산한다. NLM으로 복원한 영상과 입력 영상의 차이를 shrinkage 함수^[16] 에 입력하여 희소 계수를 암호화한다. 비국부 모델에서 픽셀 intensity 기반의 패치 검색 방식은 패치의 구조적 특징을 반영하지 않기 때문에 유사 패치를 판단할 때 오류를 범하고, 복원 영상의 구조적 특징이 흐트러질 위험이 있다. 본 논문에서는 향상된 패치 검색 기능을 구현하고자 패치의 구조적 특징 정보를 사용해서 비국부적 모델링을 강화한다. 더 나아가서, 비국부적 모델에 TVG로 인한 잡음의 비균일성을 반영하고자, 검색 패치로부터 소나 장비까지의 거리로 가중치를 보정한다.

Fig. 2.

Flow of proposed method.

3.1 구조적 특징기반 패치 검색

본 논문에서는 패치간 픽셀 SSD 에서 벗어나 패치의 구조적 특징을 기반으로 패치간 유사성 여부를 판단한다. Tuzel et al.^[17]는 구조적 특성이 반영된 공분산 행렬 descriptor을 제안했다. 본 논문에서 특징 벡터 는 아래와 Eq. (5)와 같이 정의한다.

, (5)

는 입력 영상, 는 입력 영상을 intensity, gradient, LBP (Local Binary Pattern)^[18] 특징 벡터로 변환하는 함수이다. 특징 벡터에서 gradient는 영상의 에지 정보, LBP는 텍스처 정보를 표현하는데 유용하다. 패치 이 주어진다면 특징 벡터의 공분산 행렬 descriptor는 Eq. (6)과 같다.

, (6)

여기서 영역 내의 특징 집합은 으로 구성되며 는 의 평균 벡터를 나타낸다. 는 행렬 의 원소 수를 의미한다. 즉, 패치 크기가 된다. 공분산 행렬 descriptor는 일반적인 벡터 공간에 놓여 있지 않으며 Sym+(n) ( n x n symmetric 행렬 공간) 에 있게 된다. 이러한 공간은 connected Riemannian manifold 공간에 속하며 공분산 행렬 de-scriptor들간의 유사 정도를 판별하기 위해서는 Rie-mannian metrics를 사용해야 한다. Eq. (7)과 같은 log-euclidean Riemannian metric은 최근에 알려진 Rie-mannian metric 방법이다.^[19]

, (7)

그러나 log-euclidean Riemannian metric을 이용하여 패치를 검색할 경우 log 연산으로 인하여 제안하는 잡음제거 알고리즘의 연산량에 문제점이 발생하게 된다. 연산량 및 실용성을 고려하여 본 논문에서는 Eq. (8)과 같이 공분산 행렬 간의 Frobenius norm을 이용한 metric으로 공분산 행렬간 거리를 대체하였다.

, (8)

3.2 비균일 잡음을 위한 가중치 보정

기존의 비국부적 모델링에서의 패치들의 가중치는 패치들간의 SSD를 기반으로 계산한다. 본 논문에서는 Eq. (9)와 같이 구조적 거리 를 기반으로 패치의 가중치를 변형하였다.

, (9)

여기서 는 정규화 상수, 는 감쇠상수다. 가중치는 구조적 특징 거리가 작을수록 큰 값을 갖게 된다. 즉 패치가 유사할수록 높은 가중치를 갖게 된다. 본 논문에서는 검색 영역 내에서 가장 작은 거리 를 갖는 개의 패치만을 활용한다.

이와 더불어 본 논문에서는 측면주사소나 장비의 TVG로 인해 발생되는 잡음의 비균일성을 고려하여 가중치를 보정한다. 측면주사소나 장비의 TVG로 인해 소나 장비로부터 멀어질수록 잡음의 세기도 강해지게 된다. 따라서 소나 장비로부터 먼 영역에서 검색된 유사 패치는 잡음 성분이 더욱 많이 존재할 가능성이 있게 된다. 이러한 요소를 고려하여, 본 논문에서는 패치로부터 소나 장비까지의 거리를 이용하여 가중치를 보정하는 방법을 채택하였다. 최종적으로 비균일 잡음을 고려한 가중치는 Eq. (10)와 같이 정의한다.

, (10)

 ,  (11)

여기서 는 정규화 상수, 은 와 동일하게 감쇠상수, 는 패치로부터 소나 장비까지의 거리를 의미하며 Eq. (12)와 같이 정의한다.

, (12)

는 센서로부터 픽셀 까지의 픽셀 수, 는 장비 운행 방향과 수직한 방향에 대한 전체 픽셀 수다.

IV. 실험 결과

이 장에서는 기존 알고리즘과의 성능 비교를 통해 제안한 알고리즘의 성능을 검증한다. 모의 실험을 통해 구조적 특징 기반 패치 검색 방법의 효용성 및 제안한 비균일 잡음 제거 기법의 우수성을 살펴본다. 모의실험 시 파라미터는 Table 1과 같이 설정했으며, 해당 값은 실험을 통해 성능 및 처리시간을 고려해서 찾은 최적의 값이다. 구조적 특징 는 3.1절에서 언급했듯이 intensity, 방향으로의 gradient, LBP로 설정하였다. 모의 실험은 3.4 GHz(×8) CPU, 64 GB RAM의 PC 플랫폼에서 진행하였다.

Table 1. Parameters used in the experiments.

4.1 유사 패치 검색

본 실험에서는 표준 편차가 40인 균일 잡음을 더한 noisy 입력 영상을 기반으로 수행한다. 여기서 TVG는 반영하지 않았다. Fig. 3은 픽셀 기반/구조적 특징 기반 패치 검색 결과를 나타낸다. 결과 그림에서 좌상단부터 우측으로 유사한 상위 10개의 패치를 보여주고 있다. 픽셀 intensity 기반의 결과에서는 기준 패치와 유사하지 않은 패치 2개가 유사한 패치로 검색이 되었으나, 구조적 특징 기반의 결과에서는 이러한 현상이 나타나지 않았다. 검색된 패치 결과에서 기준 패치와 유사하지 않은 패턴은 나타나지 않고 있다. 본 실험을 통해 구조적 특징 기반 패치 검색이 비국부적 모델링 강화에 효과적임을 알 수 있었다. 또한 공분산 행렬간 거리를 Frobenius norm과 log-euclidean을 사용한 검색 패치 결과들은 거의 차이를 보이지 않는다. 따라서 공분산 행렬간의 거리를 Frobenius norm으로 대체하는 것에 문제가 없음을 알 수 있다.

Fig. 3.

Similar patches searched by (a) pixel intensity distance (b) structural feature distance with euclidean distance (c) structural feature distance with log-euclidean distance.

4.2 측면주사소나 영상 비균일 잡음 제거

본 실험에서는 미가공 데이터인 XTF(eXtended Triton Format) 데이터와 웹 상에서 수집한 측면주사소나 영상을 이용하여 모의실험을 수행하였다. 정량적인 성능 지표로 PSNR(Peak Signal-to-Noise Ratio) 사용하고, Eq. (13)과 같이 계산된다.

, (13)

여기서 는 원본 영상, 는 복원영상, 는 영상의 가로, 세로 크기이다. PSNR은 복원 영상이 원본 영상 신호와 픽셀 값 차이가 작을수록, 높은 PSNR 값을 갖는다. CSR 알고리즘과의 정량적 및 정성적 비교를 통해 제안 알고리즘의 성능을 분석한다. 입력 영상의 크기는 240 × 240, 비균일 잡음은 표준편차가 30인 WGN과 거리에 따라 0.6~1.5배 만큼의 TVG를 적용한다. 본 실험에서 TVG는 Eq. (14)과 같은 형태로 설정하였다.^[2]

, (14)

여기서 는 흡수 계수이며, 본 실험에서는 으로 설정했다.

Fig. 4는 웹 입력 영상으로 잡음제거를 수행한 결과를 나타낸다. 입력 영상은 소나 장비가 영상 아래 부분에서 수평 방향으로 진행하면서 촬영된 영상이다. 따라서 영상 아래에서 위로 세기가 증가하는 비균일 잡음이 적용되었다. 제안한 SSCS 알고리즘은 CSR 알고리즘에 비해 PSNR 측면에서 1 dB 정도의 성능 향상을 나타냈다. 즉, SSCS로 복원된 영상이 원본 영상에 더 근접하게 복원이 되었다. 또한 SSCS 알고리즘이 잡음 세기가 강한 영상 상단에서 잡음 제거 성능이 더욱 우수함을 볼 수 있었다. 잡음 세기가 강한 영역에서 CSR 알고리즘은 잔존하는 잡음이 보이는 반면(Fig. 4 빨간 박스), 제안한 SSCS 알고리즘은 잔존 잡음이 상대적으로 적게 보이는 것을 알 수 있었다(Fig. 4 녹색 박스).

Fig. 4.

The denoising result on an online image. The red and green boxes indicate denoising results on high-level noise region by CSR and SSCS.

Table 2은 5개 온라인 데이터에 대해 CSR 및 SSCS 알고리즘 복원 영상의 PSNR 수치를 나타낸다. 실험 파리미터는 앞선 실험과 동일하게 설정했다. 모든 데이터에 대해 제안한 SSCS의 복원 결과가 CSR의 복원 결과보다 정량적으로 우수한 수치를 보인다. 또한 SSCS가 CSR보다 약 평균 18 s 빠른 처리시간을 보인다.

Figs. 5와 6은 XTF 데이터에 대해 잡음제거를 수행한 결과를 나타낸다. XTF 데이터는 2차원의 핑 데이터가 저장되어 있으며, 저장된 데이터를 영상 단위의 스케일로 변환한 데이터를 원본 영상 신호로 사용한다. 본 실험에서는 단일빔 455 kHz 장비로 촬영된 소나 영상으로 실험을 진행한다. 비균일 잡음은 영상 아래에서 위로 세기가 증가하는 형태로 적용하였다. 다만 미가공된 원본 XTF 데이터는 이미 잡음이 포함되어 있기 때문에 원본 영상과 복원 영상을 비교해서 얻은 PSNR 수치는 신뢰성이 낮다. 따라서 복원 영상에 대해 정성적 판단으로 알고리즘의 성능을 분석한다.

Table 2. Results for online images using CSR and SSCS.

Fig. 5.

The denoising result on XTF data.

Fig. 6.

The denoising result on XTF data.

XTF 데이터에 대한 실험 결과는 웹 입력 영상 실험 결과와 유사하게 잡음 세기가 강한 영역에서 CSR 복원 결과 영상은 잔존하는 잡음이 존재하나, SSCS 복원 결과 영상은 잔존하는 잡음이 거의 존재하지 않는다. 또한 Figs. 5와 6에서의 실험 영상에 대해서, CSR은 58.10 s 및 57.68 s의 처리시간이 소요된 반면에, SSCS는 38.02 s 및 37.24 s의 처리시간이 소요되어, SSCS가 CSR보다 약 20 s 가량 빠른 처리시간을 보인다.

V. 결  론

본 논문에서는 측면주사소나의 TVG 으로 인해 발생되는 영상의 비균일 잡음을 제거하고자 구조적 희소성 기반 압축 센싱 알고리즘을 제안했다. 비균일 잡음 환경을 고려하기 위하여 패치의 구조적 특성 및 패치-센서와의 거리를 반영하여 비국부적 모델의 가중치를 보정하였다. 구조적 특징을 적용함으로써 유사 패치 검색 성능이 향상되었으며 결과적으로 제안하는 SSCS 알고리즘이 CSR 알고리즘에 비해 비균일 잡음 제거에 대해 PSNR 및 정성적 판단에서 모두 우수한 성능을 보여주고 있으며, 빠른 처리시간을 보인다.