I. 서  론

측면주사 소나는 해저면의 넓은 범위를 영상화할 수 있는 효과적인 장비이다. 주요 응용 분야는 국방및 민간 영역 크게 두 가지로 나뉠 수 있다. 국방 분야의 경우 측면주사 소나는 고도화된 수중 시각화를 위한 원천 기술로 간주되며, 체적 산란체, 기만기 및 기뢰 식별을 위해서도 사용된다. 민간 영역에서는 조선소 안벽 수심 측량 및 해저면 지형 확인 분야는 물론 지질 조사, 전력선 보수, 어초 및 광물 탐사 등에도 측면주사 소나가 활용되고 있다.

측면주사 소나 이용에 있어 가장 큰 이슈는 촬영 범위와 해상도 사이의 트레이드오프이다. 저주파 소나는 넓은 영역 촬영에 적합하지만, 고화질 영상을 얻을 수 없다는 단점이 있다. 반대로 고주파 소나는 고해상도의 영상 획득이 가능하지만, 촬영 가능 범위는 협소하다. 따라서 광범위 촬영이 가능한 저주파 소나 영상을 고해상도로 복원시키는 연구에 대한 필요성이 존재한다. 측면주사 소나 영상은 2차원 신호를 이용한다는 점에서 광학 영상과 유사하다. 따라서 대표적인 광학 영상 복원 기법인 스파스 코딩이 수중 영상 문제에 적용될 수 있으며^[1,2] 수중영상의 희소성을 분석함으로써 측면주사 소나 영상 복원에 스파스 코딩 기법 적용이 타당함을 증명한 연구 결과가 있다.

스파스 코딩은 입력 신호 로부터 사전 행렬 와 스파스 계수 의 선형결합을 이용해 복원 신호 를 얻는 방식이다. 이 방식은 다양한 분야에 활용이 가능하며, 광학 영상의 초해상도 복원에 있어 그 효과는 Yang et al.^[3]에 의해 검증되었다. 하지만 이 방식은 각각의 입력 패치 에 대한 최적의 를 추정하기 위해 많은 연산량을 요구한다. 실제로 스파스 코딩의 처리시간은 기본적인 초해상도 복원 기법인 bi-cubic 보간법^[4]에 비해 대략 2,000배 이상이 된다. 240 × 240 픽셀 크기의 영상을 스파스 코딩 기법으로 복원하려면 약 1분이 소요되는데, 5분간 저주파 소나를 이용해 획득한 영상의 크기가 대략 1,000 × 60,000 픽셀임을 감안하면(주파수: 150 kHz, 센서~해저면 거리: 100 m), 측면주사 소나 화질 개선 시스템에 스파스 코딩 기법을 사용하는 것은 현실적이지 못하다.

복원 영상의 품질을 평가하는 가장 중요한 인자 중의 하나는 선예도 (sharpness)이며^[5] 이는 Fig. 1을 통해 확인할 수 있다. 하지만 측면주사 소나 영상의 대부분의 영역은 에지 성분이 부족한 평평한 모래 지형으로 이루어져있다. Fig. 2에서 볼 수 있듯 비록 성능평가지표 PSNR(Peak Signal-to-Noise Ratio)는 스파스 코딩 기법이 bi-cubic보다 나을지라도 객체의 부재로 인해 시각적 품질의 차이는 거의 없다고 볼 수 있다. 따라서 이와 같은 영역에 대해서는 많은 연산량을 요하는 스파스 코딩 기법을 적용할 필요성이 떨어지며, bi-cubic 보간법으로 복원을 수행하기에 충분하다.

Fig. 1.

Example for image quality comparison between sharp and blurred images.

Fig. 2.

Restoration results for flat region. (a) bi-cubic interpolation method (PSNR: 30.52 dB), (b) sparse coding method (PSNR: 31.10 dB).

본 논문에서는 스파스 코딩 기반의 영상 초해상도 복원 기법을 수중영상에 적용하는 방법에 대해 다룬다. 처리 시간 단축을 위해 객체 및 비객체 영역 식별 기법이 사용되었고, 이 식별 결과를 이용해 스파스 코딩 기반의 초해상도 복원 기법이 객체 영역에만 선택적으로 적용되었다.

본 연구의 주요한 기여는 다음과 같이 요약될 수 있다: 1) 측면주사 소나 영상의 초해상도 복원 과정에 객체 및 비객체 패치 식별 기법을 추가하였다. 2) 식별 결과를 이용해 선택적으로 스파스 코딩 기법을 입력 영상에 적용하였는데, 이는 복원 영상의 시각적 품질을 유지한 채 처리 시간을 단축시킨다. 3) 측면주사 소나 영상에 대한 제안하는 방식들의 효과를 실험적으로 증명하였다.

본 논문의 II장에서는 관련된 연구를 소개하고, III장은 제안하는 방식들에 대한 세부 내용을 다룬다. IV장에서는 제안 방식들의 실험 결과를 보여주며, V장은 본 논문의 결론에 대해 기술한다.

II. 관련 연구

열화된 관측 영상 패치를 , 이로부터 복원된 영상 패치를 라고 할 때, 는 에 의해 얻어질 수 있으며, 여기서 는 학습된 사전 그리고 는 스파스 계수를 의미한다. 는 훈련 영상들로부터 얻은 패치 를 통해 얻어지며, Eq. (1)과 같이 표현된다.

, (1)

여기서 는 0이 아닌 값을 갖는 의 원소들의 개수를 제한하는 임계치에 해당한다. Eq. (1)을 통해 얻은 와 관측값 가 주어지면 최적의 는 Eq. (2)을 통해 얻어지며, 여기서 는 상수이다.

. (2)

처리 시간 단축 및 복원 성능 향상을 위해 Dong et al.^[6]은 사전 훈련에 PCA(Principal Component Analysis)^[7] 기법을, 스파스 계수 최적화에 FISTA(Fast Iterative Shrinkage Thresholding Algorithm)^[8] 알고리즘을 적용했다. 또한 Dong은 적응적 도메인 선택 기법을 제안하였는데, 이 방식은 -means clustering^[9]을 이용해 개로 나뉜 하위 훈련 데이터들로부터 각각 하위 사전들을 얻은 뒤 특징 유사성 비교를 통해 입력 패치에 가장 적합한 하위 사전으로 복원을 수행하는 방식이다. 그리고 이 저자는 Eq. (3)과 같이 자기회기(Auto Regressive, AR) 모델, 비국부적 유사성, 두 개의 제약 조건을 목적함수에 추가하였다. 여기서 는 다운 샘플링 연산자, 는 blurring 연산자, 는 단위행렬을 의미하며, 행렬 는 AR 모델의 파라미터들을 포함하고, 는 비국부적 유사성에 대한 가중치 행렬에 해당한다.

. (3)

이 방식은 이전의 초해상도 복원 방식들보다 우수한 성능을 보여줬다. 또한 측면주사 소나 영상 내 존재하는 패턴의 종류가 광학 영상의 패턴에 비해 제한적인 점을 감안할 때, 클러스터링된 하위 사전들 중 가장 적합한 것으로 영상 패치를 복원하는 이 방식은 측면주사 소나 영상의 초해상도 복원에 적합한 해결책이라고 할 수 있다. 따라서 본 연구는 Dong의 초해상도 복원 기법을 기반으로 한다.

III. 제안 방법

3.1 영역 의존적 소나 영상의 초해상도 복원

제안 방식은 측면주사 소나 시스템에 대한 초해상도 복원 알고리즘의 실질적인 활용을 목표로 한다. 이 장에서는 영상 복원 각 단계의 구체적 방법이 소개된다. Fig. 3과 같이 제안 방식은 전체 소나 영상에 대한 윈도윙을 통해 각 영역의 객체 포함 유무를 객체 식별 기법을 이용해 구분한다. 본 논문에서 윈도우는 패치와 같은 개념으로 사용되며, 크기는 240 × 240 픽셀이고, 윈도우들에는 서로 중복되는 영역이 없다. 비객체 패치의 경우 모든 픽셀들이 bi-cubic 보간법만을 이용해 복원되며, 객체 패치의 경우 패치 내 배경 영역들은 비객체 패치와 같은 방식으로 복원되지만, 객체가 포함된 픽셀들에 한해서 스파스 코딩 기법이 적용된다. 이 과정에 사용되는 사전은 객체들이 포함된 측면주사 소나 영상들로 학습된 것이다.

Fig. 3.

Process of proposed method.

3.2 객체 및 비객체 패치 식별

제안하는 패치 식별 기법은 Fig. 4와 같이 3단계로 구성된다.

Fig. 4.

Process of object and non object patch classi-fication method.

첫 번째로 Sobel 에지 검출기^[10]를 이용해 임계치 를 구한다. 이 값은 입력 영상에 대한 gradient 세기의 평균값에 의해 유도되며, 스케일 파라미터 에 의해 조정된다. 수식으로는 Eq. (4)와 같이 표현되며, 여기서 와 는 , 축 gradient를, 과 은 입력 영상의 , 축 크기를 의미한다. 이후 임계치 는 Sobel 연산자를 통해 이진 영상을 얻는데 사용된다.

. (4)

Fig. 4 중앙 상단의 영상에서 볼 수 있듯 객체의 윤곽선들은 여러 곳이 끊어져있다. 따라서 두 번째 과정에서 2단계의 모폴로지 연산을 이용해 이진 영상 내 객체 윤곽선을 팽창시킨 후 그 사이를 채운다.^[11-12] 1단계에서는 과 , 두 종류의 마스크를 이용하며, 2단계에서는 이웃 픽셀들을 연결하는 형태의 마스크가 사용된다. 만약 객체 및 비객체 패치 식별만을 목적으로 한다면, Sobel 연산자만으로도 식별을 수행하기에 충분하다. 하지만 객체가 존재한다고 분류된 패치 내에서 객체에 해당하는 픽셀에만 한정적으로 스파스 코딩 기법을 적용하려고 하므로 검출된 객체의 윤곽선 내부는 이를 위해 채워져야 한다.

마지막 과정으로 객체로 인식된 픽셀 수/전체 픽셀 수 값으로 규준화된 에너지를 얻고, 이 특징값은 입력 영상의 클래스를 분류하는데 사용된다.

첫 단계의 적응적 임계치를 이용한 에지 검출 방식 때문에 만약 눈에 띄는 객체가 입력 영상에 없다면, 낮은 임계치가 얻어지고, 이로 인해 Fig. 4 중앙 하단의 영상처럼 수많은 에지들이 배경에서 검출된다. 그러므로 객체가 없는 패치는 높은 특징값을 갖고, 객체가 있는 패치는 작은 값을 얻게 된다. 이 두 클래스를 구분하기 위한 결정 경계는 머신러닝 기법을 통해 얻을 수 있으며, 본 연구에서는 선형 SVM(Support Vector Machine)을 식별기로 사용하였다.^[13]

3.3 다중 스케일의 객체 및 비객체 패치 식별

본 단락에서는 다양한 스케일의 영상에 대응하기 위해 영상 피라미드를 활용하는 방식에 대해 설명한다. 이러한 방식은 광학 영상에서 크기 변화에 강인한 객체 검출기를 만들기 위해 사용되는 대표적인 방식이다.^[14] 제안하는 방식은 Fig. 5에 묘사되어있다. 주어진 원본 영상은 특정 scale factor에 의한 다운 샘플링 및 blurring되고, 이 열화된 입력 영상은 bi-cubic 보간법을 통해 다중 스케일의 영상 피라미드로 변형된다. 다음으로 3.2장에서와 마찬가지로 에지 검출, 모폴로지 연산, 규준화 에너지 획득 과정이 영상 피라미드의 각 레이어에 적용되며, 최종적으로 이렇게 얻어진 다차원의 특징 벡터를 SVM 식별기를 이용해 객체 패치 또는 비객체 패치로 분류한다.

Fig. 5.

Process of multi-scale object non object patch classification method.

3.4 스파스 코딩 기반의 초해상도 복원

본 연구의 기반이 되는 복원 방식의 경우,^[6] 출력 패치 와 스파스 계수 뿐 아니라 다운 샘플링 및 blurring 연산자 , AR 모델 , 그리고 비국부적 유사성 도 복원 알고리즘 내에서 반복적으로 업데이트된다. 이와 달리 본 논문에서는 앞에서 얻은 이진 영상을 라벨로 삼아 오직 객체가 존재하는 픽셀에 해당하는 행렬들의 원소들만을 업데이트한다. 예를 들어 행렬 는 다음과 같은 조건으로 얻어진다.

(5)

Eq. (5)에서 은 3.2장에서 얻은 이진 영상이며, 는 번째 하위 데이터셋의 AR 모델을, 는 패치 내 의 이웃한 픽셀들로 구성된 벡터를 의미한다. 이 선택적 갱신 기법을 적용하면 복원 영상의 시각적 품질을 유지한 채 처리 시간 단축이 가능하다.

IV. 실험 결과

이 장에서는 객체 및 비객체 패치 식별 및 영상 초해상도 복원 기법들에 대한 성능 검증 내용을 다룬다. 구체적으로 식별 문제의 경우 단일 스케일과 다중 스케일 각각에 대한 실험을 수행하였다. 이 실험들은 3.4 GHz(×8) CPU, 64 GB RAM의 PC 플랫폼에서 진행되었으며, 프로그래밍 언어로는 MATLAB R2016a 버전이 사용되었다.

4.1 객체 및 비객체 패치 식별

단일 스케일의 XTF 데이터 포맷의 미가공 데이터를 사용하였는데, 사용된 소나의 주파수는 455 kHz, 입력 패치의 크기는 240 × 240 픽셀, 객체 패치 개수는 30개, 비객체는 60개, 임계치 는 0.51로 설정하였다. 이렇게 만들어진 데이터셋은 3-fold 교차검증을 위해 Fig. 6과 같이 분류되었다.

Fig. 6.

Dataset used for patch classification test.

미가공 데이터 획득의 어려움으로 인해 데이터셋의 크기와 구성 영상들의 다양성에는 제약이 따른다. 이 실험은 단일 스케일 영상들을 대상으로 하므로 패치 식별을 위해 사용되는 특징은 1차원의 규준화 에너지이다. 즉, 영상 피라미드에서 하나의 레이어만을 사용한 경우와 동일하다. 그렇기 때문에 처리가 빠르면서 작은 크기의 데이터셋으로 인한 오버피팅 문제에 강인한 선형 SVM을 식별기로 사용하였다.

실험 결과 100 %의 평균 검출률과 5.8 %의 평균 오탐률을 얻었다. 수중 영상에서는 객체가 우리의 주관심사이며, 이에 해당하는 영상은 가능한 많은 양이 정교하게 복원되어야하기 때문에 본 연구에서는 오탐률의 최소화보다 검출률의 최대화를 더 중요하게 여긴다. 따라서 오탐률 사례들로 인해 처리 시간이 지연되는 문제가 존재하더라도 이 실험 결과는 제안 방식의 실효성을 뒷받침하기에 충분하다.

Fig. 7는 객체와 비객체 패치들로부터 얻은 특징값의 히스토그램을 나타낸다. 두 히스토그램은 일부의 중복 영역을 제외하면 분명하게 이격되어있는 것을 확인할 수 있다. 한편, 검출률이 100 %까지 나올 수 있는 이유는 단일 스케일의 데이터셋으로 훈련 및 테스트를 수행하였으며, 이를 구성하는 영상들의 다양성 역시 부족하기 때문으로 판단된다.

Fig. 7.

Histograms of normalized energy for object and non object patches.

4.2 다중 스케일의 객체 및 비객체 패치 식별

제안하는 패치 식별 기법의 실효성을 검증하기 위해 여러 웹 사이트로부터 수집한 다중 스케일 데이터셋에 대한 실험을 수행한다. 데이터셋 내 영상들은 스케일뿐 아니라 데이터 획득에 사용된 센서 사양, 데이터 취득 환경 등 많은 부분에서 상이하다. 데이터셋에 대한 구체적인 정보는 다음과 같으며, 언급되지 않은 부분들은 4.1장 실험 설정과 동일하다. 영상들의 파일 포맷은 JPG이며, 이미지 피라미드에 사용된 스케일 종류는 ×1/4, ×1/2, ×1, ×3/2, ×2이고, 임계치 는 0.2이다. 값이 낮아진 이유는 다음과 같다: 미가공 영상들과 비교해 웹에서 획득한 영상들은 전처리로 인해 잡음 레벨이 낮아져있다. 이는 비객체 영역에서 에지가 검출될 가능성이 낮다는 뜻으로, 이를 감안하여 낮은 임계치를 설정하였다.

Scale factor ×4와 ×5에 대한 실험 결과가 각각 Tables 1과 2에 나와 있다. 4.1장의 결과와 비교해 단일 레이어의 피라미드를 사용한 경우의 검출률은 두 경우 모두 상당히 감소하였다. Table 1에서는 단일 레이어가 가장 낮은 오탐률을 기록하였지만, 앞에서 언급하였듯 오탐률의 최소화보다 검출률의 최대화가 더 중요하기 때문에 3개와 5개 레이어의 피라미드가 더 나은 결과를 얻었다고 볼 수 있다. Table 2에서도 유사한 경향이 관찰되며, 5개 레이어 피라미드가 가장 우수한 성능을 보였다. 비록 레이어 수 증가에 따라 처리 시간도 늘어나지만, 이는 무시할 수 있는 수준이다. 4.1 및 4.2장의 결과를 요약하면, 단일 레이어 피라미드는 단인 스케일 데이터에 대해서는 효과적이지만, 다중 스케일 데이터 처리에는 다중 레이어 피라미드가 더 효과적이다.

Table 1. Results of patch classification (scale factor: 4).

Table 2. Results of patch classification (scale factor: 5).

4.3 스파스 코딩 기반의 초해상도 복원

본 단락에서는 제안하는 선택적 초해상도 복원 방식을 bi-cubic 보간법^[4] 및 Dong et al.^[6]의 복원 방식과 비교한다. 실험 데이터 관련 설정은 테스트 영상의 수를 제외하고 4.1장과 동일하다. 또한 초해상도 복원 알고리즘의 파라미터들은 Dong의 설정을 따른다. 다만 복원에 사용하는 훈련된 하위 사전의 수는 30개로 축소하였다. 이는 패턴이 제한적인 수중영상에 최적화한 값이다. Fig. 8은 초해상도 복원 실험의 과정을 나타낸다. 원본 영상은 scale factor ×4로 다운 샘플링 및 7 × 7 크기의 가우시안 커널에 의해 blurring된다. 이후 이 열화 영상은 bi-cubic에 의해 원본 크기로 업 샘플링된 후 스파스 코딩 알고리즘에 입력된다. 마지막으로 복원 영상과 원본 영상간의 대조를 통해 성능 평가가 이루어진다. 이 실험에서는 PSNR^[15]와 SSIM(Structural SIMilarity Index)^[16]이 평가지표로 사용되었다.

Fig. 8.

Performance evaluation method for SR (Super-Resolution).

객체 및 비객체 테스트셋들에 대한 초해상도 복원 결과가 Tables 3과 4에 나와 있다 (마지막 페이지 참조). 객체 영상의 경우 제안하는 SSC(Selective Sparse Coding) 방식이 Dong의 SC(Sparse Coding) 방식의 처리시간을 32 %만큼 단축시키는 동시에 PSNR과 SSIM 수치들은 같은 수준으로 유지하였다. 비객체 영상들의 경우 제안하는 방식은 두 건의 오검출 사례를 제외하면 bi-cubic과 동일하기 때문에 평균적으로 SC 기법보다 낮은 성능을 보이지만, 그 수치의 차이는 크지 않으며, 이미 Fig. 2에서 확인했듯 시각적인 차이는 미미하다.

세 개의 영상 샘플에 대한 정성적 분석이 Figs. 9~11에 표현되어있다. 세 경우 모두 제안하는 SSC 방식이 PSNR 수치뿐 아니라 객체 영역에 적용된 초해상도 복원 기법으로 인해 시각적 품질 역시 bi-cubic 기법보다 뛰어난 것을 확인할 수 있다.

Table 3. Results of SR for object existing images.

Table 4. Results of SR for object non-existing images (NO: Non object).

Fig. 9.

Results of SR (raw data case 1).

Fig. 10.

Results of SR (raw data case 2).

Fig. 11.

Results of SR (pre-processed web data).

V. 결  론

본 연구는 측면주사 소나 영상에 대한 실용적인 초해상도 복원 시스템을 제안하였다. 우리의 관심 영역이자 적용하는 복원 기법에 따른 성능 변화가 두드러지는 객체 영역에 대해서만 스파스 코딩 기반 초해상도 복원 기법을 적용하였다. 반면, 낮은 관심도와 함께 복원 기법에 따른 성능 변화가 미미한 비객체 영역에 대해서는 bi-cubic 보간법이 적용되었다. 이러한 영역 의존적 초해상도 복원 방식의 구현을 가능하게 하는 것은 우수한 성능이 검증된 객체 및 비객체 패치 식별 기법 덕분이다. 실험을 통해 제안하는 방식의 효과를 증명하였으며, 객체 패치에 대해 제안하는 방식이 기존 방식 대비 연산 시간을 32 % 낮추는 동시에 동일 수준의 복원 성능을 유지하는 것을 확인하였다.

하지만 여전히 연산 시간 단축에 대한 필요성이 남아있는 상태이다. 따라서 제안하는 알고리즘에서 연산 시간을 가장 많이 차지하는 복원 영상 획득을 위한 반복 연산 과정을 간소화하기 위해 regularizer 및 sparse solver 개선에 대한 연구가 필요하다.