2개의 눈으로 하나의 사물을 바라보면 왼쪽 눈과 오른쪽 눈 사이의 위치 차이로 인해 약간의 영상 차이가 발생하고, 두뇌에서 이 차이를 계산하면 목표물까지의 거리를 예측할 수 있다. 이러한 원리를 양안 시차²⁾라고 하며, 대부분의 동물들은 2개의 눈으로 양안 시차를 이용해 거리를 측정한다.

1) Andrew Parker, In the Blink of an Eye: How Vision Sparked the Big Bang of Evolution, 2003.
2) 양안 시차 (Binocular Disparity): 하나의 물체를 바라봤을 때 왼쪽 눈과 오른쪽 눈에 보이는 물체의 이미지 위치 차이.

스마트폰 카메라도 양안 시차를 이용해 피사체의 초점을 맞추는 PDAF (Phase Detection Auto Focus)기술을 사용했다.(참고기사 SK하이닉스가 선도하는 CMOS Image Sensor 혁신) 금번에 SK하이닉스는 더욱 개선된 A4C(All 4-Coupled) 이미지 센서를 개발함으로서 모든 화소를 위상차 화소로 사용하면서도 컬러 정보를 받아들일 수 있게 함으로서 화질과 자동 초점 성능을 동시에 향상 시켰다. A4C 센서의 기본 개념은 ³⁾에서 제안됐으나, SK하이닉스의 A4C 센서는 자동 초점뿐만 아니라 화질 개선 및 다양한 어플리케이션 측면에서 발전을 이루었다. 이번 아티클을 통해서 SK하이닉스가 개발한 A4C 이미지 센서가 보유한 3가지 장점 △빠르고 정확한 초점 검출 △고해상도 이미지 △다양한 활용 가능을 하나하나 살펴보도록 하자.

3) T. Okawa, et al. “A 1/2inch 48M All PDAF CMOS Image Sensor Using 0.8µm Quad Bayer Coding 2×2OCL with 1.0lux Minimum AF Illuminance Level,” IEDM, Dec. 2019.

A4C 센서의 첫 번째 장점 – 빠르고 정확한 초점 검출

A4C 센서 구조는 그림 1과 같다. 일반적인 Quad 센서와 유사하게 빛을 전자로 변환하는 포토 다이오드와 특정 파장의 빛을 통과시키는 컬러 필터를 가지고 있다.(참고기사 SK하이닉스 블랙라벨 이미지센서 ‘1.0um 블랙펄(Black Pearl)’의 모든 것) 그러나 Quad 센서와는 다르게, 좌상단(TL), 우상단(TR), 좌하단(BL), 좌하단(BR) 4개의 동종 컬러 화소에 1개의 마이크로 렌즈⁴⁾가 올라가는 구조이다.

4) 마이크로 렌즈: CIS 효율을 향상시키기 위해 입사된 빛을 가운데로 집광하는 렌즈

▲ 그림 1. A4C 센서 구조

A4C 센서의 자동 초점은 피사체로부터 다양한 경로의 빛이 센서의 한 점에 수렴하면 초점이 맞고, 한 점에 수렴하지 않으면 초점이 맞지 않는 원리를 이용한다. 즉, 1개의 마이크로 렌즈 아래에 존재하는 4개 화소의 밝기값을 비교해 차이가 없으면 초점이 맞고, 그렇지 않으면 초점이 맞지 않는 것으로 판단한다. 예를 들면, 그림 2와 같이 피사체의 한 점을 촬영했을 때, 그림 2의 첫 번째와 같이 초점이 맞는 경우에는 빨간색으로 표시된 렌즈 상단 경로의 빛과 파란색으로 표시된 렌즈 하단 경로의 빛이 동일한 마이크로 렌즈 아래 화소에 맺힌다. 하지만 그림 2의 두 번째/세 번째와 같이 피사체가 초점이 맞는 거리보다 앞이나 뒤에 있는 경우에는, 렌즈 상단과 하단으로 투과된 빛이 하나의 마이크로 렌즈에 수렴하지 않고 다른 화소에 맺혀서 위상차⁵⁾가 발생한다. 이러한 위상차를 분석하면, 모듈 렌즈의 위치를 어디로 이동시켜 초점을 맞출 수 있는지 계산할 수 있다.

5)위상차 (Disparity): 피사체의 한 점이 광선 경로에 따라 센서면의 다른 위치에 맺혔을 때 발생하는 상대적 변위량

▲ 그림 2. 피사체 거리에 따른 위상차 검출

기존 PDAF 기술과 비교했을 때, A4C 센서는 모든 화소에서 위상차를 계산할 수 있기 때문에 정확도가 높고, 10럭스(lux) 이하의 저조도 환경에서 10배 이상의 정확도 향상을 얻을 수 있다. 또한 좌우 양안 시차를 사용하는 기존 PDAF 기술과는 달리, A4C 센서는 마이크로 렌즈 아래의 상하좌우 4개 화소의 위상차를 이용하기 때문에 수평/수직 방향 피사체의 초점 검출 능력이 우수하다. 그림 3은 일반적인 AF(Auto Focus)와 A4C AF의 성능 차이를 보여준다.

▲ 그림 3. 일반 센서와 A4C 센서의 AF 성능 차이 (좌: 일반 AF, 우: A4C AF)

A4C 센서의 두 번째 장점 – 고해상도 이미지

A4C 센서의 출력 이미지는 각 마이크로 렌즈 아래 4개 화소를 묶어서 출력해 감도를 향상시키거나, 각각의 화소를 개별적으로 출력해 해상도를 향상시킬 수 있다. 예를 들면 50MP(Mega Pixel) 화소의 A4C 센서를 50MP 화소 해상도⁶⁾로 출력하거나, 12.5MP 마이크로 렌즈 해상도⁷⁾로 출력할 수 있다. 마이크로 렌즈 아래 화소를 묶어서 사용하는 경우에는 개별 화소 단위로 사용하는 것보다 해상도가 1/4로 줄어들지만, 4개 화소를 묶음으로써 수광량을 4배 향상시킬 수 있다. 따라서 야간 저조도 환경과 같이 빛이 모자라는 경우에는 마이크로 렌즈 해상도로 사용하는 것이 유리하다.

6) 화소 해상도: A4C 센서의 화소 개수
7) 마이크로 렌즈 해상도: A4C 센서의 마이크로 렌즈 개수. A4C 센서의 마이크로 렌즈 해상도는 화소 해상도의 1/4

반면에 주간 실외 환경과 같이 빛이 충분한 곳에서는 개별 화소로 출력해 해상도를 향상시키는 것이 유리하다. 화소 해상도로 출력하면 마이크로 렌즈 해상도보다 4배 높기 때문에 선명도와 디테일 표현력이 향상된다. 그렇지만 A4C 센서를 화소 해상도로 출력하는 경우에는 위상차로 인해 발생하는 화질 문제를 극복해야 한다. 그림 4와 같이 거리가 다른 여러 개의 피사체가 존재하는 경우, 실선으로 표시된 초점이 맞는 피사체에 대해서는 문제없이 고해상도 이미지를 얻을 수 있다. 그러나, 점선으로 표시된 초점이 맞지 않는 피사체에 대해서는 위상차가 발생하기 때문에, 마이크로 렌즈 아래 인접 화소간 밝기 차이가 존재해 주기적인 격자 형태의 화질 열화가 나타나게 된다.

▲ 그림 4. 거리가 다른 피사체가 존재하는 이미지

그림 5는 다양한 거리에 있는 피사체들을 A4C 센서로 촬영한 이미지이다. 초점은 가장 앞에 있는 초록색 피사체에 맞았고, 나머지 물체들은 초점이 맞지 않아 흐리게 촬영됐다. 그림 5의 흰색 표시 영역을 확대하면, 그림 5 좌측과 같이 위상차로 인한 격자 패턴의 화질 열화가 나타나는 것을 볼 수 있다. 이를 위해 SK하이닉스의 A4C 센서는 독자적으로 개발한 APC(A4C Phase Correction) 기술과 Q2B(Quad-to-Bayer) 기술을 적용해 그림 5 우측과 같이 화질 열화가 나타나지 않도록 처리한다. 특히 SK하이닉스의 APC 알고리즘은 피사체에서 반사된 빛이 모듈 렌즈의 어느 경로로 이미지 센서에 도달했는지 분석해, 초점이 맞는 영역에서는 디테일 표현력을 유지하고, 초점이 맞지 않는 영역에서는 위상차로 인한 화질 열화를 보정한다.

▲ 그림 5. A4C 센서 출력 이미지

센서의 세 번째 장점 – 다양한 활용 분야

정확한 초점 검출과 고해상도 이미지 촬영이라는 장점 외에도, A4C 센서는 Light Field Imaging 어플리케이션에 활용할 수 있다. Light Field Imaging은 물체에서 발산하는 광선의 분포를 재현하는 기술로서, 3차원 공간상의 특정 위치에서 특정 방향으로 빛이 얼마만큼의 세기를 가지는지 계산해 보케(Bokeh)⁸⁾, 리포커스(Refocus)⁹⁾, 멀티뷰(Multi-view)¹⁰⁾ 등 컴퓨터 비전 어플리케이션에 활용하는 기술이다.

* 보케(Bokeh): 피사체에 초점을 맞추고 배경은 흐릿하게 처리하는 기술
* 리포커스(Refocus): 촬영된 이미지의 원하는 위치에 다시 초점을 맞추는 기술
* 멀티뷰(Multi-view): 다른 각도에서 촬영된 복수의 이미지를 이용해 기하학적으로 교정하거나 공간적으로 합성하는 기술

그림 6과 같이 A4C 센서로 촬영하는 경우, 초점이 맞는 위치의 피사체에서 반사된 빛은 4개의 서로 다른 경로를 따라서 전달돼 하나의 마이크로 렌즈 아래 서로 다른 4개의 화소에 맺히게 된다. 따라서 A4C 화소의 밝기 값과 마이크로 렌즈 아래 위치를 알면, 해당 화소의 빛의 세기와 빛이 진행한 방향 정보를 알 수 있다.

▲ 그림 6. A4C 센서를 이용한 피사체 촬영

특히 마이크로 렌즈 아래 동일한 위치의 화소들을 모아서 부분 이미지를 만들면, 해당 화소들은 모듈 렌즈의 동일한 경로를 지나서 센서에 도달했기 때문에 모듈 렌즈의 해당 위치에서 바라본 부분 이미지를 만들 수 있다(예를 들면 마이크로 렌즈 아래 좌상단(TL) 화소를 모아서 부분 이미지를 만들면 모듈 렌즈 좌상단에서 바라본 부분 이미지를 만들 수 있다). 이렇게 생성된 부분 이미지를 SA(Sub-Aperture) 이미지라고 하며¹¹⁾, A4C 센서는 모듈 렌즈의 좌상단, 우상단, 좌하단, 우하단 방향의 4개 SA 이미지를 얻을 수 있다. 이러한 다른 시점을 갖는 4개의 SA 이미지는 아래와 같은 다양한 컴퓨터 비전 어플리케이션에 활용할 수 있다:

1) 보케(Bokeh) 어플리케이션 : 4장의 SA 이미지를 이용하면 Bokeh 이미지 화질을 향상시킬 수 있다. 일반적인 듀얼 카메라 기반의 Bokeh는 좌우 카메라 사이의 화각 및 기계적 변위로 인해 오차가 존재하지만, SA 이미지를 사용하면 하나의 A4C 센서에서 만들어진 부분 이미지들이므로 이러한 오차가 발생하지 않는다. 또한 4장의 SA 이미지를 사용해 깊이 정보를 계산하기 때문에 2장의 이미지를 사용하는 듀얼 카메라보다 높은 정확도를 얻을 수 있다.

2) 리포커스(Refocus) 어플리케이션 : A4C 센서의 밝기 및 방향 정보를 이용해 원하는 위치에서 초점을 다시 맞추는 Refocus 지원이 가능하다. 기존의 Refocus 기술은 센서 상단에 추가적인 마이크로 렌즈 어레이를 필요로 하기 때문에 기계적인 오차가 발생할 수 있으나¹¹⁾, A4C 센서를 사용하면 마이크로 렌즈 어레이가 필요하지 않으므로 기계적 오차가 발생하지 않고 정확도 향상이 가능하다.

3) 멀티뷰(Multi-view) 어플리케이션 : 본질적으로 SA 이미지는 다른 각도에서 피사체를 바라본 이미지 데이터이다. 따라서 4장의 SA 이미지를 이용하면 3D 영상 복원, 3D 기반의 보안 어플리케이션, 저조도 화질 개선 등 다양한 Multi-view 어플리케이션에 활용할 수 있다.

11) R. Ng, M. Levoy, M. Bredif, G. Duval, M. Horowitz, and P. Hanrahan. “Light Field Photography with a Hand-held Plenoptic Camera,” Stanford University Computer Science Technical Report CSTR 2005-02, April 2005.

이상에서 본 바와 같이 SK하이닉스의 A4C 센서는 기존 이미지 센서의 한계를 극복해 빠르고 정확한 초점 검출, 고해상도 이미지 촬영, Light Field Imaging 기반의 다양한 어플리케이션에 활용할 수 있다. 또한 SK하이닉스는 A4C 센서뿐만 아니라 HDR(High Dynamic Range), Non-Bayer, Pixel Binning 등 새로운 ISP(Image Signal Processor) 기술을 개발하고 있고, 업계 최고의 소자/공정 기술력을 바탕으로 0.7㎛(마이크로미터), 0.64㎛ 등 미세 화소를 개발해 CIS 화소 집적도를 높임으로써 미래의 인포메이션 센서의 핵심 부품으로 성장하고 있다. 앞으로 SK하이닉스의 CIS는 스마트폰 카메라뿐만 아니라 바이오, 보안, 자율주행 자동차 등 다양한 어플리케이션에 활용돼 경제적/사회적 가치 창출에 크게 이바지할 것이다.

카메라를 사용해본 사람 중 대부분은 이미 HDR 기능을 사용해봤을 것이다. 하지만 이 기능의 원리를 정확하게 이해하고 이 기능을 사용하는 사람은 아마도 극소수에 불과할 것이다. HDR은 정확히 어떤 기능일까? HDR은 어떻게 더 실물에 가까운 이미지를 생성할까? 이 같은 궁금증에 대한 해답을 찾아 HDR이 구현하는 완벽한 실사 이미지의 비밀을 파헤쳐봤다.

길고 긴 HDR 센서 개발의 여정, 어디까지 왔나?

HDR 기술을 구현하는 핵심 기술은 센서 기술이다. 센서 없이는 프레임에 담긴 풍경을 카메라에 실시간으로 기록할 수 없기 때문. 그렇기에 HDR에 대해 제대로 이해하기 위해서는 이미지 센서 기술이 어떻게 발전해왔는지, 또 이러한 발전이 HDR 기술의 탄생과 발전에 어떤 영향을 미쳤는지 먼저 살펴볼 필요가 있다.

 2000년대 – LOFIC

이미지 센서의 픽셀(Pixel)은 빛을 전기 신호로 변환해 이미지를 생성하는데, 센서가 너무 밝은 물체를 감지하면 너무 많은 전하가 단일 픽셀에 결집돼 과도하게 노출된 이미지가 생성된다.

‘LOFIC(Lateral Overflow Integration Capacitor)’의 구조는 중국의 훠궈(火鍋) 냄비와 유사한 구조로, 이처럼 전하가 픽셀의 최대 부하(FWC, Full Well Capacity)를 초과하면 인접한 픽셀(포트)로 흘러 들어가 넘쳐흐르지 않는다. 이러한 원리로 밝은 이미지를 선명하게 표현해낼 수 있다.

하지만 LOFIC은 그 구조가 정교해 오늘날의 얇고 가벼운 전자장치에는 적용하기 어렵다. 이 때문에 최신 카메라나 스마트폰에서는 LOFIC을 탑재한 사례를 찾아보기 어렵다.

 2003년 – Large/Small Pixel

일본의 IT 기업 후지쯔(Fujitsu)는 2003년 각 색상의 픽셀에 크고 작은 포토다이오드(Photodiode)¹⁾를 사용해 픽셀을 차별화함으로써 HDR을 구현한 센서인 ‘Super CCD SR’을 출시했다. 이 센서는 각 프레임에서 큰 픽셀과 작은 픽셀의 사진을 동시에 촬영한 다음 노출이 많은 이미지와 노출이 적은 이미지를 각각 생성한다. 이 이미지들은 HDR 이미지로 결합돼 다양한 동적 범위를 포함할 수 있지만, 이미지 결함률이 높아 대규모로 채택되지 못했다.

1) Photodiode: 빛 에너지를 전기 에너지로 변환하는 광(光) 센서.

 2010년대 – Multi-frame HDR

HDR 기술의 가장 일반적인 적용 사례는 노출 수준이 다른 여러 이미지를 촬영하고 이를 결합해 완벽한 HDR 이미지를 생성하는 것이다. ‘Multi-frame HDR’은 이러한 사례 중 가장 오래된 접근 방식 중 하나다. 사진마다 각기 다른 노출 시간을 적용하고 여러 장의 사진을 연속적으로 찍어 겹친 다음, 최상의 사진 구역(Segment)을 선택한 후 결합해 최종 사진을 만든다.

하지만 움직이는 물체를 촬영하거나 촬영 중 카메라가 흔들리면 모션 아티팩트(Motion Artifact)²⁾가 발생해 위 사진에서 보듯이 다리가 8개인 말이 나타날 수가 있다.

2) Motion Artifact: 촬영 시 피사체의 움직임으로 인해 촬영된 실제로는 없는 잔상.

 2014년 – iHDR

‘iHDR(Interlaced HDR)’은 모션 아티팩트를 제거하기 위해 센서를 여러 줄로 나누고 두 선마다 노출을 길고 짧게 설정한다. 셔터를 누르면 긴 노출과 짧은 노출이 동시에 시작돼 노출이 다르게 적용된 두 개의 이미지가 만들어지고, 이를 활용해 HDR 이미지를 생성한다.

하지만 iHDR 기술이 적용되면 해상도가 절반으로 떨어져, 종종 부자연스러운 이미지를 생성했다. 이러한 문제와 여러 단점으로 인해 결국 iHDR 장치는 양산되지 못했다.

 2014년 – Zigzag HDR

소니(Sony)는 iHDR의 업그레이드 버전인 ‘Zigzag HDR’을 통해 픽셀 배열의 또 다른 가능성을 제안했다. 이 센서는 iHDR과 마찬가지로 긴 노출과 짧은 노출을 동시에 사용하지만, 노출 패턴을 지그재그(Zigzag)로 배열했다. 이 같은 접근 방식으로 해상도 손실을 효과적으로 방지해 더 자연스러운 이미지를 생성할 수 있다. 양산에 실패한 iHDR과 달리, Zigzag HDR은 비디오 촬영에는 적용이 가능했다.

 2014년 – HDR+

구글(Google)은 같은 해 HDR+를 출시했다. HDR+에서는 HDR 이미지를 얻기 위해 동일한 노출로 이미지를 최소 8번 연속 촬영해 중첩하고, 어두운 영역의 세부 사항과 이미지 노이즈를 식별하는 알고리즘을 사용한다. 구글 카메라의 ‘버스트 모드(Burst Mode)’³⁾를 사용하면 셔터를 누르기 전에 자동으로 사전 촬영을 수행해 HDR 이미지 촬영(Capture)을 가속화할 수 있다. 이는 Multi-frame HDR에 비하면 크게 향상된 기법이다.

3) Burst Mode: 연사를 통해 짧은 시간에 여러 장의 고화질의 이미지를 촬영하는 촬영 모드

 2017년 – QHDR

‘QHDR(Quad HDR)’은 라인 정렬 방식과 픽셀 배열 방법이 Zigzag HDR과 다르다. QHDR은 각 2×2 픽셀 영역 단위마다 노출 설정을 다르게 할 수 있도록 지원한다. 이 기술은 효과와 속도 면에서 비디오 촬영에 이상적이다.

 2018년 – Staggered HDR

‘Staggered HDR’은 셔터를 위에서 아래로 스크롤해 한 줄씩 정보를 읽은 다음 긴 노출과 짧은 노출 데이터를 출력한다. 긴 노출 라인의 출력 프로세스는 동시에 짧은 노출 라인의 이미지를 생성해 두 라인 사이의 이미지를 밀접하게 연결한다. 이 방법을 사용하면 iHDR 이미지의 부자연스러운 모양을 제거할 수 있고, 모션 아티팩트를 효과적으로 감소시킬 수 있다.

SK하이닉스 CIS(CMOS Image Sensor) 기술의 현재와 미래

그간 카메라 기술은 인체의 시각 시스템을 모방하는 방향으로 진화해왔다. 기술 진화의 목표는 소비자가 보고 느끼는 것과 디지털 미디어에 저장된 이미지가 제공하는 결과물 사이의 간격을 줄이는 것이다. 이를 실현하기 위해 기존 개발 과정에서 설정한 중요한 방향성은 픽셀 크기를 줄여 고해상도를 달성함으로써 선명한 이미지를 담아내는 것이었다.

또한 최근에는 각 픽셀의 색상 표현 측면에서도 HDR 기술의 중요성이 강조되고 있다. SK하이닉스는 QHDR와 Staggered HDR 기술 개발을 모두 완료하고, 고객에게 제공할 준비를 갖췄다.

특히 고해상도 제품에 적용되는 QHDR은 센서가 내장된 ISP(Image Signal Processor)를 이용해 실시간 이미지 처리가 가능하고, 움직이는 물체의 경우에도 고해상도의 선명한 이미지를 제공할 수 있다.

앞으로 관련 기술이 더 발전해 정확한 색상과 풍부한 조명 표현이 가능하게 되면 HDR 기술은 카메라 기술의 중추가 될 것이다. 또한 CIS 센서에 AI를 적용하면 HDR 기술이 한 단계 더 진보될 것으로 기대된다.

아울러 HDR 기술은 인간의 신경망을 이용해 시각 인식 특성을 모델링하는 방식으로도 발전할 것이다. 이는 저조도 노이즈를 제거하고 채도 영역에서 발생하는 손실된 정보를 복원하기 위한 것이다.

이런 노력들을 통해 HDR 기술은 앞으로도 계속해서 인간의 눈에 더욱 가까워지기 위해 발전해나갈 것이다.

갑자기 종이 다양화된 원인 중 하나는 ‘다양한 감각 기관의 발달’이인데 이 중 가장 중요한 사건이 눈이라는 감각기관이 만들어진 것이었다. 학자들의 해석에 따르면 암흑세계에서 새로운 정보의 출현이 종의 다양화와 진화의 폭발을 유발했다고 한다. 눈은 뇌의 일부가 튀어나와 생성된 것으로 이 눈을 통해 생명체는 세상을 볼 수 있게 됐다. 이로 인해 생명체의 에너지 소비가 증가하게 됐고 다양한 정보를 기반으로 적응 및 이동이 확대됐다.

이와 비슷한 현상은 우리가 사용하는 전자 장치에도 나타났다. 디지털화가 계속됨에 따라 눈의 역할을 하는 카메라가 모바일 장치에 장착된 것이다. 그리고 ‘CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서(이하 CIS)’는 이 카메라에서 사람 눈의 망막처럼 이미지를 포착하는 역할을 하는 장치다.

CIS 기술을 사용하여 막대한 양의 이미지 정보를 쉽게 처리, 재생, 저장할 수 있게 됐다. 이로 인해 모바일 장치는 방대한 양의 데이터를 처리해야 하는 상황이 됐고, ‘뇌’ 역할을 하는 애플리케이션 프로세서(AP: Application Processor)는 물론 메모리의 용량과 성능도 빠르게 향상되기 시작했다. 또한 사용자 입장에서는 카메라가 더욱 중요해지면서 모바일 기기의 다양화를 가져왔다.

캄브리아기 시대에 일어났던 변화가 전자 장치를 통해 우리 일상생활에도 발현된 것이다. 그리고 최근에 ‘비대면’ 시대를 열었던 코로나19의 범 유행은 이 같은 전자 장치의 다각화를 가속하고 전자기기의 폭발적인 성장을 이끌었다. 포스트 코로나 시대에도 이러한 기조는 계속될 것으로 전망된다.

Like the Eye

CIS의 가장 큰 역할은 우리가 눈으로 보는 이 세계를 똑같이 재현하는 것이다. 우리가 원하는 CIS는 인간의 눈과 유사한 정도의 해상도를 갖추고 어둡거나 밝은 환경에 구애받지 않고 볼 수 있어야 하며, 움직이는 물체를 고속으로 포착해야 한다.

아래 그림에는 CIS의 기본 픽셀(PX) 구조 및 동작 특성이 나와 있다. 물체에서 반사된 빛은 광학 시스템을 통과해 포토다이오드로 들어가는데, 빛의 광자 에너지(Photon Energy)가 반도체의 밴드갭 에너지(Bandgap Energy)를 초과하면 e-/h+ 쌍을 생성한다. 이 신호를 축적하고 읽어내면 빛의 강약에 따라 2D 이미지를 형상화할 수 있다. 실리콘의 밴드갭 에너지는 1.1eV(Electron Volt)이며, 이 에너지는 인간 눈의 전체 가시광대역을 다룰 수 있다. 알려진 바와 같이 실리콘이 대부분의 반도체 소자의 재료로 사용됨을 보았을 때 우연의 일치가 아닐 수 없다.

▲그림 1. 인간의 눈과 CIS 작동

어두운 환경에서 잘 보려면 적은 양의 빛에서 나오는 신호를 잘 증폭하고 광신호가 아닌 성분(노이즈)은 최대한 억제해야 한다. 또한 밝은 환경에서 보기 위해서는 많은 양의 빛을 다 받아 이를 잘 구분해야 한다. 이러한 특성을 정량화한 지표로 빛의 세기에 의한 SNR(Signal to Noise Ratio)과 DR(Dynamic Range: FWC to Noise Ratio)이 있다.

저조도(low-light) SNR 측면에서 신호를 증폭하고 원치 않는 노이즈를 줄이기 위한 많은 노력이 있었다. 오늘날 우리는 이러한 특성을 지속적으로 개선해 매우 어두운 환경인 5lux 수준까지 달성했다. Dynamic Range 측면에서 일반적으로 인간 눈의 Intra-scene DR은 120dB, Inter-scene DR은 180dB이지만, 현재 스마트폰의 Intra-scene DR은 70dB, Inter-scene DR은 120dB로 지속적으로 개선이 진행 중이다.

이러한 특성에 영향을 미치는 가장 중요한 요소는 픽셀 크기와 해상도다. CIS의 해상도를 더 높이려면 픽셀 크기가 더 작아야 한다. 또한 동일한 해상도라도 더 작은 영역에 CIS를 구현하기 위해서는 픽셀 크기가 작아져야 한다. 관건은 픽셀 크기를 줄이면서 위의 특성을 동등하게 유지하는 것이다.

▲그림 2. 광 응답 특성 및 동적 범위 확장

픽셀 크기 및 해상도 경쟁은 언제까지 지속될까?

인간의 눈은 정지 영상에서 중심부 기준 5억 7,600만 화소이고, 동영상은 약 800만 화소이다. CIS는 이 수준을 따라잡기 위해 계속 진화해 왔다. 픽셀 크기 약 1.12 um, 해상도 1,300만 화소에서는 발전 속도가 일부 주춤했으나, 최근에는 ‘쿼드 기술(Quad Technology, 동일한 색 필터로 2×2 픽셀들을 병합하는 기술)’을 도입하면서 픽셀 크기는 0.7um까지 빠르게 축소됐고, 해상도도 6,400만 화소 수준에 도달하는 등 개발 속도가 다시 한번 가속화됐다.

현재는 노나(Nona)(3×3) 및 QxQ(4×4) 기술을 통해 픽셀 크기가 0.6Xum 수준까지 진화됐다. 결과적으로 픽셀 축소 기술이 발전하면서 최근에는 해상도 1억 800만 화소의 센서가 출시됐고, 이제 해상도 2억 화소의 카메라도 곧 출시될 것으로 기대된다.

>동영상에는 고해상도가 필요하지 않기 때문에 픽셀 바인딩 기술¹⁾이 적극적으로 채택됐다. 이제 이를 통해 카메라 비디오 녹화 시 4K(4000X2000: 800만 화소)를 60fps로 끊김 없이 지원할 수 있다. 픽셀 바인딩 기술을 사용하면 카메라가 비디오에서 큰 픽셀의 특성을 유지해 탁월한 저조도 감지(low-light sensitivity)와 동적 범위(dynamic range)를 제공할 수 있다. 미래에는 극저조도(ultra-low light) 특성, 동적 범위 확장 기술, 빠른 자동 초점과 같이 고객에게 부가가치를 제공하는 기능이 비디오 녹화에 추가될 것으로 예상된다.

1) 픽셀 바인딩 기술: 4개의 픽셀에서 나온 데이터를 하나로 결합하는 기술

▲그림 3. 저조도 SNR 및 DR 확장 기술

픽셀 크기 축소(px Size Shrink)를 포함한 면적 축소는 모든 반도체 회사의 숙명이다. 이에 더 작은 면적에서 동일한 특성을 유지하기 위해 소자 및 공정 기술 개발에 많은 노력이 집중돼 왔다. 이러한 기술 중에는 △포화 용량(Full Well Capacity)을 향상시키면서도 전하 전송 효율을 유지하는 도핑 최적화 및 수직 전송 게이트 △노이즈를 줄이기 위한 Source Follower Engineering 및 다양한 설계 기술 △인접 픽셀 간의 간섭 노이즈 최소화를 위한 컬러 필터 분리 및 딥 트렌치 분리 기술 △두꺼운 에피층(epi layer)을 이용한 픽셀 감도 향상 또는 다양한 컬러 필터 관련 기술 등이 포함된다.

앞서 언급한 기술 덕분에 반도체는 이제 이미지를 보여주는 측면에서는 수백만 년 동안 진화한 생명체의 눈과 거의 동일한 성능을 확보했다. 그러나 에너지 효율성 측면에서는 여전히 개선할 사항이 있다. 현재 발전 중인 저전력 기술로는 대기 모드에서 최소 전력으로 실행되다가 필요할 때 전원을 켜거나(상시 작동 모드) 압축 감지 방식을 통해 전력을 최적화하는 기술 등을 주목할 만하다.

▲그림 4. 픽셀 미세화 기술

Beyond the Eye

CIS는 적용 영역을 더욱 확장하고 있는데 그 대표적인 분야는 깊이 감지 기술이다. 사람의 눈은 양안 시차를 이용해 거리를 감지하는데, 초기에 개발된 CIS는 두 대의 카메라를 이용해 사람의 눈과 동일한 방식으로 거리를 감지하는 데 활용됐다. 그러나 정확도, 거리 확장성, 두 카메라 사이의 최소 거리 요건의 한계 등으로 인해 현재 다른 방법이 모색되고 있다.

이 방법은 ‘비행시간(ToF)’ 방식이라고 하며, 빛이 물체에서 반사된 후 되돌아올 때까지의 비행시간을 기준으로 거리를 측정한다. ToF는 직접 ToF(direct time-of-flight, dToF)와 간접 ToF(indirect time-of-flight, iToF)의 두 가지 유형으로 구분된다.

두 가지 방법은 작동 원리에 따라 각각 장단점이 있다. 간접 ToF 감지 방법은 아날로그 전하 축적의 작동 원리로 인한 원거리에서 신호의 감쇄 때문에 측정 가능한 거리 범위에 한계가 있다. 반면에 직접 ToF 감지 방법은 하나의 광자를 검출하는 셀(SPAD: Single Photon Avalanche Diode) 크기가 크고 각 셀에 판독 회로를 쌓아야 해, 해상도에 한계가 있다. 이러한 장단점으로 인해 각자의 장점을 활용할 수 있는 응용에 사용하거나 단점을 극복하려는 노력이 함께 이뤄지고 있다.

▲그림 5. 비행시간(ToF) 센서의 작동 원리 및 적용 분야|

▲그림 6. SK 하이닉스의 첫 번째 ToF 센서(IR & Depth Image)

▲그림 7. iToF 및 dToF의 진화

아울러 빛의 넓은 스펙트럼을 바탕으로 자외선, 적외선, 근적외선, 단파 적외선을 활용해 CIS 적용 분야를 확대함으로써 풍요로운 인류의 삶에 기여하기 위한 방법도 모색되고 있다. 이러한 파장은 실리콘의 단점을 개선하기 위해 게르마늄(Ge), 인듐·갈륨·비소(InGaAs), 인화 인듐(InP)와 같은 대체 재료를 활용할 수 있는 기회를 제공한다. 또한 다중 및 초 분광(hyperspectral) 영상 또는 편광 센서도 이에 기여하기 시작했다.

▲그림 8. 적용 분야의 확장

또한 사회와 산업 전반에서 널리 채택되고 있는 인공지능(AI)도 이 분야에 기여하고 있다. 초기 단계에서는 이 기술이 이미지 자체를 개선하기 위해 노이즈 감소 또는 해상도 향상에 중점을 두었다면, 이제는 그 용도가 사물 인식 및 보안 영역으로 확대되고 있다. 카메라의 등장으로 사회 곳곳에서 사생활 보호에 대한 우려로 이어지고 있기 때문. 가장 중요한 것은 안전과 보안에 관련된 데이터만 서버에 전송하고, 그 외의 다른 데이터의 노출을 방지하는 것이다 (‘big brother’의 출현 방지). 이로 인해 AI 기능이 Edge Device로 이동하게 돼 사물 인터넷 (IoT) 장치 간의 데이터 전송을 줄임과 동시에 절전도 가능하게 한다. IR 데이터의 사용과 이벤트 기반 센서의 출현도 이 방향과 맥락이 같다고 볼 수 있다.

이러한 응용에 더해 다양한 기기의 융합 및 통합과 함께 HMD(Head Mounted Display) 및 AR/VR 안경과 같은 새로운 웨어러블 디바이스(Wearable Device), 자율 주행 차량, 로봇, 드론에 적용되는 다양한 센서 또한 개발될 것이다.

CIS의 진화는 이미지 전달 기술에 국한되지 않고 다양한 빛의 정보를 감지함으로써 우리 삶을 더 편리하고 안전하게 변화시키기 위해 계속 발전될 것이다. SK하이닉스는 이러한 기조에 발맞춰 지속적으로 기술 개발에 전념하고 있다. 엔지니어로서 다양한 제품을 만드는 기술과 함께 사회적 가치를 더하는 일까지 많은 기회가 주어진 CIS 개발에 더 많은 인재들과 함께 일할 수 있기를 기대한다.

<참고문헌>
그림 7
1) 출처: Sunscreenr.com
2) 출처: LA View Security blog
3) 출처: Cyth Systems Inc.
4) Halicek M, Fabelo H, Ortega S, Callico GM, Fei B. 초분광 영상 기술을 통한 체내 및 체외 조직 분석(In-Vivo and Ex-Vivo Tissue Analysis through Hyperspectral Imaging Techniques): 밝혀지지 않은 암의 특징 규명(Revealing the Invisible Features of Cancer). 암(Cancers). 2019; 11(6):756. https://doi.org/10.3390/cancers11060756
5) Zvanovec, S, Chvojka, P, Haigh, P & Ghassemlooy, Z 2015, ‘5G를 향한 가시광선 통신(Visible Light Communications towards 5G)’, Radioengineering, vol. 24, no. 1, pp. 1-9.

* Andrew Parker ‘In the Blink of an Eye: How Vision Sparked the Big Bang of Evolution’, 2003()

이와 유사한 시각적 혁신이 10여 년 전 스마트폰에서 이뤄졌다. 고성능 카메라를 장착한 스마트폰이 등장하면서 사람들은 시각 정보를 기반으로 사진 공유, 영상 통화 등 기존과 다른 방식으로 소통하기 시작했다. 이후 카메라에 기반한 새로운 애플리케이션과 서비스가 폭발적으로 증가해, 오늘날과 같은 모바일 세상이 탄생하게 됐다. 특히 올해는 코로나19 바이러스 확산 여파로 비대면 환경으로의 디지털 전환이 가속됐고, 이제 화상 회의와 온라인 수업은 우리의 일상이 됐다.

‘카메라의 망막’ CIS 기술 발전, 스마트폰 카메라 전성시대 열다

기술 측면에서 스마트폰 카메라는 렌즈(Lens), 적외선 차단 필터(Infrared Cut-off Filter)*, 자동 초점 장치(Auto Focusing Actuator)*, CIS(CMOS Image Sensor)* 등 여러 가지 부품으로 구성돼 있다. 이 가운데 CIS는 사람 눈의 망막 역할을 하는 핵심 부품으로서 위 그림과 같이 빛을 전자로 변환하는 포토다이오드(Photodiode), 특정 파장의 빛만 통과시키는 컬러 필터(Color Filter), 전자를 디지털 신호로 변환하는 아날로그(Analog)/디지털(Digital) 회로, 보정과 영상 처리를 담당하는 ISP(Image Signal Processor) 등으로 구성돼 있다.

* 적외선 차단 필터(Infrared Cut-off Filter): 적외선 영역을 차단하고 가시광선 영역을 통과시키는 소자
* 자동 초점 장치(Auto Focusing Actuator): 모터를 활용해 자동으로 초점을 맞춰주는 장치
* CIS(CMOS Image Sensor): 채널이 다른 모스(MOS) 집적 회로를 짜맞춰 구성한 ‘상보성 금속 산화물 반도체(CMOS)’ 구조를 가진 촬상소자(빛을 감지해 전기 신호로 변환하는 소자). 소비 전력이 매우 적고, 스마트폰 카메라 등 촬영용 전자기기에서 일종의 전자 필름 역할을 한다.

CIS 성능에 의해 영상의 해상도, 감도, SNR(Signal-to-Noise Ratio)* 등이 결정되므로 스마트폰 카메라의 화질은 CIS에 의해 결정된다고 해도 과언이 아니다. 오늘날 스마트폰 카메라의 CIS 화질은 콤팩트 디지털 카메라(Compact Digital Camera) 수준을 넘어섰고, DSLR과의 차이도 지속적으로 좁혀가는 추세다.**

* SNR(Signal-to-Noise Ratio): 신호 대 잡음 비. 20 log(signal/noise)로 정의됨
** DXO Mark ‘Smartphones vs Cameras: Closing the gap on image quality’, 2020()

성능 측면에서 CIS는 화소(畵素, Pixel)를 높이고 기능을 강화하는 방향으로 발전해 왔다. 스마트폰 카메라가 등장한 이후 지금까지는 화소 경쟁이 치열했다. 화소 숫자가 증가할수록 세밀하고 선명한 화질을 얻을 수 있기 때문이다. BSI(Back Side Illumination)* , DTI(Deep Trench Isolation)* 등 반도체 미세 공정의 혁신을 통해 동일한 면적에 더 많은 화소를 집적할 수 있게 됐고, 그 덕분에 이제는 일반적인 스마트폰으로도 수천만 화소의 영상을 쉽게 찍을 수 있게 됐다.

* BSI(Back Side Illumination): 빛을 센서 후면부에서 받아들임으로써 포토다이오드에 입사되는 수광량을 높이는 기술. 빛이 센서 전면부에서 입사되는 경우에는 금속 배선에 의한 산란으로 광 손실 발생
* DTI(Deep Trench Isolation): 화소 간의 신호 간섭을 방지하기 위해 실리콘 내부의 인접한 포토다이오드 사이에 물리적인 격벽을 만드는 공정 기술

CIS의 최신 기술 트렌드는? 화소 경쟁의 시대 가고, 기능 경쟁의 시대 온다

하지만 CIS의 화소를 높이는 방식의 시도는 조만간 기술적 어려움에 직면할 것으로 예상되며, 이로 인해 앞으로는 ISP를 중심으로 기능을 강화하는 방향으로 경쟁 양상이 바뀔 것으로 전망된다. 그 이유는 다음과 같다.

첫째, ‘회절 한계’*로 인해 CIS 화소 미세화에는 한계가 존재하기 때문이다. CIS는 마이크로 렌즈와 같은 광학 기술이 소자나 회로와 같은 반도체 기술과 결합된 복합적인 부품이다. 현재의 반도체 기술로도 전자 회로의 선폭을 nm(나노미터) 단위까지 줄이는 것은 가능하다. 하지만 화소의 크기가 작아질수록 수광량(受光量, 빛을 받는 양)이 감소해 감도가 저하되고, 신호의 크기가 줄어 SNR이 저하되기 때문에 화질 열화(劣化)가 발생한다.

* 회절 한계: 회절(回折)은 빛이 진행할 때 장애물을 만나면 직진 경로가 아닌 휘어진 경로로 진행하는 현상을 의미하는데, 이때 회절 한계란 육안으로 회절이 일어난 것인지, 일어나지 않은 것인지 판별하기 힘든 한계를 의미한다.

또한 카메라의 광학계는 회절 효과*에 의해 성능이 제한되는 물리적 한계가 존재하며, 하나의 점광원*을 찍더라도 렌즈를 통해 CIS에 맺히는 화상영상은 위 그림과 같이 퍼져 보이게 된다. 이것을 ‘Airy disk’* 라고 부르는데, 빛의 파장(λ), 초점 거리(f), 렌즈 직경(d)이 주어졌을 때, 두 점을 분리할 수 있는 거리(x)는 아래 식으로 결정된다.**

* 회절 효과: 빛이 진행할 때 장애물을 만나면 직진 경로가 아닌 휘어진 경로로 진행하는 현상
* 점광원: 크기와 형태가 없이 하나의 점으로 보이는 광원(光源)
* Airy disk: 하나의 점광원이 렌즈를 통해 CIS에 맺힐 때 영상이 퍼져보이는 현상
** Wikipedia, Airy disk()

x = 1.22(λ*f)/d

예를 들면 400nm의 청색 점광원에 대해 F(=f/d)값이 1.4인 고성능 렌즈를 쓰더라도 두 점을 분리할 수 있는 거리는 0.68μm(마이크로미터)가 된다. 즉, 청색 점광원 두 개를 구분하기 위해서는 적어도 0.68μm 이상 떨어져 있어야 한다는 의미로, CIS의 화소를 이보다 작게 만든다고 하더라도 실질적인 해상도 향상을 기대하기는 어렵다. 현재 상용화된 CIS 화소의 크기가 이미 0.7~0.8μm에 도달했기 때문에 이보다 더 작은 화소로부터 효용 가치를 얻기 위해서는 초점 간 거리인 F값을 줄이기 위한 새로운 광학 기술을 개발하거나 여러 개의 미세 화소를 묶어서 사용하는 것과 같은 새로운 애플리케이션을 개발해야 한다.

둘째, 스택 센서(Stack Sensor) 기술의 출현이다. 재래식 센서는 화소와 회로를 동일한 기판에서 구현하는 구조로, CIS를 작게 제작하기 위해서는 비수광부(非受光部, 빛을 받지 않는 부분)의 면적을 줄여야 했다. 이로 인해 아날로그/디지털 회로의 필수적인 기능만 구현할 수 있었고, 부가 기능을 위한 회로를 추가하는 것도 매우 제한적이었다.

반면, 스택 센서는 위 그림과 같이 화소와 회로를 별도의 기판에서 구현한 다음, TSV(Through Silicon Via)* 또는 Hybrid bonding* 기술로 두 개의 기판을 전기적으로 연결하는 구조를 가진다. 화소와 회로가 포개어져 상판 화소가 차지하는 면적만큼 하판 회로를 사용할 수 있다. 그만큼 활용할 수 있는 면적이 넓다.

* TSV(Through Silicon Via): 2개 이상의 실리콘 웨이퍼를 관통하는 전극을 형성해 웨이퍼 사이에서 전기적 신호를 전달하는 공정 기술
* Hybrid bonding: 실리콘 웨이퍼를 관통하는 전극 대신, 두 개 웨이퍼의 상단 표면에 금속 전극을 미리 형성한 후 이를 맞붙여서 두 웨이퍼를 전기적으로 연결하는 공정 기술. 성능은 높이면서 크기를 줄일 수 있음

예를 들어 1μm 화소로 구현된 4,800만 화소(8000×6000)의 센서 크기는 상판 화소가 48㎟ 이상의 면적을 차지하게 되는데, 하판 회로에서 이 면적을 디지털 로직(Digital Logic) 구현에 사용한다면 고성능 마이크로프로세서(microprocessor)*를 다수 집적할 수 있을 정도의 여유 있는 공간을 활용할 수 있다.

* 고성능 마이크로프로세서(microprocessor): 연산 장치와 중앙 처리 장치의 제어 기능을 하나의 칩 속에 집적한 소자

또한 스택 센서는 상판 화소와 하판 회로에 독립적인 공정을 적용할 수 있다는 장점을 갖고 있다. 하판 회로에 상판 화소 공정 대비 초미세 로직 공정*을 적용하면, 복잡한 ISP 알고리즘도 저전력·고집적 디지털 회로로 구현할 수 있다. 재래식 센서의 ISP는 회로 면적 제한으로 인해 렌즈 보정, 결함 보정과 같은 단순 기능만을 지원했지만, 스택 센서의 ISP는 초미세 로직 공정을 활용해 영상 처리, 컴퓨터 비전, 인공지능(Artificial Intelligence, AI)과 같은 혁신적인 알고리즘을 구현할 수 있게 된 것.

* 로직 공정: AND, OR, NOT과 같은 논리 연산을 처리하기 위한 디지털 소자를 제조하는 반도체 공정

SK하이닉스의 CIS가 특별한 이유는? 다양한 기능 갖춘 ‘다재다능함’

현재 SK 하이닉스 CIS는 PDAF(Phase Detection Auto Focus), Quad 화소 처리, HDR(High Dynamic Range) 처리와 같은 영상 처리 기능을 내장하고 있으며, 새로운 기능들을 지속적으로 추가하고 있다.

우선, PDAF는 사람이 양쪽 눈을 이용해 피사체까지 거리를 예측하는 원리를 응용한 기능이다. 즉, CIS의 일부 화소에 대해 위 그림 왼쪽과 같이 좌우를 가려 위상차(Phase difference)*를 발생시키거나, 오른쪽과 같이 하나의 큰 마이크로 렌즈 하부에 좌우 화소를 배치해 위상차를 발생시키는 방식이다. 이때 ISP 알고리즘은 좌우 이미지로부터 위상차를 계산하고 이를 피사체까지 거리로 변환해, 빠르고 정확하게 초점을 맞출 수 있다.

* 위상차(Phase difference): 두 개의 진동(파동)에 대한 위상의 차이. 이때 위상은 임의의 기점에서 본 진동(파동)의 상대적인 위치를 의미한다.

다음으로, Quad 센서는 동일한 색상의 컬러 필터 네 개를 인접하게 배치해 함께 처리하는 기능을 갖고 있다. 어두운 곳에서는 네 개의 화소를 합쳐 더 많은 빛을 받아들이도록 처리하고, 밝은 곳에서는 ISP 알고리즘으로 개별 화소를 따로 처리해 해상도를 향상시킨다. 위 그림은 어두운 배경의 같은 장면을 SK하이닉스의 4,800만 화소 CIS의 Quad 센서와 일반 센서로 각각 촬영한 영상이다. 일반 센서와 비교할 때, Quad 센서를 사용하면 어두운 곳에서도 밝은 영상을 얻는 것이 가능하다.

끝으로, HDR 센서는 감도와 노출시간이 다른 여러 개의 화소를 합성해, 영상의 밝은 부분과 어두운 부분을 더욱 선명하게 대비하는 기능을 지원한다. 특히 SK 하이닉스 CIS는 내장 ISP에서 영상 처리가 이뤄지기 때문에 실시간 처리가 가능하고, 움직이는 물체가 있더라도 선명한 화질을 얻을 수 있다. 위 그림은 같은 장면을 SK 하이닉스 CIS의 HDR 센서와 일반 센서로 각각 촬영한 영상이다. 일반 센서와 비교할 때, HDR 센서를 사용한 영상은 전경의 밝기를 동일하게 유지하면서 배경을 선명하게 복원한다.

현재 SK 하이닉스의 CIS는 블랙펄(Black Pearl) 제품 라인업을 필두로 스마트폰 카메라에 광범위하게 사용되고 있으며, 가까운 시일 내에 바이오, 보안, 자율주행 자동차 등 다양한 분야로 확장될 전망이다.

특히 자율주행 자동차는 10개 이상의 카메라를 활용해 주변을 감지하게 되는데,* 정확도를 향상시키기 위해서는 △멀리 있는 물체를 구분하기 위한 고해상도 지원 △어두운 환경에서도 사물을 분간하기 위한 HDR 지원 △프로세서의 연산량을 줄이기 위한 ISP에서의 전처리 등의 요구 사항을 만족시켜야 한다.

* Peter Brown ‘Breaking Down the Sensors Used in Self-Driving Cars, 2018()

보안 분야에서는 CIS 내장 ISP에서 영상 신호를 압축하고 암호화해 외부 프로세서에 전달하는 기능이 필요하다. 암호화되지 않은 영상 신호가 그대로 외부로 전달된다면 보안 취약성과 정보 유출 가능성이 커지기 때문에 CIS 내부의 암호화 기능은 필수적이다.

CIS의 미래는? 고도의 부가 기능 지원하는 ‘인포메이션 센서’

미래의 CIS는 화질 향상에 국한되지 않고 고도의 부가 기능을 지원하는 인포메이션 센서(Information Sensor)로 진화할 것이다. SK 하이닉스의 스택 센서는 이미 초미세 공정을 기반으로 하판 ISP 내부에 간단한 AI Hardware Engine을 내장하는 것이 가능한 수준에 이르렀다. SK 하이닉스는 이를 바탕으로 머신 러닝(Machine Learning) 기반의 ‘Super Resolution’*, 색상 복원, 얼굴 인식, 사물 인식 등 새로운 기술들을 개발하고 있다.

* Super Resolution:저해상도 영상을 고해상도 영상으로 변환하는 기술. 머신 러닝 기술을 활용하면 영상의 디테일을 잘 복원할 수 있기 때문에 선명한 영상을 얻을 수 있음

머신 러닝 기반의 ISP 기술을 활용하면 입력 영상으로부터 특징을 추출하고 분류하는 것이 가능해, CIS는 영상 정보, 위치 정보, 거리 정보, 생체 정보 등 다양한 정보를 수집하는 인포메이션 센서의 핵심 부품으로 자리 잡을 것이다.

특히 CIS를 인포메이션 센서로 활용하기 위해서는 현재와는 다른 관점에서 접근해야 한다. 지금까지 CIS의 화질 목표는 ‘사람의 눈에 최적화된 화질을 달성하는 것’이었으나 향후에는 ‘기계 알고리즘에 최적화된 화질을 달성하는 것’으로 변화해야 하기 때문.

스탠퍼드 대학교(Stanford University)의 연구 결과에 따르면, 복잡한 영상 처리를 해 사람 눈에 보기 좋은 영상을 만든다고 하더라도 컴퓨터 비전 알고리즘을 적용했을 때 항상 우수한 결과를 도출하지는 못한다. 예를 들면 위 그림처럼 커피 컵 영상에 장면 인식 알고리즘을 적용했을 때 노이즈가 적은 좌측 영상은 기계에서 스포트라이트로 잘못 인식되지만, 오히려 노이즈가 많은 우측 영상이 에스프레소로 정확하게 인식된다. 따라서 미래의 CIS는 사용하고자 하는 컴퓨터 알고리즘에 최적화된 화질을 제공하는 것이 중요하다.*

* Diamond, V. Sitzmann, S. Boyd, G. Wetzstein, F. Heide ‘Dirty Pixels: Optimizing Image Classification Architectures for Raw Sensor Data’, arXiv preprint arXiv:1701.06487.

SK하이닉스는 이처럼 지속적인 소자 및 공정 기술 개발을 통해 CIS 화소 집적도를 높이고 있으며, ISP 기술 개발을 통해 다양한 응용 분야를 지원하고 있다. 특히 새로운 기술 분야를 개척하기 위해 일본 및 미국에 해외 연구소를 설립해 운영하고 있다. 또한, 국내외 대학과의 활발한 산학협력을 통한 연구도 진행하고 있다. 앞으로 SK 하이닉스의 CIS는 스마트폰 카메라를 비롯한 다양한 응용 분야에 활용돼 경제·사회적 가치 창출에 기여하고, 향후 인포메이션 센서의 핵심 부품으로 성장할 것으로 기대된다.