피처폰에서 오늘날의 스마트폰에 이르기까지, 휴대폰은 다양한 기능을 갖춘 스마트 디바이스로 발전해 왔다. 특히 고성능 카메라 기능을 가진 스마트폰은 무거운DSLR카메라의 대안으로 인식되고 있다.
이 글에서는SK하이닉스슬롯(High Dynamic Range)*기술의 타임라인과 함께, 그간 스마트폰 카메라의 성능을 끌어올리기 위한 회사의 노력을 소개하고자 한다.
* 슬롯(High Dynamic Range):사진에서 동적 범위는 이미지의 가장 밝은 영역과 가장 어두운 영역 사이의 범위를 나타낸다. 슬롯은 이 동적 범위를 SDR(Standard Dynamic Range)에 비해 넓혀 대비와 색상을 더 섬세하게 표현해 사람의 눈으로 보이는 것과 최대한 가깝게 구현하는 기술이다.
▲ 2000년대 초반부터 현재까지슬롯이미지 센서의 개발 타임라인
사진의 동적 범위(Dynamic Range)를 향상시키기 위한 노력
▲ 슬롯을 적용한 사진 vs 미적용한 사진
최근 스마트폰 카메라 센서의 기능과 구성은DSLR카메라에 버금가는 수준이다. 그러나DSLR카메라는3~4μm(마이크로미터)의 픽셀 크기와14bit이상의ADC(Analog-to-Digital Converter)*를 갖추고 있지만, 스마트폰 카메라는 스마트폰 크기의 제약으로 일반적으로 약1μm의 픽셀 크기와10bit ADC로 구성되어 있다. 이에 따라 저조도 환경에서의 이미지 품질과 동적 범위(Dynamic Range, DR)측면에서 현재 스마트폰은DSLR에 뒤처지고 있으며, CIS* 산업은 이를 개선하기 위해 노력 중이다.
* ADC(Analog-to-Digital Converter):아날로그 신호를 디지털 신호로 변환하는 장치. bit가 높을수록 빛의 변화를 정확하게 감지해 더욱 선명하고 디테일한 이미지를 제공한다.
* CIS(CMOS Image Sensor):빛의 색상과 강도를 전기 신호로 변환하여 처리 장치에 전달하는 센서. 스마트폰, 태블릿 등 디지털 기기의 ‘눈’역할을 한다.
동적 범위는FWC(Full Well Capacity)*와TN(Temporal Noise)*의 비율로 정의되며, FWC를 높이거나TN을 낮추는 방법으로 동적 범위를 향상할 수 있다. 그러나 이러한 방법은 픽셀 구조와 회로 개선 등 고도의 기술이 필요하기 때문에, 다양한 가격대의 스마트폰에 모두 적용하기에는 한계가 있다.
* FWC(Full Well Capacity):수광면적, 빛을 수용할 수 있는 최대 면적 즉, 빛을 픽셀이 신호 품질의 저하 없이 보유할 수 있는 최대 전하를 의미한다. 만약 픽셀의 전하가 포화 상태를 초과하면, 전하는 ‘블루밍’이라고 불리는 효과로 인접 픽셀로 넘쳐흐를 수 있다.
* TN(Temporal Noise):이미지의 밝기와 색상이 의도치 않게 다르게 변하는 현상. 이 현상은 하나의 픽셀로 들어오는 광자를 전자로 변환하여 디지털 값으로 생성하는 과정에서 발생한다.
▲ 동적 범위를 구하는 방정식.
하지만SK하이닉스는 스마트폰의 픽셀 구조와ADC를 유지한 채ISP* 하드웨어 로직을 추가하여 동적 범위를 개선하는 방식으로슬롯기술을 구현하고 있다. 이를 통해 스마트폰 가격과 무관하게 스마트폰에서슬롯기능을 경험할 수 있도록 지원한다.
* ISP(Image Signal Processor):디지털카메라, 휴대폰 등의 영상 처리를 주로 담당하는 미디어 프로세서의 일종. 디지털 이미지로 변환하고, 노이즈 감소, 자동 노출, 자동 초점, 자동 화이트 밸런스, 슬롯 보정, 이미지 선명화 등의 작업을 수행한다.
Q슬롯에서 DAG & iDCG 슬롯까지 - SK하이닉스 슬롯 기술 개발의 역사
SK하이닉스의 슬롯 기술은 2017년 Q슬롯 개발 이후 눈부신 발전을 이뤄냈다.
▲ 다양한슬롯기술의 장단점을 보여주는 표
Q슬롯(2017년 개발)
Q슬롯(Quad-Sensor 슬롯)은 QuadCFA(Color Filter Array)*를 활용한 다중 노출 시간 기반의슬롯기술이다. Quad CFA에 픽셀별 노출 시간을 패터닝한 단일 프레임 영상을 촬영하여, 이를 합성하여 동적 범위를 확장하는 방식이다. Quad CFA기술이 발전하면서 고해상도 센서의 경쟁력을 높이기 위해슬롯기능을 센서에 통합했고, 이를 통해Q슬롯이 개발되었다. 그리고Q슬롯의 합성 방식과 톤 매핑(Tone Mapping)프로세스와 같은 기능을 센서에서 지원한다.
* CFA(Color Filter Array):이미지 센서의 픽셀 위에 배치되어 색상 정보(R/G/B)를 포착하는 색상 필터. 최근에는 베이어(Bayer), 쿼드(Quad) 등 다양한 응용 기술을 결합한 고품질, 고기능 CIS 제품이 출시되고 있다.
▲ 센서 내Q슬롯블록의 개념도
s슬롯(2018년 개발)
Q슬롯은 센서에슬롯기술을 통합하여 구현했기 때문에 센서 자체에 상당한 하드웨어 리소스가 필요하다. 하지만s슬롯은 센서와AP(Application Processor)*가 함께 동작해 품질과 동적 범위를 최적화하는 기술이다.
s슬롯은 센서가 다양한 노출 시간으로 여러 이미지를 촬영해AP로 전송하면AP가 이를 합성하고 톤 매핑하여슬롯이미지를 구현한다. 이때 센서는 여러 이미지를 빠르게AP로 전송할 수 있어야 한다.
* AP(Application Processor): PC의 메인보드 칩셋 기능을 하나의 칩에 구현한 것으로, 모바일 기기 내 OS, CPU, 그래픽카드, 메모리 등 여러 장치의 칩과 기능을 모두 포함한다.
▲ s슬롯에서 센서와AP의 역할
iDCG-슬롯(2021~2022년개발)
Q슬롯과 s슬롯은 여러 노출 시간으로 이미지를 촬영하기 때문에 움직이는 피사체를 촬영할 때 이미지의 왜곡(Motion Artifacts*)이 발생할 수 있다. SK하이닉스는 이 문제를 해결하기 위해iDCG-슬롯기술을 개발했다.
* Motion Artifacts:서로 다른 노출 이미지를 합성하는 과정에서 발생하는 이미지 왜곡 현상. 이는 카메라의 흔들림이나 피사체의 움직임으로 인해 발생한다. ‘ghosting artifacts’라고도 부른다.
DCG(Dual Conversion Gain)는 센서가 동일한 빛을 받아도 출력 밝기를 조절할 수 있는 혁신적인 기술이다. iDCG-슬롯은 한 번의 노출 동안 다른 밝기로 촬영된HCG(High Conversion Gain)이미지와LCG(Low Conversion Gain)이미지를 하나로 합쳐슬롯을 구현한다.
센서는 두 프레임의 이미지를 합성하는 ISP를 지원하며, DCG 비율이 1:4인 경우 약 12dB의 동적 범위를 제공한다.▲ iDCG-슬롯블록의 개념도
DAG-슬롯(2023년개발)
iDCG-슬롯은Q슬롯과s슬롯보다는 이미지의 왜곡을 줄이지만, 물리적으로 고정된CG(Conversion Gain)*를 사용하기 때문에 다양한 촬영 조건에서 동적 범위 개선에 제약이 있다. 또한CG를 제어하기 위해 트랜지스터를 추가해야 하므로 제조 비용이 많이 드는 단점이 있다.
* CG(Conversion Gain):이미지 센서의 출력 신호 레벨과 입력 신호 레벨의 비율. 이 비율은 입력 이미지와 출력 이미지 간의 정량적 대응을 보장한다.
DAG-슬롯기술은 서로 다른AG(Analog Gain)*로 촬영한 두 장의 사진을 합성하여슬롯을 구현한다. 비록 최대 동적 범위는iDCG-슬롯보다 낮지만, 필요에 따라 조정할 수 있어 저가형 스마트폰에서도슬롯를 구현할 수 있다.
* AG(Analog Gain):아날로그 신호를 디지털 신호로 변환하기 전에 증폭하여 더 높은 감도와 더 적은 노이즈를 제공한다.
DAG & iDCG 슬롯(2023년 개발)
DAG & iDCG 슬롯기술은DAG-슬롯과iDCG-슬롯의 장점을 결합한 방식이다. 단일 노출 시간을 기반으로 한슬롯기술로 사용자의 다양한 촬영 조건에도 이미지 왜곡을 최소화하고 동적 범위를 유연하게 늘릴 수 있다.
이 기술은CG비율이1:4이고AG가16x일 때, 최대36dB까지 동적 범위를 향상시킬 수 있다.
▲ DAG & iDCG 슬롯블록의 개념도
앞으로SK하이닉스는 다양한 촬영 조건에서 사진의 동적 범위를 향상하면서 이미지의 왜곡을 최소화하는DAG & iDCG 슬롯개발에 집중, CIS기술을 고도화하여 모든 스마트폰 사용자가슬롯의 잠재력을 경험할 수 있도록 최선의 노력을 다할 것이다.
