이미지 프로세서

이미지 프로세서(image processor), 이미지 처리 엔진(image processing engine), 이미지 처리 장치(image processing unit, IPU), 이미지 신호 프로세서(image signal processor, ISP)는 디지털 카메라나 기타 장치에서 영상 처리를 위해 사용하는 미디어 프로세서 또는 특수 디지털 신호 처리 장치(DSP)의 일종이다.^[1]^[2] 이미지 프로세서는 속도와 효율성을 높이기 위해 SIMD 또는 MIMD 기술을 활용한 병렬 컴퓨팅을 사용하는 경우가 많다.^[3] 디지털 영상 처리 엔진은 다양한 작업을 수행할 수 있다. 임베디드 시스템에서의 시스템 통합을 높이기 위해, 종종 멀티 코어 아키텍처를 갖춘 시스템 온 칩 형태로 구현된다.

기능

베이어 변환

이미지 센서에 사용되는 광다이오드는 본질적으로 색을 구분할 수 없으며, 회색조만 기록할 수 있다. 사진에 색을 입히기 위해, 이들은 베이어 필터가 지정한 패턴에 따라 빨강, 녹색, 파랑 (RGB) 등의 서로 다른 색상 필터로 덮여 있다.^[4] 각 광다이오드는 이미지의 정확히 한 화소에 대한 색상 정보를 기록하므로, 이미지 프로세서가 없다면 각 빨간색 및 파란색 화소 옆에 녹색 화소만 있게 된다.

그러나 이 과정은 매우 복잡하며 다양한 연산이 수반된다. 그 품질은 센서에서 들어오는 원본 데이터에 적용되는 알고리즘의 효율성에 크게 좌우된다. 수학적으로 처리된 데이터가 우리가 기록하는 사진 파일이 된다.

디모자이킹

위에서 언급했듯이, 이미지 프로세서는 특정 화소의 색상 및 명도 데이터를 평가하고, 주변 화소의 데이터와 비교한 뒤 디모자이킹 알고리즘을 사용하여 해당 화소에 적합한 색상 및 명도 값을 생성한다.^[5] 또한 이미지 프로세서는 전체 사진을 평가하여 올바른 대비 분포를 추정한다. 감마 보정 값을 조절하여(이미지 중간 톤의 대비 범위를 높이거나 낮춤으로써), 인간의 피부나 하늘의 파란색과 같은 미묘한 색조 변화를 훨씬 더 사실적으로 표현한다.

노이즈 제거

이미지 노이즈는 모든 전자 회로에서 나타나는 현상이다. 디지털 사진에서 노이즈의 영향은 매끄럽게 처리되어야 할 영역에서 잘못된 색상의 무작위 점들로 나타나는 경우가 많다. 노이즈는 온도와 노출 시간이 길어질수록 증가한다. 더 높은 ISO 설정을 선택하면 이미지 센서의 전자 신호가 증폭되는데, 이때 노이즈 수준도 함께 증가하여 신호 대 잡음비가 낮아진다. 이미지 프로세서는 이미지 정보에서 노이즈를 분리하여 제거하려고 시도한다. 이미지에 미세한 질감이 포함된 경우, 이를 노이즈로 처리하면 선명도가 떨어질 수 있어 이는 상당히 어려운 작업이다.^[6]

이미지 선명화

각 화소의 색상 및 명도 값이 보간됨에 따라, 발생한 흐릿함을 상쇄하기 위해 일부 이미지 선명화가 적용된다. 깊이 감각, 선명도, 세부적인 디테일을 유지하기 위해 이미지 프로세서는 가장자리와 윤곽선을 선명하게 해야 한다. 따라서 윤곽선 검출을 정확히 수행하고 과도한 선명화 없이 부드럽게 재현해야 한다.^[7]

모델

이미지 프로세서 사용자들은 산업 표준 제품, 주문형 반도체(ASSP) 또는 브랜드명이 붙은 ASIC을 사용한다. 캐논은 DIGIC, 니콘은 Expeed, 올림푸스는 TruePic, 파나소닉은 Venus Engine, 소니는 Bionz를 사용한다. 일부는 후지쯔 Milbeaut, 텍사스 인스트루먼트 OMAP, 파나소닉 MN103, 조란 Coach, Altek Sunny, 또는 산요 전기의 이미지/비디오 프로세서를 기반으로 하는 것으로 알려져 있다.

ARM 아키텍처 프로세서와 그 NEON SIMD 미디어 처리 엔진(MPE)은 휴대 전화에 자주 사용된다.

프로세서 브랜드명

ATI - Imageon (초기 휴대 전화에서 카메라 이미지 신호 처리를 제공하기 위해 사용된 그래픽 보조 프로세서^[8])
캐논 - DIGIC (텍사스 인스트루먼트 OMAP 기반)^[9]
카시오 - EXILIM 엔진
엡손 - EDiART
후지필름 - EXR III 또는 X 프로세서 프로
구글 - 픽셀 비주얼 코어^[10]
HTC - ImageSense
인텔 - IPU^[11]
미디어텍 - Imagiq
미놀타 / 코니카 미놀타 - CxProcess를 탑재한 SUPHEED
라이카 - MAESTRO (후지쯔 Milbeaut 기반)^[12]
니콘 - Expeed (후지쯔 Milbeaut 기반)^[13]
올림푸스 - TruePic (파나소닉 MN103/MN103S 기반)
오포 - MariSilicon X
파나소닉 - Venus Engine (파나소닉 MN103/MN103S 기반)
펜탁스 - PRIME (Pentax Real IMage Engine) (최신 버전은 후지쯔 Milbeaut 기반)
퀄컴 - 퀄컴 스냅드래곤 기반 퀄컴 스펙트라
리코 - GR 엔진 (GR 디지털), 스무스 이미징 엔진
삼성 - DRIMe (삼성 삼성 엑시노스 기반)
산요 전기 - Platinum 엔진
시그마 - True
샤프 - ProPix
소시오넥스트 - Milbeaut ISP 제품군 - SC2000 (M-10V), SC2002 (M-11S)
소니 - Bionz
THine - THP 시리즈 (펌웨어 개발용 SDK 키트 포함 )
유니속(UNISOC) - Vivimagic

속도

이미지 센서의 화소 수가 계속 증가함에 따라 이미지 프로세서의 속도는 더욱 중요해지고 있다. 사진가들은 다음 촬영을 하기 위해 카메라의 이미지 프로세서 작업이 끝나기를 기다리고 싶어 하지 않으며, 카메라 내부에서 어떤 처리가 이루어지는지조차 느끼고 싶어 하지 않는다. 따라서 이미지 프로세서는 동일한 시간 또는 더 짧은 시간 안에 더 많은 데이터를 처리할 수 있도록 최적화되어야 한다.

소프트웨어

libcamera는 사진 캡처를 위해 이미지 신호 처리 장치 사용을 지원하는 소프트웨어 라이브러리이다.

같이 보기

각주

↑ DIGITAL SIGNAL & IMAGE PROCESSING
↑ Fundamentals of digital image processing
↑ Merigot, Alain; Petrosino, Alfredo (2008년 12월 1일). “Parallel processing for image and video processing: Issues and challenges”. 《Parallel Computing》 34 (12): 694–699. doi:10.1016/j.parco.2008.09.009. ISSN 0167-8191.
↑ Ben Andrews (2025년 5월 8일). “Your camera sensor is mostly blind, but that could be about to change” (영어). 《Digital Camera World》. 2025년 10월 7일에 확인함.
↑ Chang, Lanlan (Mar 2006). “Hybrid color filter array demosaicking for effective artifact suppression” (PDF). 《Journal of Electronic Imaging》 15 (1): 013003–1 – 013003–17. Bibcode:2006JEI....15a3003C. doi:10.1117/1.2183325. 2009년 12월 29일에 원본 문서 (PDF)에서 보존된 문서.
↑ Fan, Linwei; Zhang, Fan; Fan, Hui; Zhang, Caiming (2019년 7월 8일). “Brief review of image denoising techniques”. 《Visual Computing for Industry, Biomedicine, and Art》 2 (1): 7. doi:10.1186/s42492-019-0016-7. ISSN 2524-4442. PMC 7099553. PMID 32240414.
↑ Blitzer, Herbert L.; Jacobia, Jack (2002년 1월 24일). 《Forensic Digital Imaging and Photography》 (영어). Academic Press. ISBN 978-0-12-106411-2.
↑ “Handheld Products”. 2006년 3월 11일. 2006년 3월 11일에 원본 문서에서 보존된 문서. 2019년 9월 14일에 확인함.
↑ Inside the Canon Rebel T4i DSLR 보관됨 2012-09-21 - 웨이백 머신 Chipworks
↑ Amadeo, Ron (2017년 10월 17일). “Surprise! The Pixel 2 is hiding a custom Google SoC for image processing”. Ars Technica. 2017년 10월 19일에 확인함.
↑ “7.8. Intel Image Processing Unit 6 (IPU6) Input System driver — The Linux Kernel documentation”. 《docs.kernel.org》. 2024년 8월 30일에 확인함.
↑ Fujitsu Microelectronics-Leica's Image Processing System Solution For High-End DSLR 보관됨 2008-10-07 - 웨이백 머신
↑ Milbeaut and EXPEED 보관됨 2016-05-21 - 웨이백 머신 byThom

[1] DIGITAL SIGNAL & IMAGE PROCESSING

[2] Fundamentals of digital image processing

[3] Merigot, Alain; Petrosino, Alfredo (2008년 12월 1일). “Parallel processing for image and video processing: Issues and challenges”. 《Parallel Computing》 34 (12): 694–699. doi:10.1016/j.parco.2008.09.009. ISSN 0167-8191.

[4] Ben Andrews (2025년 5월 8일). “Your camera sensor is mostly blind, but that could be about to change” (영어). 《Digital Camera World》. 2025년 10월 7일에 확인함.

[5] Chang, Lanlan (Mar 2006). “Hybrid color filter array demosaicking for effective artifact suppression” (PDF). 《Journal of Electronic Imaging》 15 (1): 013003–1 – 013003–17. Bibcode:2006JEI....15a3003C. doi:10.1117/1.2183325. 2009년 12월 29일에 원본 문서 (PDF)에서 보존된 문서.

[6] Fan, Linwei; Zhang, Fan; Fan, Hui; Zhang, Caiming (2019년 7월 8일). “Brief review of image denoising techniques”. 《Visual Computing for Industry, Biomedicine, and Art》 2 (1): 7. doi:10.1186/s42492-019-0016-7. ISSN 2524-4442. PMC 7099553. PMID 32240414.

[7] Blitzer, Herbert L.; Jacobia, Jack (2002년 1월 24일). 《Forensic Digital Imaging and Photography》 (영어). Academic Press. ISBN 978-0-12-106411-2.

[8] “Handheld Products”. 2006년 3월 11일. 2006년 3월 11일에 원본 문서에서 보존된 문서. 2019년 9월 14일에 확인함.

[9] Inside the Canon Rebel T4i DSLR 보관됨 2012-09-21 - 웨이백 머신 Chipworks

[10] Amadeo, Ron (2017년 10월 17일). “Surprise! The Pixel 2 is hiding a custom Google SoC for image processing”. Ars Technica. 2017년 10월 19일에 확인함.

[11] “7.8. Intel Image Processing Unit 6 (IPU6) Input System driver — The Linux Kernel documentation”. 《docs.kernel.org》. 2024년 8월 30일에 확인함.

[12] Fujitsu Microelectronics-Leica's Image Processing System Solution For High-End DSLR 보관됨 2008-10-07 - 웨이백 머신

[13] Milbeaut and EXPEED 보관됨 2016-05-21 - 웨이백 머신 byThom

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]