PraxRES는 딥러닝 기반의 통합 영상 품질 고도화 시스템입니다. 테라헤르츠파·전자파처럼 물리적으로 흐릿하고 노이즈가 많은 영상부터 손상되거나 변형된 일반 사진까지, 노이즈 제거·복원·해상도 향상을 하나의 파이프라인으로 처리해 '보이지 않던 정보'를 선명하게 되살립니다. 정답 영상 없이도 학습하는 자기지도 기법과 영상의 구조·텍스처·색상을 함께 복원하는 생성형 복원 기술을 결합해, 측정 장비의 물리적 한계를 소프트웨어로 끌어올립니다.
무엇을 해결하나 — 측정의 물리적 한계를 넘다
테라헤르츠파와 전자파를 이용한 영상 기술은 물체 내부를 비파괴적으로 들여다볼 수 있어 반도체 검사, 보안 검색, 문화재 진단 등에서 주목받지만, 근본적인 약점이 있습니다. 빛(전자기파)은 파장이 길수록 해상도가 떨어지는데, 테라헤르츠파의 파장은 가시광선보다 수백~수천 배 길어 '회절 한계'라는 물리 법칙에 막혀 영상이 흐려집니다. 즉 아무리 좋은 장비를 써도 파장 자체가 만들어내는 흐림과 번짐을 광학만으로는 없앨 수 없습니다.
여기에 더해, 실제 측정 신호에는 센서와 환경에서 비롯된 노이즈가 항상 섞여 들어와 미세한 구조가 잡음에 묻혀버립니다. 측정 시간을 늘리거나 더 비싼 광학계를 쓰는 하드웨어적 해법은 비용과 속도 면에서 한계가 뚜렷합니다. PraxRES는 이 문제를 '소프트웨어'로 접근합니다. 측정으로 얻은 원본 데이터를 딥러닝 모델이 학습해, 노이즈는 걷어내고 흐려진 경계와 패턴은 되살려 장비를 바꾸지 않고도 영상 품질을 끌어올립니다.
PraxRES는 영상 복원(Image Restoration), 화질 개선(Image Enhancement), 초해상도(Super-Resolution)라는 세 축을 하나의 시스템으로 묶어, 전자파·광파·초음파 등 다양한 소스의 저품질 영상을 고품질로 변환합니다. 각 단계는 독립적으로도, 연속된 파이프라인으로도 동작하도록 설계되어 고객의 영상 특성과 요구에 맞춘 구성이 가능합니다.
- 회절 한계: 긴 파장 때문에 광학만으로는 넘을 수 없는 해상도의 물리적 상한
- 센서·환경 노이즈로 미세 구조가 묻히는 저품질 측정 영상 문제
- 하드웨어 고도화(측정시간·고가 광학)의 비용·속도 한계를 소프트웨어로 보완
- 복원·화질개선·초해상도 세 축을 단일 파이프라인으로 통합
- 전자파·광파·초음파 등 다양한 영상 소스에 적용 가능한 범용 구조
노이즈 제거와 복원 — 정답 없이 배우는 자기지도 학습
노이즈 제거의 가장 큰 난관은 '깨끗한 정답 영상'을 구하기 어렵다는 점입니다. 테라헤르츠 측정처럼 노이즈가 본질적으로 섞이는 환경에서는 비교할 깨끗한 원본 자체가 존재하지 않습니다. PraxRES는 이를 자기지도 학습(self-supervised)으로 해결합니다. 대표 기법인 Noise2Noise(N2N)는 같은 대상을 측정한 두 장의 '서로 다르게 노이즈가 낀' 영상만으로 학습합니다. 노이즈는 매번 무작위로 다르지만 실제 구조는 항상 같으므로, 모델은 '둘 사이에서 변하지 않는 것'만 학습하여 자연스럽게 노이즈를 걸러냅니다.
중요한 점은 인위적으로 노이즈를 만들어 학습시키지 않는다는 것입니다. 그렇기 때문에 실제 시스템에서 발생하는 노이즈의 통계적 특성을 그대로 반영해 '진짜 노이즈만' 정확히 제거하고 원본의 미세 구조는 보존합니다. 영상은 U-Net 구조로 처리하는데, 인코더가 영상의 특징을 압축하고 디코더가 이를 복원하면서 노이즈를 걷어내는 방식입니다. 2차원 영상뿐 아니라, 측정의 가장 앞단인 1차원 시계열 신호 자체를 1D U-Net으로 디노이징하여 이미지로 재구성하기 전에 잡음을 제거하는 신호 단계 처리도 제공합니다.
손상된 영상의 복원에는 생성형 접근이 더해집니다. Segment Anything Model(SAM)로 손상·결손 영역을 정확히 식별한 뒤, Mask-Aware Transformer(MAT)가 주변 맥락을 참고해 비어 있는 구조와 텍스처를 자연스럽게 채워 넣습니다(인페인팅). 색상 필터로 왜곡된 사진은 자체 설계한 경량 네트워크 CAIR가 다중 스케일과 색상 주의(attention) 모듈을 통해 원래의 자연스러운 색감으로 되돌립니다.
- Noise2Noise(N2N): 깨끗한 정답 없이, 서로 다르게 노이즈 낀 영상 쌍만으로 학습
- 인위적 노이즈를 넣지 않아 실제 시스템 노이즈만 정밀하게 제거하고 구조는 보존
- U-Net(2D)과 1D U-Net(신호) 이중 처리로 이미지·신호 단계 모두에서 노이즈 억제
- SAM+MAT 인페인팅으로 손상·결손 영역의 구조와 텍스처를 맥락에 맞게 복원
- 경량 CAIR(NAFNet 기반)로 색상 필터 왜곡을 제거하고 자연스러운 원본 색감 복원
해상도 향상 — J-Net 초해상으로 회절 한계를 넘다
초해상도(Super-Resolution)는 저해상도 영상에서 사라진 디테일을 추정해 더 선명한 고해상도 영상으로 복원하는 기술입니다. PraxRES의 핵심은 테라헤르츠 영상의 초해상을 위해 U-Net을 개선한 J-Net입니다. J-Net은 인코더-디코더 구조에 Dense Residual Block을 도입해 특징 추출 능력을 강화했습니다. 이 블록은 합성곱·정규화·활성화 함수를 묶고 내부의 dense connection으로 특징 정보를 빠짐없이 전달해, 저해상도 영상에 남은 단서를 최대한 끌어냅니다.
여기에 채널 주의(channel attention)와 공간 주의(spatial attention)를 결합한 하이브리드 주의 모듈을 더해, 영상에서 중요한 특징에 선택적으로 집중합니다. 인코더와 디코더를 잇는 Skip Connection은 저해상도 단계의 세부 정보가 처리 과정에서 손실되지 않고 그대로 전달되도록 합니다. 학습에는 픽셀 단위 정확도를 보는 L1 손실과 사람의 시지각적 품질을 반영하는 perceptual 손실을 함께 사용해, 수치적으로 정확하면서도 눈으로 보기에 자연스러운 결과를 동시에 얻습니다.
테라헤르츠 영상에는 또 다른 접근도 적용됩니다. CNN 기반의 경량 모델이 서로 다른 주파수 대역 영상 간의 관계(One-to-One 매핑)를 학습해, 회절 한계에 막힌 저주파 영상이 고주파 영상의 선명함을 닮도록 만듭니다. 여기에 Zero-Shot Super-Resolution(ZSSR) 방식을 결합하면, 외부 학습 데이터 없이 한 장의 영상 안에서 반복되는 패턴만으로도 해상도를 자연스럽게 확장할 수 있습니다.
- J-Net: 테라헤르츠 초해상용으로 U-Net을 개선한 자체 네트워크
- Dense Residual Block으로 저해상도 영상의 특징 추출 능력 강화
- 채널·공간 하이브리드 주의 모듈로 중요한 특징에 선택적 집중
- L1 손실 + perceptual 손실 결합으로 픽셀 정확도와 지각적 자연스러움 동시 달성
- ZSSR(Zero-Shot): 외부 데이터 없이 단일 영상의 반복 패턴만으로 해상도 확장
생성형 영상 복원 — 채색·인페인팅·그림자 제거
단순히 노이즈를 줄이는 것을 넘어, '없거나 망가진 정보를 그럴듯하게 만들어내는' 영역에서는 생성형 AI가 핵심입니다. PraxRES는 GAN·Transformer·Diffusion 계열의 생성 모델을 영상 복원에 적용해, 흑백 사진의 자연스러운 채색(colorization), 손상 영역의 메우기(inpainting), 그림자 제거(shadow removal)를 수행합니다. 핵심은 만들어낸 결과가 주변 맥락과 어긋나지 않고 일관되게 보이도록 하는 것입니다.
채색은 SAM과 MAT로 구조를 먼저 복원한 뒤 DDColor로 장면 맥락에 맞는 색을 입히는 통합 프레임워크로 처리합니다. 기존 기법들이 구조 복원과 채색을 따로 다뤄 색이 어긋나던 문제를, 복원과 채색을 end-to-end로 연결해 색상 일관성을 확보합니다. 그림자 제거에는 LASR과 CLAN을 사용합니다. 사람 눈이 색과 밝기를 분리해 인식하듯, CIELab 색 공간의 조도(밝기) 정보를 활용해 그림자가 진 영역을 정확히 찾고, 색상-조도 융합(Color-Luminance Fusion)으로 원래 텍스처와 색감을 보존하며 그림자만 걷어냅니다.
이러한 생성형 복원은 '추측'이 아니라 데이터에서 학습한 자연스러운 통계적 규칙을 따르도록 설계됩니다. 손실 영역의 구조적 특징을 주변과 일관되게 채우고, 원본의 디테일을 최대한 보존하는 방향으로 동작하므로, 결과물이 인위적으로 보이지 않고 사실적입니다.
- 생성형 모델(GAN·Transformer·Diffusion)을 영상 복원·채색·인페인팅에 적용
- SAM+MAT+DDColor 통합 프레임워크로 구조 복원과 채색을 end-to-end 연결
- LASR·CLAN: CIELab 조도 정보 기반으로 그림자만 제거하고 텍스처·색감 보존
- 주변 맥락과의 일관성을 유지해 인위적이지 않은 사실적 복원 구현
- 복원과 색상화의 일관성 문제를 통합 처리로 해결
활용 분야 — 검사부터 의료·보안·문화재까지
PraxRES는 '저품질 영상을 고품질로 바꾼다'는 본질이 산업 전반에 폭넓게 적용됩니다. 반도체·전자부품의 비파괴 검사에서는 테라헤르츠 영상의 해상도와 선명도를 높여 내부 결함 탐지의 정확도를 끌어올립니다. 보안 검색에서는 흐릿한 투과 영상을 개선해 위험물 식별 능력을 강화할 수 있습니다.
의료 영상에서는 저해상도·고노이즈 영상의 품질을 개선해 보다 정확한 판독을 보조하고, 저조도·고감도 센서 환경에서 빈번한 노이즈 제거에도 효과적입니다. 위성·항공 영상에서는 해상도를 향상시켜 더 정밀한 관측을 지원하며, 자기지도 노이즈 제거는 깨끗한 정답이 없는 천체·과학 이미징에도 자연스럽게 들어맞습니다.
문화재·예술 분야에서는 생성형 복원의 가치가 두드러집니다. 손상된 흑백 사진과 미술품을 SAM·MAT로 구조 복원하고 DDColor로 자연스럽게 채색해 역사적 자료의 가치를 되살립니다. 디지털 아카이빙, 오래된 사진 복원, 디지털 포렌식 등 원본 복원이 중요한 영역에서도 활용도가 높습니다.
- 반도체·전자부품 비파괴 검사: 테라헤르츠 영상 고도화로 내부 결함 탐지 정확도 향상
- 보안 검색: 투과 영상 개선으로 위험물 식별 능력 강화
- 의료 영상: 저해상도·고노이즈 영상 품질 개선으로 판독 보조
- 위성·항공 영상: 해상도 향상으로 정밀 관측 지원
- 문화재·예술 복원: 손상된 흑백 사진·미술품의 구조 복원과 자연스러운 채색
데이터·검증과 차별점
PraxRES는 공개 표준 데이터셋과 자체 측정 데이터를 함께 활용해 폭넓게 검증됩니다. 일반 영상의 화질 개선·초해상 학습에는 DIV2K·Flickr2K, 복원에는 LSDIR, 채색에는 Places365 같은 대규모 공개 데이터셋을 사용해 다양한 장면(인물·자연·도시·정물 등)에 대한 일반화 성능을 확보합니다. 동시에 테라헤르츠 영역에서는 자체 측정한 전자파 영상과 THz-TDS(시간 영역 분광) 시계열 신호를 활용해, 실제 측정 환경의 특성에 최적화된 모델을 구축합니다.
검증은 정량과 정성 두 측면에서 이뤄집니다. 정량적으로는 복원 품질을 측정하는 표준 지표로 모델 성능을 비교하고, 정성적으로는 손상 영역의 구조 복원, 색상 일관성, 그림자 제거 후 텍스처 보존 등 실제 결과 영상을 기존 기법과 나란히 비교해 우수성을 확인합니다. 모든 모델은 PyTorch와 PyTorch Lightning 기반으로 구현·학습되어 재현성과 확장성을 갖춥니다.
차별점은 세 가지입니다. 첫째, 정답 영상이 없는 실제 측정 환경에 맞춘 자기지도 학습으로 '진짜 노이즈'만 제거한다는 점. 둘째, 노이즈 제거·복원·초해상·생성형 채색을 하나의 통합 시스템으로 묶어 영상 특성에 맞춰 유연하게 조합할 수 있다는 점. 셋째, 테라헤르츠·전자파 영상이라는 까다로운 도메인의 물리적 이해를 딥러닝과 결합해, 범용 영상 모델로는 다루기 어려운 영역까지 품질을 끌어올린다는 점입니다.
- 공개 데이터셋(DIV2K·Flickr2K·LSDIR·Places365)으로 일반화 성능 확보
- 자체 측정 전자파 영상·THz-TDS 신호로 실제 측정 환경에 최적화
- 표준 정량 지표와 기존 기법 대비 정성 비교로 이중 검증
- PyTorch·PyTorch Lightning 기반 구현으로 재현성·확장성 확보
- 자기지도 학습 + 통합 파이프라인 + 도메인 물리 이해라는 3대 차별점