반도체 웨이퍼 미세 결함을 잡는 하이브리드 딥러닝 검사 기술

반도체 웨이퍼 미세 결함을 잡는 하이브리드 딥러닝 검사 기술

반도체 웨이퍼 검사에서 가장 어려운 문제 중 하나는 아주 작은 결함을 거대한 고해상도 이미지 속에서 빠르게 찾아내는 일입니다. 이번 글에서는 Journal of Intelligent Manufacturing에 발표된 논문 Improving automated visual fault inspection for semiconductor manufacturing using a hybrid multistage system of deep neural networks를 바탕으로, 전통 영상처리와 딥러닝을 결합한 SH-DNN 방식의 핵심을 살펴봅니다.

왜 웨이퍼 검사는 어려운가?

웨이퍼 전체 이미지는 매우 크지만 실제 결함은 수 μm, 몇 픽셀 수준에 불과할 수 있습니다. 전체 고해상도 영상을 그대로 딥러닝에 넣으면 연산량이 지나치게 커지고, 반대로 축소하면 미세 결함이 사라질 수 있습니다. 논문은 이 문제를 ‘전체를 한 번에 보는 방식’이 아니라 ‘관심 영역을 단계적으로 좁혀 가는 방식’으로 해결합니다.

SH-DNN의 핵심 아이디어

논문이 제안하는 구조는 Chip → Street → Street Segment의 다단계 처리입니다. 먼저 비교적 규칙적인 위치 검출은 전통적인 컴퓨터 비전으로 빠르게 수행하고, 이후 결함 판정은 CNN과 Autoencoder에 맡깁니다.

Wafer Image → Chip 분리 → Inside/Border 판별 → Street ROI 검출 → Street CNN 분류 → Street Segment 분석 → Autoencoder 이상 탐지 → Fault Backtracing → 최종 Chip 판정

딥러닝만 사용하지 않는 이유

이 연구에서 특히 흥미로운 점은 모든 단계를 AI에 맡기지 않았다는 점입니다. Street 위치 검출에는 OpenCV 기반의 전통 영상처리를 사용합니다.

Histogram Equalization → Binary Thresholding → Find Contours → Erosion → Bounding Rectangle → Street Localization

위치가 규칙적이고 기하학적으로 명확한 부분은 전통 영상처리가 빠르고 안정적입니다. 반면 정상과 불량을 구분하는 복잡한 패턴 판정은 CNN이 담당합니다. 산업용 머신비전에서는 이러한 역할 분담이 실용적입니다.

Street 단위로 좁혀 보면 정확도가 올라간다

전체 Chip 이미지를 바로 분류하면 미세한 dicing defect가 넓은 배경에 묻힐 수 있습니다. 논문에서는 Street를 ROI로 잘라 높은 해상도로 유지한 뒤 분류합니다.

실험 결과, 최고 성능은 ResNet152V2 계열에서 F1-score 약 99.5%를 기록했습니다. 단일 Chip 기반 분류보다 오류율 기준 최대 약 8.6배 개선된 결과입니다.

이 결과가 의미하는 바는 단순히 ‘더 큰 CNN을 사용하면 된다’가 아니라, 어떤 영역을 어떤 순서로 볼 것인지가 모델 선택만큼 중요하다는 점입니다.

미지의 결함은 Autoencoder로 탐지

Street를 더 작은 Segment로 나눈 뒤에는 Stacked What-Where Autoencoder(SWWAE)를 사용합니다. 이 단계에서는 정상 샘플을 학습시키고, 입력 영상을 복원했을 때 Reconstruction Loss가 큰 영역을 이상으로 판단합니다.

정상/불량이 명확한 문제 → Supervised CNN
라벨이 부족하거나 새로운 이상 탐지 → Autoencoder

실제 공정에서는 불량 데이터가 충분하지 않은 경우가 많기 때문에 이 접근은 매우 현실적입니다.

실제 제조 데이터를 사용한 점도 중요하다

데이터셋은 실제 반도체 제조사의 dicing 공정에서 얻은 웨이퍼 영상으로 구성되었습니다. 총 6종의 wafer type을 사용했으며, 약 12,472개의 chip과 33,136개의 street 데이터를 포함합니다. 그중 faulty street는 1,917개였습니다.

Chip 영상 해상도도 약 224×224부터 960×1024 픽셀까지 다양하여, 단순한 실험용 합성 데이터보다 실제 제조 환경을 더 잘 반영하고 있습니다.

학습 조건

• Optimizer: Adam
• Learning Rate: 0.001
• Batch Size: 32
• Train / Validation / Test: 50 / 25 / 25
• Training: 100 Epoch
• Result: 5회 반복 평균

Data Augmentation에는 회전, 평행이동, 확대/축소, 반전 등이 사용되었습니다.

정확도만큼 중요한 처리 속도

산업용 검사장비에서는 높은 정확도만큼 Cycle Time이 중요합니다. 논문에서는 MobileNetV2를 실제 생산환경에 적합한 모델로 평가합니다.

전체 multistage pipeline의 처리시간은 약 5.2 ms/sample 수준으로 보고되었습니다.

• Chip Localization: < 0.1 ms
• Chip Classification: 1.0 ms
• Street Localization: 3.2 ms
• Street Classification: 0.32 ms
• Segment Localization: < 0.1 ms
• Segment Classification: 0.41 ms
• Fault Backtracing: < 0.1 ms

논문이 가정한 실제 공정 요구사항은 수천 장의 이미지를 수분 내에 처리하는 수준입니다. 예를 들어 6,000장의 이미지를 5분 내 처리하려면 약 50 ms/image가 필요합니다. 제안 방식은 이보다 훨씬 빠른 수준을 보여주었습니다.

산업용 머신비전에서 얻을 수 있는 교훈

이 논문에서 가장 중요한 메시지는 ‘딥러닝을 많이 쓰는 것’이 아니라 ‘딥러닝을 어디에 써야 하는가’입니다.

• 규칙적인 위치 찾기 → 전통 영상처리
• 복잡한 불량 판정 → CNN
• 알려지지 않은 이상 → Autoencoder
• 최종 결과 → 좌표 기반 Backtracing

이 구조는 반도체 검사뿐 아니라 PCB AOI, Glass 검사, Wafer Edge 검사, Probe Mark 검사, Tray 검사 등에도 응용 가능성이 있습니다.

Full Image AI보다 ROI 기반 Multistage AI

산업용 검사에서는 전체 이미지를 하나의 거대한 AI 모델에 맡기는 것보다, 먼저 검사 대상의 구조를 이해하고 관심 영역을 좁힌 뒤 AI를 적용하는 것이 더 효율적인 경우가 많습니다.

Full Image → 모든 영역 처리 → 높은 연산량
ROI Multistage → 필요한 영역만 처리 → 빠른 속도와 높은 해상도 유지

특히 미세 결함과 높은 처리속도를 동시에 요구하는 반도체 장비에서는 후자의 접근이 매우 매력적입니다.

마무리

반도체 머신비전의 경쟁력은 이제 단순한 카메라 해상도나 CNN 모델의 크기만으로 결정되지 않습니다. 광학, 영상처리, ROI 설계, 딥러닝, 이상 탐지, 처리속도, 공정 데이터가 함께 설계되어야 합니다.

이번 논문의 SH-DNN 접근은 Classical Vision + CNN + Autoencoder + Multistage라는 매우 실용적인 방향을 보여줍니다. 특히 전체 이미지를 무조건 AI에 맡기는 것이 아니라, 문제를 단계별로 분해하고 각 단계에 가장 적합한 기술을 사용하는 것이 산업용 머신비전의 중요한 설계 원칙이라고 생각합니다.

참고 논문

Tobias Schlosser, Michael Friedrich, Frederik Beuth, Danny Kowerko, Improving automated visual fault inspection for semiconductor manufacturing using a hybrid multistage system of deep neural networks, Journal of Intelligent Manufacturing, 2022, 33:1099–1123.
DOI: 10.1007/s10845-021-01906-9

태그

#반도체검사 #웨이퍼검사 #머신비전 #딥러닝 #DeepLearning #ComputerVision #반도체장비 #WaferInspection #DefectInspection #AOI #CNN #Autoencoder #MobileNetV2 #ResNet #OpenCV #스마트팩토리 #산업용AI #비전검사 #품질검사 #SHDNN