[BlogPost] WPF 디지털 트윈 연재 15 ## Camera와 Vision 검사 결과를 디지털 트윈에 연결하는 방법

[BlogPost] WPF 디지털 트윈 연재 15

Camera와 Vision 검사 결과를 디지털 트윈에 연결하는 방법

산업장비의 디지털 트윈이 실제 현장에서 가치를 가지려면 축과 로봇이 움직이는 모습만 재현해서는 부족합니다. 검사장비라면 무엇을 보았고, 언제 촬영했고, 어떤 좌표에서 어떤 판정을 내렸으며, 그 순간 장비가 어떤 상태였는가가 하나의 데이터 흐름으로 연결되어야 합니다.

이번 편에서는 Camera Trigger, Image, Vision Result, Calibration, Machine State, Timestamp를 하나의 Vision Inspection Record로 묶고, 이를 WPF 3D 공간에 Overlay하며, 이후 Replay·불량분석·AI 진단으로 확장하는 방법을 정리합니다.

1. Vision을 디지털 트윈에 넣는 순간 무엇이 달라지는가

기존 검사 프로그램은 보통 영상 획득 → 알고리즘 처리 → OK/NG 반환으로 끝납니다. 그러나 디지털 트윈에서는 결과 하나를 독립된 값으로 보지 않습니다. 검사 당시의 Axis Position, Robot Joint, Stage Angle, Recipe, Lot/Wafer/Tray ID, Calibration Version, Trigger Time을 함께 저장합니다.

이렇게 하면 “NG가 발생했다”를 넘어 어느 위치에서, 어떤 조명 조건과 장비 자세에서, 어떤 알고리즘 버전으로 발생했는지를 다시 복원할 수 있습니다. 디지털 트윈에서 Vision의 핵심 가치는 바로 이 ‘맥락의 보존’입니다.

2. Camera Trigger부터 Result까지 하나의 검사 Transaction으로 묶기

Vision 연동의 첫 번째 원칙은 Trigger와 Image, Result를 서로 다른 로그로 흩어 놓지 않는 것입니다. 최소한 다음 정보는 하나의 검사 ID로 연결되어야 합니다.

• Inspection ID / Frame ID
• Trigger Timestamp
• Exposure Start / End
• Image Path 또는 Image ID
• Recipe / Model Name
• Algorithm Version
• OK/NG 및 Score
• 검출 X, Y, Angle, Size, Defect Type
• Axis/Robot/Stage Snapshot
• Calibration Version
• Lot, Wafer, Tray, Pocket ID

이 구조가 갖춰지면 검사 이력은 단순 CSV가 아니라 장비 재현이 가능한 Inspection Transaction이 됩니다.

3. Pixel Coordinate를 Machine Coordinate로 바꾸는 과정

카메라에서 얻는 결함 위치는 처음에는 Pixel 좌표입니다. 그러나 3D 디지털 트윈에 표시하려면 Camera Coordinate를 거쳐 Machine Coordinate 또는 Work Coordinate로 변환해야 합니다.

Pixel → Camera → Stage/Robot → Machine → Wafer/Tray 순서의 Transform Chain을 명확히 정의해야 합니다. 2D 평면 검사에서는 Homography로 충분한 경우가 많지만, 높이 변화가 크거나 로봇 Eye-in-Hand 구조라면 Extrinsic Calibration이나 Hand-Eye Calibration이 필요합니다.

특히 Calibration Matrix는 값만 저장하면 안 되고 Calibration Date, Camera Serial, Lens, Resolution, Focus/WD, Calibration Target, Version까지 함께 관리해야 추후 오차 원인을 찾을 수 있습니다.

4. WPF 3D 공간에 NG 위치를 Overlay하는 방법

좌표변환이 완료되면 Defect Position을 WPF 3D View에 Marker로 표시할 수 있습니다. Wafer 검사라면 Wafer Surface 위에 NG Point, Tray 검사라면 Pocket 위치, PCB 검사라면 실제 보드 위치 위에 Defect Marker를 올릴 수 있습니다.

이때 Marker에는 단순 점뿐 아니라 Defect Type, Score, 검사 시간, 이미지 Thumbnail을 연결할 수 있습니다. 사용자가 3D Marker를 클릭하면 당시 원본영상과 처리영상, 알고리즘 결과, 장비상태가 동시에 열리도록 설계하면 현장 분석성이 크게 올라갑니다.

5. Image를 DB에 직접 넣을 것인가, 파일로 저장할 것인가

산업장비에서는 대용량 이미지를 모두 DB BLOB으로 넣는 것보다, 원본 이미지는 파일 스토리지에 저장하고 DB에는 Image ID, Path, Hash, Timestamp, Metadata를 두는 구조가 관리에 유리한 경우가 많습니다.

권장 구조는 Metadata DB + File Storage입니다. NG 이미지는 장기보관하고 OK 이미지는 기간 또는 샘플링 정책에 따라 관리할 수 있습니다. 중요한 것은 Image Path와 Inspection ID가 절대 분리되지 않도록 하는 것입니다.

6. Vision Result와 EquipmentSnapshot을 같은 시간축에 올리기

검사 결과만 저장하면 “왜 실패했는가”를 찾기 어렵습니다. Trigger 순간의 EquipmentSnapshot을 함께 저장해야 합니다.

예를 들어 Stage Actual Position, Velocity, Robot Joint, Vacuum, Cylinder, Light Controller Value, Camera Exposure, Machine State 등을 같은 Timestamp 기준으로 묶습니다. 이후 Replay에서 검사 시점으로 이동하면 3D 모델이 당시 자세로 복원되고, 해당 이미지와 결과가 동시에 나타나게 할 수 있습니다.

이 구조는 향후 고객 현장에서 발생하는 간헐 불량을 분석하는 데 특히 강력합니다.

7. Vision Replay는 단순 영상 재생이 아니다

진정한 Replay는 영상만 다시 보는 기능이 아닙니다. Axis/Robot 동작, I/O, Alarm, Trigger, Image, Result를 동일 시간축에서 재현해야 합니다.

예를 들어 검사 NG가 발생한 300ms 전부터 500ms 후까지 재생하면 Stage가 완전히 정지하기 전에 Trigger가 들어갔는지, Vacuum이 늦게 형성됐는지, Robot vibration이 있었는지 등을 함께 볼 수 있습니다.

따라서 Replay UI에는 Timeline, Event Marker, Play/Pause, Step, Speed Control, Inspection Jump 기능을 두는 것이 좋습니다.

8. 검사결과가 AI 학습 데이터로 바뀌는 시점

Vision 결과가 장비상태와 결합되면 단순 불량영상 DB를 넘어섭니다. Defect Type과 장비상태의 상관관계를 분석할 수 있기 때문입니다.

예를 들어 특정 Stage 위치에서만 Score가 떨어지거나, 특정 조명온도 이후 Edge Contrast가 낮아지거나, Robot 접근각도 변화와 검사 NG가 함께 증가하는 패턴을 찾을 수 있습니다. 이것은 장기적으로 Vision AI와 설비상태 AI를 결합하는 기반이 됩니다.

9. 데이터 모델 예시

VisionInspectionRecord
- InspectionId
- Timestamp
- CameraId
- FrameId
- RecipeId
- AlgorithmVersion
- Result
- Score
- DefectType
- PixelX / PixelY
- MachineX / MachineY / MachineZ
- Angle
- ImagePath
- ProcessedImagePath
- CalibrationVersion
- EquipmentSnapshotId
- LotId / WaferId / TrayId / PocketId

이 모델을 표준화해 두면 Camera나 Vision 알고리즘이 바뀌어도 상위 WPF 디지털 트윈은 동일한 인터페이스로 처리할 수 있습니다.

10. 연구소 조직별 역할

광학팀은 Camera/Lens/Light 조건과 Calibration 환경을 정의하고, 알고리즘팀은 검사 Result 및 Defect Metadata를 표준화합니다. 제어팀은 Trigger, Axis/Robot Snapshot, Recipe/Sequence 정보를 제공합니다. 전장팀은 Trigger I/O와 조명·센서 인터페이스를 정리하며, 기구팀은 Camera 위치와 Machine Coordinate 기준을 제공합니다.

품질팀은 Overlay 오차, Trigger-Result 동기성, 반복성, 누락률, 장시간 안정성을 평가하고, CS팀은 현장에서 실제로 필요한 Replay 시나리오와 장애 분석 항목을 제공합니다.

11. 품질평가에서 반드시 확인할 항목

• Trigger Timestamp와 Image Timestamp의 일치도
• Image와 Result의 Frame ID 매칭 오류 여부
• Pixel→Machine Coordinate 변환 오차
• 3D Overlay 위치 오차
• 고속 연속검사 시 Image/Result 누락률
• Calibration Version 불일치 검출
• 통신 단절 후 복구 시 검사 ID 연속성
• Replay 시 실제 검사상태 재현성
• 24~72시간 연속 운전 시 Memory/Storage 안정성
• 이미지 저장량 증가에 따른 검색성능

일정은 반드시 구현 → 자체검증 → 품질평가 → 수정·보완 → 재평가 → Release 순으로 잡아야 합니다. 특히 좌표 Overlay는 실제 샘플을 이용한 반복측정과 보정 기간을 별도로 확보하는 것이 좋습니다.

12. 기술자산에서 매출로 연결하는 방법

Vision과 Digital Twin을 통합하면 고객에게 단순 검사장비가 아니라 검사 추적성, 원인분석, 원격진단, Replay까지 제공할 수 있습니다. 이것은 설비의 판매가격과 유지보수 가치를 높일 수 있는 요소입니다.

또한 WTR, Aligner, Load Port, Tray Handler, Inspection Stage 등 장비 종류가 달라도 VisionInspectionRecord와 EquipmentSnapshot 규격을 공통화하면 프로젝트마다 새로 개발할 필요가 줄어듭니다. 연구소의 개발 결과가 ‘일회성 소프트웨어’가 아니라 재사용 가능한 플랫폼 자산으로 바뀌는 것입니다.

장기적으로는 고객별 불량이력 분석, 설비 건강도, 원격진단, AI 이상감지를 서비스화하여 장비 납품 이후에도 반복 매출을 만드는 구조로 확장할 수 있습니다.

13. 이번 편의 핵심

Camera와 Vision을 디지털 트윈에 연결한다는 것은 화면에 카메라 영상을 띄우는 것이 아닙니다. 검사시점의 이미지, 판정, 좌표, 장비상태, Calibration 정보를 같은 시간축과 같은 공간좌표 위에서 연결하는 것입니다.

이 구조가 완성되면 디지털 트윈은 단순 3D Viewer에서 벗어나 장비의 과거를 재현하고, 현재를 진단하며, 미래의 이상을 예측하는 Engineering Platform으로 발전할 수 있습니다.

태그

#DigitalTwin #WPF #MachineVision #VisionInspection #CameraCalibration #HandEyeCalibration #3DOverlay #Replay #EquipmentSnapshot #MachineVisionAI #산업용카메라 #머신비전 #반도체장비 #산업자동화 #스마트팩토리 #검사장비 #RND #예지보전

다음 편 예고: 16편에서는 실시간 데이터 로깅과 Replay 구조를 다루며, Axis·Robot·I/O·Vision·Alarm을 하나의 시간축으로 재현하는 방법을 정리합니다.