ZED 2i 스테레오 카메라의 깊이 정확도 분석 실제 실내 환경에서 확인한 성능과 산업용 활용 가이드

ZED 2i 스테레오 카메라의 깊이 정확도 분석

실제 실내 환경에서 확인한 성능과 산업용 활용 가이드

이 글의 핵심
카메라 제조사가 제시하는 사양과 실제 현장에서 얻는 성능은 항상 같지 않습니다. 특히 스테레오 Depth Camera는 거리, 해상도, 조명, 표면의 텍스처, 반사 특성, 카메라 보정 상태에 따라 깊이 오차가 달라집니다. 이 글에서는 2024년 Robotics and Autonomous Systems에 발표된 “Depth accuracy analysis of the ZED 2i Stereo Camera in an indoor Environment” 논문을 바탕으로, ZED 2i의 실제 깊이 정확도를 어떻게 검증했고 그 결과를 산업용 머신비전과 로봇 시스템에 어떻게 활용할 수 있는지 살펴봅니다.

1. 왜 ‘실제 깊이 정확도’를 따로 검증해야 하는가

자율주행 로봇, AGV, AMR, 3D 검사기, 부품 높이 측정, 충돌 회피, 로봇 픽킹과 같은 시스템에서는 “물체가 어디에 있는가”뿐 아니라 “얼마나 떨어져 있는가”를 정확히 알아야 합니다. ZED 2i와 같은 패시브 스테레오 카메라는 좌우 두 카메라의 영상 차이를 이용해 깊이를 계산하기 때문에, 별도의 적외선 패턴 프로젝터가 필요하지 않고 실내외에서 비교적 유연하게 사용할 수 있습니다.

그러나 스테레오 방식에서는 하드웨어 편차, 카메라 캘리브레이션 오차, 대응점 매칭 실패, 조명 변화, 반복 패턴, 무늬가 거의 없는 표면, 가림, 렌즈 왜곡 등이 모두 깊이 오차로 연결될 수 있습니다. 따라서 “최대 20 m까지 측정 가능”이라는 사양만 보고 장비를 설계하기보다, 실제 운용 거리에서 오차의 크기와 분포, Jitter, RMSE를 함께 확인해야 합니다.

2. ZED 2i의 주요 사양과 특징

논문에서 사용한 ZED 2i는 2.1 mm 렌즈 모델입니다. 카메라 베이스라인은 120 mm이며, HD2K, HD1080, HD720, VGA의 네 가지 영상 해상도를 지원합니다. 제조사 사양상 깊이 범위는 0.3~20 m이며, 짧은 거리에서는 1% 미만, 15 m까지는 5% 미만의 깊이 정확도가 제시되어 있습니다.

모드	해상도 / FPS
HD2K	2208×1242 / 15 FPS
HD1080	1920×1080 / 15, 30 FPS
HD720	1280×720 / 15, 30, 60 FPS
VGA	672×376 / 최대 100 FPS

중요한 점은 높은 FPS와 좋은 Depth 정확도가 항상 같은 방향으로 움직이지 않는다는 것입니다. VGA는 속도 면에서는 유리하지만, 이 연구에서는 측정 가능한 거리가 가장 짧았습니다. 반대로 HD1080과 HD2K는 더 긴 거리까지 Depth를 제공했습니다.

3. 스테레오 카메라는 깊이를 어떻게 계산하는가

스테레오 깊이 추정 과정은 크게 Undistortion → Rectification → Correspondence → Triangulation의 네 단계로 볼 수 있습니다. 먼저 렌즈의 방사·접선 왜곡을 보정하고, 좌우 카메라 영상을 에피폴라 라인이 수평으로 정렬되도록 변환합니다. 그다음 좌우 영상에서 같은 물체의 점을 찾아 시차(disparity)를 계산합니다.

깊이는 개념적으로 초점거리 × 베이스라인 ÷ 시차로 결정됩니다. 가까운 물체는 좌우 영상에서 위치 차이가 크게 나타나고, 먼 물체는 위치 차이가 작아집니다. 바로 이 때문에 거리가 멀어질수록 작은 픽셀 오차 하나가 실제 거리에서는 큰 깊이 오차로 증폭될 수 있습니다.

4. 실험 방법 — 단순하지만 재현 가능한 Bench Test

이 논문의 강점 중 하나는 실험 장치가 특별히 복잡하지 않다는 점입니다. 일반 실내 사무공간에서 ZED 2i, 대형 체크보드, Bosch GLM 120 C 레이저 거리 측정기, 레이저 레벨러, NVIDIA Jetson AGX Xavier를 이용해 시험을 구성했습니다.

8×5 체크보드를 사용했고 각 사각형은 130×130 mm였습니다. 레이저 거리측정기는 ZED 2i의 왼쪽 렌즈 바로 위에 배치해 실제 거리를 Ground Truth로 사용했습니다. 조명은 약 500 lux 수준을 유지했으며, 실험은 조명 변동을 줄이기 위해 야간에 수행했습니다. SDK는 ULTRA 모드와 Stabilization을 사용했습니다.

1~20 m 구간을 대상으로 4개 해상도마다 20회씩, 총 80개의 실험을 수행했습니다. RGB 이미지에서 체크보드 코너를 찾고 해당 좌표를 Depth Map에 매핑해 각 코너의 깊이를 읽은 뒤, 레이저 거리와 비교하여 오차를 계산했습니다.

5. 핵심 결과 — 해상도별 최대 유효 거리

가장 눈에 띄는 결과는 해상도에 따라 실제로 Depth를 획득할 수 있는 거리가 크게 달랐다는 점입니다.

해상도	실험에서 확인된 최대 깊이
VGA	7 m
HD720	14 m
HD1080	18 m
HD2K	18 m

제조사 사양의 20 m보다 실제 시험에서 확인된 최대 거리는 다소 짧았습니다. 또한 해상도가 높을수록 Jitter가 발생하기 시작하는 거리도 뒤로 밀렸습니다. VGA는 약 4 m 이후, HD720은 약 8 m 이후, HD1080과 HD2K는 약 13 m 이후부터 깊이 추정 변동이 눈에 띄게 커졌습니다.

6. ‘오차가 정규분포가 아니다’라는 점이 왜 중요한가

논문에서 특히 흥미로운 결과는 깊이 오차가 단순한 정규분포 형태가 아니라는 것입니다. 거리 증가에 따라 이상치가 많아지고 heavy-tail 특성이 나타났습니다. 즉 평균 오차와 표준편차만으로 센서의 실제 리스크를 충분히 설명하기 어렵다는 뜻입니다.

산업용 로봇에서 Depth 값을 Kalman Filter, Bayesian Estimation, Sensor Fusion 등에 사용할 경우 “오차는 Gaussian Noise일 것”이라고 가정하는 경우가 많습니다. 하지만 이 논문은 ZED 2i 같은 중저가 스테레오 카메라에서는 그러한 가정이 실제 데이터를 충분히 설명하지 못할 수 있다고 지적합니다. 저자들은 장거리 영역에서는 t-distribution 같은 heavy-tail 모델이 더 적합할 가능성을 제시합니다.

7. RMSE를 거리 함수로 모델링하다

연구진은 특정 거리의 평면에 있는 여러 체크보드 코너의 깊이값 분산을 RMSE로 표현하고, 이를 거리 Z의 함수로 모델링했습니다. 관측 결과 RMSE는 거리가 증가할수록 대략 지수적으로 증가했으며, 다음과 같은 형태의 경험식으로 표현했습니다.

RMSE(Z) = a · e^bZ

여기서 a와 b는 해상도별로 실험에서 얻은 계수입니다. 이 모델의 실용적인 장점은 매번 동일한 시험을 반복하지 않아도, 어느 정도의 거리에서 어느 정도의 공간적 노이즈를 예상해야 하는지 사전에 추정할 수 있다는 점입니다.

8. 왜 HD1080이 가장 안정적인 선택으로 평가되었나

단순히 가장 높은 해상도인 HD2K가 항상 최선은 아니었습니다. 연구에서는 RMSE 모델의 신뢰구간 폭까지 함께 살펴보았고, HD1080이 다른 해상도보다 상대적으로 좁은 신뢰구간을 보여 가장 안정적인 모드로 평가되었습니다.

산업용 시스템 관점에서는 이것이 매우 중요한 포인트입니다. 센서 선택은 “최대 해상도”가 아니라 정확도, 안정성, 연산량, FPS, GPU 부하, 필요한 측정 거리의 균형으로 판단해야 합니다.

9. 산업용 머신비전과 로봇에 적용할 때의 실무 포인트

이 논문의 결과는 자율주행 분야뿐 아니라 산업용 머신비전에도 직접적인 시사점을 줍니다. 예를 들어 Tray 높이 검사, 제품 유무/더블칩 검사, AGV 장애물 검출, 로봇 Pick Z 보정, 물체 Pose 추정 등에 Depth Camera를 사용할 때는 다음과 같은 설계가 필요합니다.

• 운용 거리 범위를 먼저 고정하고 그 구간에서 직접 정확도 시험을 수행합니다.
• 평균 오차만 보지 말고 RMSE, Outlier 비율, Jitter를 함께 측정합니다.
• 유광·반사·무늬 없음·검은 표면 등 최악 조건 샘플을 반드시 포함합니다.
• Depth Map을 그대로 신뢰하지 말고 Confidence, Temporal Filter, Plane Fit과 같은 후처리를 검토합니다.
• 안전과 충돌 회피처럼 중요한 기능에서는 Depth Camera 단독보다 다른 센서와의 Fusion을 고려합니다.

10. 우리 회사에서 바로 활용할 수 있는 Depth Camera 평가 프로토콜

이 논문의 Test Setup은 사내 Depth Camera 선정 기준으로 활용하기 좋습니다. ZED 2i뿐 아니라 RealSense, Orbbec 등 서로 다른 3D 카메라를 동일 조건에서 비교할 수 있습니다.

Step 1. 0.25 m, 0.5 m, 1 m, 2 m 등 실제 장비 운용 구간을 선정합니다.
Step 2. 평면 타깃 또는 체크보드를 정밀 스테이지/레이저 거리계로 위치시킵니다.
Step 3. 동일 거리에서 100~1000 Frame을 수집합니다.
Step 4. 평균 깊이, Bias, RMSE, σ, Outlier, Invalid Pixel Rate를 계산합니다.
Step 5. 반사체, 검은 재질, 경사면, 투명체, 조명 변화 조건을 추가합니다.
Step 6. 후보 카메라별 Accuracy–Latency–Cost를 표준화해 비교합니다.
Step 7. 개발팀 평가 후 품질팀이 독립적으로 재시험하고, 수정·보완 후 최종 재평가합니다.

11. 논문의 한계와 추가로 확인해야 할 점

이번 실험은 통제된 실내 사무환경, 약 500 lux의 비교적 일정한 조명 조건에서 수행되었습니다. 따라서 실제 공장처럼 LED Flicker, 강한 금속 반사, 먼지, 진동, 온도 변화가 있는 환경에서는 결과가 달라질 수 있습니다. 또한 논문은 2.1 mm 렌즈 모델을 사용했기 때문에 4 mm 장거리 렌즈 모델에는 동일 결과를 그대로 적용할 수 없습니다.

산업 현장에서 사용하려면 장비 고유 환경을 반영한 별도의 검증이 필요합니다. 특히 온도 변화에 따른 Baseline/Calibration Drift, 카메라 진동, 장기 반복성, Dynamic Object 조건까지 포함하면 훨씬 실용적인 Qualification 기준을 만들 수 있습니다.

12. 마무리 — 센서 사양이 아니라 ‘운용 조건에서의 성능’을 보자

이 논문이 주는 가장 중요한 메시지는 단순합니다. Depth Camera의 성능은 하나의 Accuracy 숫자로 표현하기 어렵습니다. 해상도와 거리, 장면의 텍스처, 조명, 표면 특성에 따라 오차가 달라지고, 멀리 갈수록 이상치와 Jitter가 증가합니다.

따라서 산업용 비전 장비를 개발할 때는 카탈로그 사양을 출발점으로만 보고, 실제 운용 거리와 대상물을 기준으로 반복 측정한 뒤 Bias + RMSE + Outlier + Invalid Pixel + 처리시간을 동시에 관리하는 방식이 바람직합니다.

태그
#ZED2i #스테레오카메라 #DepthCamera #깊이카메라 #깊이정확도 #DepthAccuracy #StereoVision #머신비전 #산업용비전 #3D비전 #로봇비전 #자율주행로봇 #AGV #AMR #RMSE #Disparity #Triangulation #SensorFusion #RealSense #Orbbec #Jetson #ComputerVision #3DMeasurement #스테레오비전 #카메라검증