(IMU Fusion) IMU 센서를 이용한 Ground Plane 보정

IMU 센서로부터 측정된 차량의 자세(roll, pitch, yaw) 정보를 이용하여 지면-탑뷰카메라 호모그래피 보정 방법

목적 및 방법

• 차량에 부착된 카메라의 이미지를 탑뷰로 만드는 호모그래피가 있을 때, 차량의 움직임(rolling, pitching)에 따라 옳바른 지평면(ground plane)을 투영하지 못 할 수 있다.
• IMU 센서로부터 차량의 각도 자세 정보를 이용해 지평면이 보정된 호모그래피를 계산함.

탑뷰 호모그래피

• 이미지를 탑뷰(top-view)로 변환하는 호모그래피.

$$I_{top}=H_G{I}_o$$

지평면 보정 호모그래피

• 탑뷰 호모그래피에서, IMU 센서로부터 구한 차량 자세(roll, pitch, yaw)에 맞게 지평면의 자세를 보정함.

$$H_{corr}=KR{K}^{-1}{H}_G$$

• $K$ : 카메라 내부파라미터
• $R$ : roll, pitch, yaw가 적용된 회전변환 행렬
• $H_G$ : 탑뷰 호모그래피
• $H_G$를 $K^{-1}$을 이용해 픽셀 좌표계에서 정규 좌표계로 변환 후, 회전변환 $R$을 적용하고 다시 픽셀좌표계로 돌아옴.
• 만약 $K$를 사용하지 않고 그냥 $R$만 곱하면, 픽셀 좌표계에서 잘못된 왜곡이 섞여버린다.

---

결과

시뮬레이션

• 차량의 실시간 자세를 확인할 수 있도록 3D 좌표계와 차량의 몸체를 구현함.
• 실제 차량의 움직임과 비슷하도록 샘플 데이터(roll, pitch, yaw)를 생성하고, 차량의 자세에 따라 변하는 탑뷰 영상을 디스플레이함.