GPS 기반 위치 정보와 이미지로부터 추정된 시멘틱 세그멘테이션 정보를 이용한 Localization + Mapping 최적화 결과 시뮬레이션 알고리즘 개발. 주요 기술에 대한 상세한 설명은 생략함.
GPS + Segmentation Mapping1
1. 환경
차량 및 센서
- 차량(트랙터) 루프에 부착된 전방 카메라로부터 영상 데이터 수집.
- 차량(트랙터) 루프에 부착된 GPS 센서로부터 경도(longitude), 위도(latitude), 방향(heading) 값 수집.
주행 환경
- 최초 매핑을 위해 차량(트랙터)이 주행가능 영역의 가장자리를 따라 한 바퀴 주행하며 센서로 부터 데이터 수집.
- 일정 거리마다 수집된 영상 및 GPS 데이터를 이용하여 무인 자율주행을 통한 맵 생성을 목표로 함.
시뮬레이션 환경
- OpenCV 활용, 현재 경로 및 추정된 맵의 GPS 좌표를 이미지 좌표계에 디스플레이 할 수 있는 뷰어(Viewer) 제작.
- 일정 구간마다 데이터를 누적하여 추천 경로 생성 및 맵 최적화.
2. 방법
GPS 및 영상 데이터 수집
- 실시간 GPS 데이터(위치, 방향)와 영상 데이터를 수집함.
- 각 데이터는 하드웨어 또는 소프트웨어를 통해 서로 시간 동기화(Synchronization) 되어 있음.
Semantic Segmentation
- 주행환경에 맞게 파인튜닝된 세그멘테이션 모델을 통한 주행가능 영역 및 가장자리 추정.
포인트 추출 및 거리 추정
- 세그멘테이션을 통한 주행가능 영역의 가장자리 포인트 좌표 추출.
- 차량에 장착된 카메라와 지표면에 대한 캘리브레이션을 통해 변환관계를 저장하고, 변환관계를 이용해 수집된 영상을 탑뷰(top-view)로 변환 후 이미지 좌표 → 실제 거리 계산.
- 가장자리 포인트에 대한 상대적 실제 거리와, 차량의 GPS 데이터(위치, 방향)을 이용해 가장자리 포인트들의 GPS 좌표를 구함.
디스플레이
- 원본 영상, 세그멘테이션 결과, 탑뷰 영상 및 지도를 함께 실시간으로 표시함.
- 원본 및 탑뷰 영상에 추정된 가장자리 결과를 증강하여 표시.
- 실시간 주행 정보와 생성되는 맵에 대한 GPS 좌표를 이미지 좌표계로 변환하여 지도를 표시.
최적화
- 포인트추출 단계에서 시멘틱 이미지 리사이즈 및 샘플링을 통해 추출된 가장자리 포인트 개수를 줄임.
- N개의 프레임 단위로 가장자리 포인트 누적 후 여러 근사화(또는 회귀) 방법을 통해 포인트 + 맵 최적화.
- 근사화(또는 회귀) 방법을 이용해 주행 각도 추천.
3. 결과
- 좌상단: [원본 영상], 중상단: [세그멘테이션 결과 마스크] 우상단: [탑뷰 영상]
- 좌하단: [전체 매핑 결과], 우하단: [최적화 결과]
Line-based Optimization
주차장
경작지
Rect-based Optimization
주차장
경작지
4. 전체 맵 최적화
- (Total Map Optimization) Rect 최적화 방법으로 추출된 포인트 모음을 최종 맵 생성을 위해 필터링 등 최적화.
- 왼쪽 이미지의 빨간색 원이 제거될 포인트.
- 왼쪽 이미지의 파란색 점이 최종 맵 GPS 포인트.
Field-1
Field-2
