원문정보
Multimodal comprehensive inference system based on LLM specialized in maritime transportation
초록
영어
The maritime environment plays an economically important role in many industries, including international trade, transportation, resource exploitation, and marine tourism. This economic and industrial importance has led to a surge in interest in autonomous ships and autonomous navigation solutions. The maritime environment contains a lot of specialized information that is different from general data, but there are still limited models and systems that can effectively process such maritime-specific data. To overcome these limitations, this study proposes a multimodal comprehensive reasoning navigation support system for maritime traffic. The proposed system simultaneously processes nautical map videos and front camera navigation videos based on AIS (Automatic Identification System) data, and supports decision-making considering navigation laws and regulations. By complementarily utilizing information from various modalities to build a comprehensive reasoning system that reflects the specificity of the maritime environment, it can provide a safer and more efficient navigation support solution.
한국어
해상 환경은 국제 무역, 운송, 자원 개발 및 해양 관광 등 다양한 산업 분야에서 경제적으로 중요한 역할을 담당하고 있다. 이러한 경제적·산업적 중요성으로 인해 자율 운항 선박 및 자율 운항 솔루션에 대한 관심이 급증하고 있다. 해상 환경은 일반적인 데이터와는 차별화된 특수한 정보들을 다수 포함하고 있으나, 이러한 해상 특화 데이터를 효 과적으로 처리할 수 있는 모델 및 시스템은 여전히 제한적이다. 본 연구에서는 이러한 한계를 극복하기 위해 해상 교통상의 멀티모달 종합 추론 항해 지원 시스템을 제안한다. 제안된 시스템은 실제 항해사가 선박을 운항하는 방식 과 유사하게 AIS(Automatic Identification System) 데이터 기반의 해상 지도 동영상과 전방 카메라 항해 동영 상을 동시에 처리하며, 항해 법규를 고려한 의사결정을 지원한다. 또한 다양한 모달리티의 정보를 상호 보완적으로 활용하여 해상 환경의 특수성을 반영한 종합적 추론 체계를 구축함으로써, 보다 안전하고 효율적인 항해 지원 솔루 션을 제공할 수 있다.
목차
Abstract
1. 서론
2. 관련 연구
2.1 Large Language Model(LLM)
2.2 Multi-Modal Large Language Model(MLLM)
2.3 도메인 특화 LLM
3. 제안 방법
3.1 항해술 및 법령 질의응답
3.2 전방 카메라 항해 동영상 질의 응답
3.3 해상 지도 동영상 질의 응답
3.4 종합추론 항해 지원 시스템
4. 실험
4.1 실험 데이터
4.2 실험 세팅
4.3 시스템 구성 모델의 정량적 결과
4.4 시스템 정성적 결과
5. 결론
Acknowledgements
참고문헌
