earticle

영어

Image retrieval is a problem of finding an image suitable for the purpose of search for a given image. Recent work utilizes a feature map of pre-trained deep learning models from large dataset for image classification to solve the content-based image retrival(CBIR) problem, mainly finding visually similar images. This paper proposes an object-based image retrival(OBIR) problem of finding an image containing an object same as a given image. Traditional image retrieval techniques use global or local features to search for similar images, which makes it difficult to obtain object information if a given image has a complex background or if the object of the image is small. To address this, we propose object embedding and image retrieval techniques using the latest object recognition models, DETR (Detection Transformer) and Bag of Visual Words (BoVW), which can represent object information regardless of background. This paper conduct a comparative experiment with existing image retrieval techniques using COCO data mainly used in object recognition problems and AID, Oxford & Paris data used in existing image retrieval techniques, and show that DETR-based BoVW outperforms existing methods in OBIR problems.

한국어

이미지 검색은 주어진 이미지에 대해 검색 목적에 맞는 이미지를 찾는 문제이다. 최근 연구는 주로 시각적으로 유사 한 이미지를 찾는 content-based image retrieval(CBIR) 문제를 해결하기 위해 이미지 분류를 위해 대용량 데 이터셋에 대해 사전 학습된 딥러닝 모델의 특징맵(feature map)을 활용한다. 본 논문은 주어진 이미지와 같은 객 체를 포함하고 있는 이미지를 찾는 object-based image retrieval(OBIR) 문제를 제안한다. 기존의 이미지 검색 기법은 global feature나 local feature를 사용해 유사한 이미지를 검색하는데 이때 주어진 이미지가 복잡한 배경 을 가지고 있거나 이미지의 객체가 작은 경우 객체 정보를 얻는 데 어려움이 발생한다. 이를 해결하기 위해 배경에 구애받지 않고 객체의 정보를 사용하는 최신 객체 인식 모델인 Detection Transformer(DETR)와 Bag of Visual Words(BoVW)를 활용한 객체 임베딩(object embedding) 및 이미지 검색 기법을 제안한다. 본 논문은 객체 인식 문제에 주로 쓰이는 COCO 데이터와 기존 이미지 검색 기법에서 사용하는 AID, Oxford & Paris 데이 터를 사용해 기존 이미지 검색 기법들과 비교 실험을 수행하였고, DETR 기반 BoVW가 OBIR 문제에서 기존 방법 대비 우수한 성능을 내는 것을 확인하였다.