earticle

논문검색

포인트 주석 기반의 비디오 위치 추정의 한계점 분석과 포인트 분포 모델링을 통한 개선방법 연구

원문정보

A Study on Limitations of Temporal Video Localization Based on Point-Level Annotation and an Improvement Method Through Point Distribution Modeling

김진아, 조정찬

피인용수 : 0(자료제공 : 네이버학술정보)

초록

영어

Labeling the starting and ending points of interesting actions in a video is labor-intensive and expensive. To reduce the labeling costs, many studies have been conducted on weakly supervised learning, where only video-level action labels exist, but it has limitations due to the absence of frame-level annotations. Recently, research has been conducted on point annotation-based learning, which can achieve much improved performance while reducing labeling costs. However, this has a limitation in that the performance depends the location of annotated points in the action interval. To compensate for this, we design a probability distribution that can represent action intervals, which allows us to sample point annotations and update them to gradually move point annotations toward the center of action intervals as learning progresses. Experiments show that the proposed method improves the performance limitation given biased points in a point annotation-based learning scheme.

한국어

비디오에서 행동의 위치를 추정하기 위해 행동의 시작과 끝에 모두 주석을 다는 것은 많은 비용을 요구한다. 따라서 주석 생성 비용을 줄이기 위해 비디오 단위의 행동 카테고리만 존재하는 약지도 학습이 활발히 진행되고 있지만 약 지도 학습은 행동단위 주석의 부재에 따른 많은 한계가 존재한다. 최근에는 주석의 생성 비용은 줄이면서 약지도 학 습에 비해 훨씬 개선된 성능을 낼 수 있는 포인트 주석 기반 약지도 학습에 대한 연구가 진행되고 있다. 하지만 이는 행동구간 내의 포인트가 존재하는 위치에 많이 의존한다는 한계가 있다. 본 연구진은 이런 점을 보완하고자, 행동구 간을 나타낼 수 있는 확률분포를 설계하고 포인트 주석을 샘플링하여 학습이 진행됨에 따라 점차 포인트 주석을 행 동구간의 가운데 방향으로 움직일 수 있게끔 하는 포인트 업데이트 방식을 제안한다. 실험은 제안하는 방법이 기존 의 포인트 주석 기반 학습에서 치우친 포인트가 주어진 경우 성능의 한계를 개선함을 보여준다.

목차

요약
Abstract
1. 서론
2. 관련 연구
2.1 약지도 기반의 행동구간 위치추정
2.2 포인트 기반의 행동구간 위치추정
2.3 포인트 기반 비디오 행동 클래스 인식
3. 제안하는 방식
3.1 비디오 위치추정 방식의 기본 동작원리
3.2. Completeness Learning 리뷰 및 한계점분석
3.3. Point update module
3.4. 전체 동작 방식
4. 실험
4.1 구현 세부사항
4.2 기존 알고리즘에 대한 평가와 제안하는 방법의 개선 평가
4.3 Ablation study: 포인트 주석의 업데이트 시기에 따른 평가
4.4 제안한 알고리즘의 한계점 및 개선 방향 논의
5. 결론
Acknowledgement
참고문헌

저자정보

  • 김진아 Jinah Kim. 가천대학교 AI소프트웨어학부
  • 조정찬 Jungchan Cho. 가천대학교 AI소프트웨어학부

참고문헌

자료제공 : 네이버학술정보

    함께 이용한 논문

      0개의 논문이 장바구니에 담겼습니다.