원문정보
초록
영어
Blenderbot 2.0 is a dialogue model representing open domain chatbots by reflecting real-time information and remembering user information for a long time through an internet search module and multi-session. Nevertheless, the model still has many improvements. Therefore, this paper analyzes the limitations and errors of BlenderBot 2.0 from three perspectives: model, data, and dialogue. From the data point of view, we point out errors that the guidelines provided to workers during the crowdsourcing process were not clear, and the process of refining hate speech in the collected data and verifying the accuracy of internet-based information was lacking. Finally, from the viewpoint of dialogue, nine types of problems found during conversation and their causes are thoroughly analyzed. Furthermore, practical improvement methods are proposed for each point of view, and we discuss several potential future research directions.
한국어
블렌더봇 2.0 대화모델은 인터넷 검색 모듈과 멀티 세션의 도입을 통해 실시간 정보를 반영하고, 사용자에 대한 정보를 장기적 으로 기억할 수 있도록 함으로써 오픈 도메인 챗봇을 대표하는 대화모델로 평가받고 있다. 그럼에도 불구하고 해당 모델은 아직 개선 점이 많이 존재한다. 이에 본 논문은 블렌더봇 2.0의 여러 가지 한계점 및 오류들을 모델, 데이터, 대화의 세 가지 관점으로 분석하였 다. 모델 관점에서 검색엔진의 구조적 문제점, 서비스 시 모델 응답 지연시간에 대한 오류를 주로 분석하였다. 데이터 관점에서 크라 우드 소싱 과정에서 워커에게 제공된 가이드라인이 명확하지 않았으며, 수집된 데이터의 증오 언설을 정제하고 인터넷 기반의 정보 가 정확한지 검증하는 과정이 부족한 오류를 지적하였다. 마지막으로, 대화 관점에서 모델과 대화하는 과정에서 발견한 아홉 가지 유형의 문제점을 면밀히 분석하였고 이에 대한 원인을 분석하였다. 더 나아가 각 관점에 대하여 실질적인 개선방안을 제안하였으며 오픈 도메인 챗봇이 나아가야 할 방향성에 대한 분석을 진행하였다.
목차
Abstract
1. 서론
2. 관련연구 및 배경지식
2.1 오픈 도메인 챗봇(Open-domain chatbot)
2.2 블렌더봇 1.0
2.3 블렌더봇 2.0
3. 모델 관점에서의 블렌더봇 2.0의 문제점
3.1 인터넷 정보의 정확성 문제
3.2 서비스 속도 및 환경의 문제
4. 데이터 관점에서의 블렌더봇 2.0의 문제점
4.1 데이터 수집에서 통일된 기준 부재의 문제
4.2 데이터 정제 과정 부족의 문제
4.3 다국어 확장의 문제
5. 대화 관점에서 블렌더봇 2.0의 문제점
5.1 응답 생성 문제
5.2 검색 쿼리 생성 문제
5.3 인터넷 검색 문제
5.4 Unsafe 응답 생성 문제
5.5 응답 중복 및 비관련 응답 생성 문제
5.6 수치 응답 문제
5.7 테이블 데이터 반영 문제
5.8 URL 텍스트 인식 문제
6. 제안하는 개선방안
6.1 모델 및 데이터 관점에서의 개선방안
6.2 대화 관점에서의 개선방안
7. 결론
REFERENCES