earticle

영어

In this paper, we present a short sentence classification approach based on a Sentence-BERT bi-encoder and experimentally demonstrate its effectiveness for training text data in elementary AI programming educational environments. Because this approach does not train from scratch or fine-tune a neural network, we have termed it the "pseudo-training" and "pseudo-inference" method. In the pseudo-training phase, the short sentences to be trained are embedded using a lightweight bi-encoder, and an index is generated for efficient retrieval. In the pseudo-inference phase, the short sentences to be inferred are embedded using the same bi-encoder, and approximate nearest neighbor algorithms such as FAISS and HNSW are utilized to quickly find similar embedding vectors, followed by label prediction. Compared to LSTM, which is widely used in elementary AI education, the proposed method showed higher accuracy in situations where the number of training samples per class is limited. Additionally, we confirmed that the training and inference time for our approach is sufficient for practical use in programming environments where students use low-performance computers.

한국어

본 논문에서는 Sentence-BERT 바이-인코더에 기반한 단문 분류 방법을 제안하고, 이를 초등 인공지능 프로그래 밍 교육 환경에서 텍스트 학습 및 추론 시 효과적으로 적용할 수 있음을 실험적으로 보인다. 본 단문 분류 방법은 신경망을 실제로 처음부터 학습시키거나 미세 조정을 하지 않기 때문에, ‘가상-학습’ 및 ‘가상-추론’ 방법이라고 명 명하였다. 가상-학습 단계에서는 학습할 단문들을 경량 바이-인코더를 이용하여 임베딩하고, 이를 효과적으로 검색 할 수 있도록 인덱스를 생성한다. 가상-추론 단계에서는 추론할 단문들을 동일한 바이-인코더를 이용하여 임베딩하 고, FAISS, HNSW 등과 같은 근사 인접 이웃 알고리즘을 활용하여 빠르게 유사한 임베딩 벡터를 찾아 레이블 예 측을 수행한다. 이 방식을 초등 인공지능 교육에서 많이 활용되는 LSTM과 비교한 결과, 클래스 별 학습 샘플의 수 가 많지 않은 상황에서 본 방식은 LSTM보다 정확도가 크게 앞서는 것으로 나타났다. 그리고 학생들이 저성능의 컴퓨터를 활용하는 환경에서 충분히 활용할 수 있는 수준으로 학습 시간과 추론 시간이 소요됨을 확인하였다.