earticle

영어

This paper explores an approach to enhance classification performance by employing Linear Discriminant Analysis (LDA) as a weak learner for AdaBoost, constructing decision trees in the process. LDA projects data onto an optimal subspace, linearly representing its distribution while minimizing entropy, thereby effectively capturing inter-class relationships and enabling dimensionality reduction. Unlike the commonly used CART decision trees in AdaBoost, LDA facilitates the creation of more flexible decision trees by classifying data at arbitrary angles, independent of attribute axes. To utilize LDA as a weak learner, a pruning algorithm is required to define a stopping criterion during training. The focus is on constructing decision trees with slightly higher performance than random guessing. The study compares changes in node count and performance relative to noise levels using the pruning algorithm, and experimentally analyzes the optimal number of models required for the AdaBoost algorithm. The impact of these factors on performance is also investigated.

한국어

본 논문에서는 에이다부스트를 위한 약한 학습기로 LDA(Linear Discriminant Analysis)를 적용하여 결정트리를 구성하면서 분류 성능을 향상하도록 하는 방안에 관해 다룬다. LDA는 데이터를 최적의 투사면에 투사하여 분포를 선형적 으로 표현하고 엔트로피를 최소화함으로써 차원 축소와 부류 간 관계를 효과적으로 반영한다. 이는 에이다부스트에서 일 반적으로 사용하는 CART 결정트리와 달리 속성 축과 관계없이 자유로운 각도로 데이터를 분류할 수 있어 더 유연한 구조 의 결정트리를 생성한다. LDA를 약한 학습기로 활용하기 위해서는 학습 중단 기준을 설정하는 절단(pruning) 알고리즘이 필요하며, 랜덤보다 약간 높은 성능을 가진 결정트리를 구성하는 데 초점이 맞춰진다. 논문에서는 절단 알고리즘을 통해 노이즈 비율에 따라 노드 수와 성능의 변화를 비교하고, 에이다부스트 알고리즘에 필요한 최적의 모델 수를 실험적으로 분석하여 성능에 미치는 영향에 대해 알아본다.