earticle

영어

Effectively learning multi-categorical attributes with varying cardinalities poses a significant challenge for deep learning models, particularly when some attributes contain missing values. This study proposes an input structure in which observed attributes are encoded using one-hot encoding, while missing attributes are represented as uniform distributions. These are then combined into an input vector composed of attribute-specific blocks of differing dimensionalities. Despite the absence of explicit boundary information between attribute blocks at the input layer, the deep learning model implicitly distinguishes these blocks by leveraging the sparsity and localized activation patterns of the input. This mechanism promotes independent representations for each attribute and enhances prediction stability and robustness through a normalization effect, even in the presence of missing data. Overall, the study demonstrates through theoretical analysis and empirical results that a standard deep learning model can autonomously learn and represent the block structure of heterogeneous categorical inputs without requiring structural modifications.

한국어

카디널리티가 서로 다른 다중 범주형 속성을 효과적으로 학습하는 것은, 특히 일부 속성이 결측되는 상황에서 딥러닝 모델에 있어 중요한 도전 과제이다. 본 연구에서는 관측된 속성에 대해서는 원-핫 인코딩을 적용하고, 결측된 속성에 대해서 는 균등 분포로 표현하여 확률적 다중 범주형 입력을 구성하고, 이를 속성별로 서로 다른 차원의 블록으로 처리하는 입력 구조를 사용한다. 입력층에서 속성 블록의 경계가 명시적으로 제공되지 않음에도 불구하고, 딥러닝 모델은 입력의 희소성과 국소적 활성화 특성을 활용하여 각 속성 블록을 암묵적으로 구분하며 학습한다. 이러한 메커니즘은 속성별 독립적인 표현을 유도하며, 결측 데이터에 대해서도 정규화 효과를 통해 예측의 안정성과 강건성을 향상시킨다. 결과적으로 본 연구는 별도의 구조적 수정 없이도 일반적인 딥러닝 모델이 이질적인 범주형 입력의 블록 구조를 자율적으로 형성하고 학습할 수 있음을 이론적 분석과 실험을 통해 알아본다.