earticle

한국어

비지도 방식의 클러스터링은 주로 각 데이터에 대한 유사도나 거리에 기반하여 수행되며, 기본적으로 NP (Non-deterministic polynomial) Hard의 영역으로 알려져 있다. 각 노드에 대한 계산은 매트릭스에 기반하여 수행되는데, 노드의 수가 많은 경우 다른 노드와 비교하는 계산 시간이 매우 많이 소요될 수 밖에 없으며, 이를 단시간 내에 계산하기 위해서는 동적프로그래밍과 같은 컴퓨터 알고리즘이 수반되어야 한다. 이러한 계산 복잡도와 구현의 어려움으로 인해 빅데이터의 클러스터링은 유클리드나 코사인 유사도 등 몇 가지 전통적인 컴퓨터 거리 계산 방식에 국한되어 적용되고 그 계산 방식을 제공하는 주요한 클러스터링 라이브러리에 종속적으로 의존되어 왔다. 따라서 이러한 보편적인 클러스터링으로 계산이 불가능한 특수한 데이터의 경우에는 적용이 아예 불가능하거나 어려운 점이 존재할 수 있다. 예를 들어 개인별 직무 경력과 같은 데이터는, 특정인의 경력 정보가 다른 인력의 경력 정보와 비교를 할 수 있는데, 이를 어떻게 비교를 하여 그 거리를 특정화하고, 여러가지 “career pathway”를 분류해내고 검토하기 위한 특수한 클러스터링 알고리즘이 요구된다. 본 연구에서는 IT 분야의 경력정보 데이터를 활용하여 생명공학 분야에서 DNA 시퀀스에 대한 분류를 위해 활용되는 Optimal Matching 알고리즘을 활용하여 경력 정보의 계산한 후 이를 활용하여 클러스터링하는 시스템을 소개한다.