인공지능 기술의 활용 영역이 다방면으로 급속하게 확대되면서, 과연 인공지능이 인간의 법적·사회적 규범 및 윤리적·도덕적 가치를 내면화할 수 있는지 여부에 대한 관심이 증대되고 있다. 많은 사례들을 통해 인공지능이 인종 및 성, 그리고 경제적 격차에 따른 차별과 편견 등 인간사회의 부정적인 관점 역시 학습할 수 있다는 위험성이 대두되면서 인공지능 기술에 기반한 자동화된 의사결정이 갖는 근본적인 문제점들이 지속적으로 제기되고 있다. 인공지능의 윤리적 프로그래밍을 위한 다양한 방법론들이 제시되어 왔지만, 이는 여전히 대표적인 난제로 손꼽힌다. 또한 인공지능을 개발한 프로그래머조차도 인공지능의 의사결정이 어떠한 논증 과정을 거쳐 산출된 것인지를 정확히 파악할 수 없다. 명확하게 언어로 설명 가능한 분석 및 추론에 바탕을 두기보다는 일종의 블랙박스와 같다고 할 수 있는 인공지능 알고리즘의 의사결정체계로 인해, 인간사회의 규범적 가치가 인공지능의 의사결정과정에 개입할 여지는 극히 낮아지게 된다. 이에 따라 인공지능의 의사결정에 지나치게 의존하게 되면 법적 정당성 및 규범적 당위성을 계산적 확실성 및 수학적 합리성이 대체하게 되는 위험을 초래할 수도 있는 것이다. 인공지능의 활용이 본격화되면서 인공지능의 윤리화와 알고리즘의 편향성에 대한 문제가 제기되고 있는 대표적인 영역은 바로 범죄예측 및 형사사법절차이다. 특히 빅데이터 기반 인공지능으로 인해 수사, 공판, 형집행 전(全) 단계는 물론 범행 전(前) 범죄예측 단계에서부터, 범죄 관련 데이터가 축적되고 이를 사법절차에서 활용할 가능성이 논의되면서, 절차상 보장되어야 할 인권과 절차적 정의는 그 어느 때보다도 강조된다고 할 것이다. 이러한 맥락에서 인공지능이 인간사회에서 보편적으로 승인된 도덕원칙을 내면화하고 이를 바탕으로 가치판단을 내릴 수 있는지 여부에 대한 법이론적 검토와 더불어 인공지능 알고리즘의 의사결정에 규범적 테두리를 설계하는 것이 앞으로의 과제가 될 것이다. 본 논문에서는 특히 범죄예측 및 형사사법절차에서 인공지능 기술의 활용 가능성에 집중하여, 예측적 치안 및 재범 예측 분야에서 인공지능 알고리즘의 자동화된 판단이 수반하는 알고리즘 편향성을 검토하고, 이러한 편향성의 문제를 해결하기 위한 규범설계의 필요성을 확인한 후, 법치국가원칙을 보장하면서 알고리즘 투명성 및 책무성을 확보하기 위한 규범적 테두리를 구상해보고자 한다.

As the scope of application of artificial-intelligence (AI) technology expands rapidly, there is an increasing interest in the question of whether AI can internalize legal-social norms and ethical–moral values. Fundamental problems in AI decision-making processes are constantly being raised following numerous cases that exposed the risk of AI’s capacity to learn societal biases, such as those based on racial, gender, or economic inequality. Although various ways have been presented to program AI ethically, the abovementioned problems still remain a serious challenge. In addition, even programmers who develop AI systems are unable to accurately determine how AI’s decisions are made and under what logical processes. Due to its nature of the decision-making process that can be likened to a black box rather than one based on analysis and inference explicitly explainable in words, the possibility of human normative values to be incorporated into AI decision-making process becomes almost nil. Therefore, it is highly likely that relying on AI algorithms for legal decisions will lead to a situation where legal and normative legitimacy would be replaced by computational certainty and mathematical rationality. With the advent of AI, crime prediction and criminal justice are the most controversial areas in which problems with the ethics of AI and algorithm bias are raised. In particular, as big-data-based AI allows the collection of crime-related data during not only the pre-sentencing stages, such as the investigation and the trial, but also before the offending―this may be considered as de facto crime prediction―, and as the possibility of their use in the judicial process is being discussed, human rights and procedural justice that should be guaranteed in the criminal procedure should be emphasized more than ever. In this context, the challenges ahead will be to internalize the universally accepted moral principles in AI, examine applicable theories in jurisprudence on whether AI has the capacity to make value judgments based on such principles, and suggest legal policies to establish the framework for decision-making by AI algorithms. This article focuses on the application of AI technology in criminal justice, examines the fundamental rights of defendants and prisoners in light of the rule of law in criminal procedure, and highlights normative standards to resolve the problem of algorithm bias, thus guaranteeing the relevant stakeholders’ right of access and ensuring the transparency of AI algorithms.

AI algorithm, algorithmic bias, algorithmic fairness, predictive policing, recidivism prediction, algorithmic accountability, algorithmic transparency