earticle

영어

The digital transformation of public administration and the advent of artificial intelligence (AI) are prominent contemporary topics. The process of digitalization and AI systems entails vast data collection and processing, potentially leading to serious infringement of individuals’ rights to personality and privacy by leaking personal information. In addition, algorithmic AI systems can distort free political decision-making, while deepfake poses a grave threat to the reputation of government officials. As a consequence, digitalization and AI can undermine fundamental constitutional values, such as human dignity, fundamental rights, and democracy. Consequently, regulating AI is necessary, and formulating its design emerges as a crucial issue for modern countries. In particular, AI systems are vulnerable to procedural requirements, necessitating the supplementation of democratic control. Procedural legitimacy should be secured for AI-assisted administrative decisions, and for this purpose, transparency should be guaranteed through procedure disclosure and citizen participation. Various approaches to regulating AI systems exist, but regulated self-regulation that ensures company self-regulation while reserving state regulation is preferable. For AI implementation in emerging industries, regulatory sandboxes can be beneficial; however, controlling the risks that AI systems can cause is important. Procedures and policies are needed for risk management. In this regard, the draft European Union (EU) Regulation on AI is instructive by prohibiting AI systems that gravely infringe on human dignity or personality rights or pose an imminent threat to human life and safety. Regulating high-risk AI is essential, and for such high-risk AI systems, a risk management system must be established promptly. The risk management system generally consists of risk investigation and observation, assessment, and management and control. It is necessary to register high-risk AI systems in a database and establish a system to track them to investigate risks properly. In addition, based on the recorded data, high-risk AI systems should be assessed continuously throughout their life cycle. Moreover, regulatory governance should be strategically designed to manage and control risks effectively. The digitalization of public administration and the rise of artificial intelligence present significant challenges for modern countries. Thus, urgent action is warranted for a normative response and an overhaul relevant legislation in light of these developments.

한국어

행정의 디지털 전환과 인공지능은 시대의 화두이다. 디지털화와 인공지능시스템은 방대한 데이터의 수집･처리를 하지만, 개인정보의 유출로 인격권이나 프라이버시권을 중대하게 침해할 수도 있다. 또한 알고리즘에 의한 인공지능시스템은 자유로운 정치적 의사 형성을 왜곡할 수 있고, 딥페이크 기술을 이용한 가짜 뉴스는 정치인의 명예를 심각하게 실추시킬 수 있다. 이처럼 디지털화와 인공지능은 인간의 존엄권, 기본권, 민주주의와 같은 헌법의 기본가치를 훼손할 수 있다. 그런 점에서 인공지능에 대한 규제가 필요하며, 이를 어떻게 설계할 것인지는 현대국가의 중요한 과제다. 특히 인공지능시스템은 절차적 요건에 취약하며, 이에 대한 민주적 통제가 보완되어야 한다. 인공지능에 의한 행정자동결정에도 절차적 정당성을 확보하여야 하며, 이를 위해 시민의 참여뿐만 아니라 절차 공개를 통한 투명성이 보장되어야 한다. 인공지능시스템에 대한 규제에는 다양한 방식이 있지만, 기업의 자율규제를 보장하면서 국가의 규제를 유보하는 ‘규제된 자율규제’의 방식이 바람직하다. 신(新)산업의 인공지능에 대해서는 규제샌드박스를 활용할 수 있다. 하지만 인공지능시스템이 초래할 수 있는 리스크를 제어하는 것이 중요하며, 또 이러한 리스크를 제어할 수 있는 제도와 절차가 필요하다. 이와 관련하여 유럽연합 인공지능명령안에는 참고할 만한 내용이 포함되어 있다. 법령에서 인간의 존엄이나 인격권을 중대하게 침해하거나 인간의 생명･안전에 명백히 치명적인 위험을 줄 수 있는 인공지능시스템은 금지해야 한다. 높은 리스크의 인공지능에 대한 규제가 중요하다. 이러한 높은 리스크의 인공지능에 대해서는 리스크관리시스템을 설정해야 한다. 리스크관리시스템은 대체로 리스크의 조사 및 관찰, 리스크의 평가, 리스크의 관리 및 통제로 구성된다. 리스크의 조사가 제대로 이루어지기 위해서는 높은 리스크의 인공지능을 데이터베이스에 등록하고 이를 추적할 수 있는 시스템을 마련해야 한다. 또한 등록된 데이터에 기초하여 높은 리스크의 인공지능에 대한 평가가 전 생애에 걸쳐 지속적으로 이루어져야 한다. 리스크의 관리 및 통제에서 규제 거버넌스가 효과적으로 작동하도록 규율해야 한다. 행정의 디지털화와 인공지능은 현대국가의 당면과제이자 현안이 되고 있다. 이에 대한 규범적 대응과 관련 법령의 정비가 시급하다.