earticle

영어

Web crawling is an indispensable data collection methodology in the era of big data. Nevertheless, the criteria for this are unclear, and related disputes continue to arise. This leads to a negative view of web crawling. However, a passive and negative understanding of web crawling raises concerns that it will hinder the promotion of the data economy in the era of big data. In order to raise awareness of the necessity and importance of web crawling from a more objective and neutral standpoint, this study analyzed patent technology, previous studies, and media reports on web crawling and reviewed related precedents and legal issues. As a result of the analysis, web crawling is an indispensable technology and a source of data competitiveness in the data economy era. At the same time, it was found that web crawling may constitute infringement of intellectual property rights and intrusion of information and networks. However, even if web crawling may infringe on the rights of others, excessive regulation of web crawling technology, which is usefully used to collect data and create new value, is not desirable. Therefore, in this study, web crawling was understood to play a role corresponding to the original technology as a “resource collection technology” and a “resource utilization technology” that is the source of the data economy era. Furthermore, it is predicted that the role of web crawling will become more important if the TDM exemption regulations are legislated and the basis for data utilization is expanded in the future. Accordingly, the direction of creating a fair web crawling base in the data economy era was suggested to 1) improve the legal and policy base and establish fair use guidelines, 2) revitalize alternative dispute resolution systems related to web crawling, and 3) establish web crawling ecosystems under the Fair Trade Act.

한국어

웹 크롤링은 빅데이터 시대에 있어서 필수불가결한 데이터 수집 방법론임에도 불구하고 그 법 적 기준이 불분명하고 관련 분쟁이 지속적으로 발생하고 있다는 점에서 부정적인 시각이 일부 존재한다. 그러나 웹 크롤링에 대한 소극적이고 부정적인 이해는 빅데이터 시대의 데이터 경제 촉진을 저해할 우려가 있다. 따라서 이 연구는 보다 객관적이고 중립적 입장에서 웹크롤링의 필 요성과 중요성에 대한 인식을 환기시키고자 웹 크롤링에 관한 특허기술, 선행 연구, 언론보도 등 을 분석하고, 관련 판례 및 법적 쟁점을 검토하였다. 분석 결과 웹 크롤링은 데이터 경제시대에 필수불가결한 기술이자 데이터 경쟁력의 원천이 되 며 몹시 다양한 분야에 활용되고 있으나, 지식재산권 침해 및 정보통신망 침입죄 등을 구성할 우 려가 존재한다는 점을 확인할 수 있었다. 그러나 웹 크롤링이 타인의 권리를 침해할 소지가 있더 라도, 데이터를 수집하여 새로운 가치를 창출하기 위해 유용하게 사용되는 웹 크롤링 기술의 특 성상 이에 대한 과도한 규제는 바람직하지 않다는 점을 도출하였다. 따라서 이 연구에서는 웹 크롤링을 데이터 경제시대의 원천이 되는 “자원 수집 기술”이자, “자 원 활용 기술”로서 원천기술에 해당하는 역할을 수행하는 것으로 이해하였다. 나아가 향후 TDM 면책 규정이 입법되고 데이터 활용 기반이 확충되는 경우라면 웹 크롤링의 역할은 더욱 중요해 질 것으로 전망하였다. 이에 따라 데이터 경제시대의 공정한 웹 크롤링 기반 조성의 방향성을 i) 법제도·정책 기반 개선 및 공정이용 가이드라인 마련, ii) 웹 크롤링 관련 대체적 분쟁해결 제도 활성화, iii) 상생과 협력의 웹 크롤링 생태계 마련으로서 공정거래법상 웹 크롤링 제한에 관한 규 율과 대·중소기업의 데이터 상생과 상호 활용 모델 발굴을 각 제안하였다.