earticle

논문검색

분산형 병렬 크롤러 설계 및 구현

원문정보

Distribute Parallel Crawler Design and Implementation

장현호, 전경식, 이후기

피인용수 : 0(자료제공 : 네이버학술정보)

초록

영어

As the number of websites managed by organizations or organizations increases, so does the number of web application servers and containers. In checking the status of the web service of the web application server and the container, it is very difficult for the person to check the status of the web service after accessing the physical server at the remote site through the terminal or using other accessible software It. Previous research on crawler-related research is hard to find any reference to the processing of data from crawling. Data loss occurs when the crawler accesses the database and stores the data. In this paper, we propose a method to store the inspection data according to crawl - based web application server management without losing data.

한국어

기관이나 단체에서 관리하는 홈페이지 수가 증가하면서 그에 따른 웹 어플리케이션 서버나 컨테이너도 그에 상응하게 증 가한다. 웹 어플리케이션 서버와 컨테이너의 웹 서비스 상태를 점검하는데 있어서 사람이 일일이 원격지에 있는 물리적인 서 버에 터미널을 통해 접근하거나 다른 접근 가능한 소프트웨어를 사용하여 접근한 뒤 웹 서비스의 상태를 점검하는 것은 매일 반복하기에는 매우 번거로운 일이다. 이전에 연구되었던 크롤러관련 연구에는 크롤링에 따른 발생 데이터 처리에 관한 언급이 찾아보기 힘들다. 크롤러에서 데이터베이스에 접근하여 데이터를 저장하는데 있어서 데이터 손실이 발생한다. 본 연구에서는 크롤링 기반의 웹 어플리케이션 서버 관리에 따른 점검 데이터를 손실 없이 데이터화 하여 저장하는 방안을 제시하였다.

목차

요약
ABSTRACT
1. 서론
2. 관련 연구
2.1 웹 크롤러
2.2 TCP/IP를 프로그램(소켓 프로그램)
3. 분산 및 웹 크롤러 설계
3.1 분산 및 병렬 웹 크롤러의 기능별 설계
4. 분산 및 병렬 웹 크롤러 구현
4.1 분산 크롤러
4.2 병렬 크롤러
5. 분산 및 병렬 웹 크롤러 실험 평가
5.1 분산 및 병렬 크롤러 실험환경
5.2 분산 및 병렬 크롤러 실험결과
6. 결론
참고문헌

저자정보

  • 장현호 Hyun Ho Jang. 숭실대학교/IT정책경영학
  • 전경식 kyung-sik, jeon. 숭실대학교/IT정책경영학
  • 이후기 HooKi, Lee. 건양대학교/사이버보안공학과

참고문헌

자료제공 : 네이버학술정보

    함께 이용한 논문

      ※ 기관로그인 시 무료 이용이 가능합니다.

      • 4,000원

      0개의 논문이 장바구니에 담겼습니다.