구글에서는 검색 엔진 최적화를 위해 크롤러를 사용합니다. 웹 크롤러(=스파이더, 봇)의 역할로는 '색인 생성, 모니터링, 데이터 수집'이 있습니다. 수 많은 크롤러 중 중심이 되는 것을 구글 봇이라고 합니다. 크롤러는 어떤 원리로 작동할까? 크롤러는 아래와 같이 크게 3가지 작업을 수행합니다. 1. 크롤링 구글 봇이 프로그래밍 된 알고리즘대로 수행하며 웹 페이지를 돌아다니며 탐색합니다. 웹 사이트의 연결도, 디자인 최적화 등이 구글 봇의 속도에 영향을 미칩니니다.이때 사이트 맵도 영향을 미칩니다. 약간 면접관에게 자기소개서 제출하는 느낌? 2. 목록화(색인화) 구글 봇이 색인을 생성할 때 고려하는 요소는 '텍스트, 이미지, 동영상, 주제, 태그' 등 아주 다양합니다. 적절한 색인화가 되기 위해서는 품질 ..
