구글에서는 검색 엔진 최적화를 위해 크롤러를 사용합니다.
웹 크롤러(=스파이더, 봇)의 역할로는 '색인 생성, 모니터링, 데이터 수집'이 있습니다.
수 많은 크롤러 중 중심이 되는 것을 구글 봇이라고 합니다.
크롤러는 어떤 원리로 작동할까?
크롤러는 아래와 같이 크게 3가지 작업을 수행합니다.
1. 크롤링
구글 봇이 프로그래밍 된 알고리즘대로 수행하며 웹 페이지를 돌아다니며 탐색합니다.
웹 사이트의 연결도, 디자인 최적화 등이 구글 봇의 속도에 영향을 미칩니니다.이때 사이트 맵도 영향을 미칩니다.
약간 면접관에게 자기소개서 제출하는 느낌?
2. 목록화(색인화)
구글 봇이 색인을 생성할 때 고려하는 요소는
'텍스트, 이미지, 동영상, 주제, 태그' 등 아주 다양합니다.
적절한 색인화가 되기 위해서는 품질 좋은 컨텐츠와 관련성이 높아야 합니다.
3. 검색 결과
구글의 알고리즘은 사용자의 검색 의도에 가장 적합한 답변을 제공할 가능성이 높은 페이지를 파악합니다.
검색 결과는 사용자의 위치, 언어, 디바이스 등 여러 요인에 따라 달라질 수 있습니다.
예를 들어 파리에서 '자전거 수리점'을 검색하면 홍콩에서 검색할 때와 다른 결과가 나올 수 있습니다.
계속 언급된 적절함과 품질에 대한 기준은 무엇일까요?
이제 크롤러 최적화 방법에 대해 알아보도록 하겠습니다.
어떻게 해야 크롤러에게 잘보일 수 있을까욥?
(크롤러 최적화하는 방법)
여기에는 2가지 방법이 있습니다.
1. 기술 최적화(사이트를 만들면서 해야할 것들)
-사이트 구조 최적화하기
카테로리 설정, 내부 링크 사용이 포함됩니다.
-Robots.txt파일
robots.txt 파일은 검색 엔진 크롤러에게 크롤링할 페이지와 제외할 페이지를 지시합니다.
robots.txt 파일을 적절하게 구성하면 웹사이트의 특정 부분에 대한 크롤러의 액세스를 제어하고, 필수 페이지의 크롤링 우선 순위를 지정하고, 중복되거나 민감한 콘텐츠의 크롤링을 방지할 수 있습니다.
-표준 속성
rel="canonical" 속성을 사용하여 페이지의 기본 버전을 지정하고 잠재적인 중복 콘텐츠 문제를 방지하는 것이 필수적입니다.
참고하셈요.
-XML 사이트맵
사이트맵을 Google Search Console에 제출하세용.
사이트맵은 크롤러가 사이트를 검색하고 색인하는 데 도움을 줍니다.
2. 콘텐츠 최적화(글을 쓰며 해야할 것들)
-글의 구조
서론 결론 본론에 따른 글자의 크기, 위치, 색 등을 구조적으로 조절하세요.
-키워드
-메타 태그
메타 태그는 웹사이트 상에서는 보이지 않지만 검색엔진과 웹 크롤러를 통해 수집되는 데이터입니다.
-이미지 최적화