SEO 기본 용어 핵심 개념, 실무 예시로 이해하기

크롤링과 인덱싱은 왜 같은 말이 아닌가

SEO를 처음 접하면 크롤링과 인덱싱을 같은 뜻으로 섞어 쓰기 쉽지만, 구글이 공식적으로 설명하는 검색 작동 방식에서 이 둘은 분명히 다른 단계입니다. 크롤링(Crawling)은 구글봇이라는 자동화 프로그램이 웹사이트에서 텍스트·이미지·영상을 발견해 다운로드하는 과정입니다. 인덱싱(Indexing)은 이렇게 크롤링된 페이지의 내용을 분석해 구글의 데이터베이스에 저장하는 과정으로, 크롤링됐다고 해서 모든 페이지가 자동으로 인덱싱되는 것은 아닙니다. 저품질 콘텐츠이거나, robots 메타 태그로 차단돼 있거나, 사이트 구조에 문제가 있으면 크롤링은 됐어도 인덱싱에서 제외될 수 있습니다. 검색결과에 우리 페이지가 안 뜬다면, 크롤링 자체가 안 된 것인지 크롤링은 됐는데 인덱싱에서 빠진 것인지부터 구분해야 원인에 맞는 조치를 취할 수 있습니다.

robots.txt와 sitemap.xml은 왜 반대 역할을 하나

두 파일 모두 검색엔진에 신호를 준다는 점은 같지만, 방향은 정반대입니다. robots.txt는 검색 엔진 크롤러가 사이트의 어떤 페이지나 파일을 요청할 수 있고 없는지를 알려주는 파일로, 크롤링을 막고 싶은 영역을 안내하는 역할을 합니다. 다만 robots.txt는 제안(hint)에 가까워 모든 크롤러가 이를 반드시 준수하는 것은 아니므로, 민감한 정보는 robots.txt만 믿지 말고 비밀번호나 noindex 태그 같은 다른 방법도 함께 써야 합니다. 반대로 sitemap.xml은 웹사이트의 중요한 URL을 나열하고 각 URL의 마지막 업데이트 시간, 변경 빈도 같은 메타데이터를 제공하는 파일로, 검색엔진이 우리 사이트의 중요한 페이지를 더 잘 발견하도록 돕는 역할을 합니다. 요약하면 robots.txt는 "여기는 오지 마세요"를, sitemap.xml은 "여기를 봐주세요"를 각각 전달하는 파일입니다.

코어 웹 바이탈 세 지표는 각각 무엇을 재나

코어 웹 바이탈은 페이지 경험을 측정하는 구글의 공식 지표 세트입니다. LCP(Largest Contentful Paint)는 페이지 로딩 성능을 측정하며, 페이지 로드 시작 후 2.5초 이내에 가장 큰 시각 요소가 나타나야 좋은 점수로 평가됩니다. INP(Interaction to Next Paint)는 사용자 상호작용에 대한 반응 성능을 측정하며 200밀리초 미만이어야 하고, 2024년 3월 기존 지표였던 FID(First Input Delay)를 공식 대체했습니다. CLS(Cumulative Layout Shift)는 페이지 렌더링 중 예상치 못한 레이아웃 변화 정도를 측정하며 0.1 미만이어야 합니다. 세 지표 중 하나라도 기준을 넘으면 사용자 경험이 나쁜 것으로 평가돼 검색 순위에 부정적 영향을 줄 수 있습니다.

캐노니컬 태그는 언제 필요한가

같은 상품이나 콘텐츠가 여러 URL(예: 대소문자, 파라미터, www 유무 차이)로 접근 가능한 경우, 검색엔진 입장에서는 이를 각각 다른 페이지로 인식해 중복 콘텐츠로 판단할 수 있습니다. 캐노니컬 태그(rel=canonical)는 이럴 때 어느 URL을 정식 버전으로 볼지 명시해, 그 URL로 모든 인덱싱 신호를 통합하는 역할을 합니다. 다만 구글은 이를 반드시 따라야 하는 지시가 아니라 강한 힌트로 취급하기 때문에, 캐노니컬을 설정했다고 해서 100% 그대로 반영된다는 보장은 없습니다.

모바일 퍼스트 인덱싱이 실무에 주는 의미

모바일 퍼스트 인덱싱은 구글이 스마트폰 에이전트로 크롤링한 모바일 버전의 콘텐츠를 기준으로 인덱싱과 순위를 결정하는 정책입니다. 이 정책 아래에서는 모바일 화면에 정보가 빠져 있으면, 데스크톱에는 그 정보가 있더라도 검색 순위에 불리하게 작용할 수 있습니다. 모바일과 데스크톱의 메타 태그, 제목, 설명, 구조화된 데이터, 이미지 alt 텍스트가 동일하게 유지되도록 관리하는 것이 실무에서 중요한 이유가 여기 있습니다.

용어를 점검표로 바꿔 보기

위 용어들은 사이트를 진단할 때 그대로 점검 항목이 됩니다. 12code가 채용 페이지 진단에 쓴 기본 점검표를 줄여 옮기면 다음과 같습니다. 점수를 추정하지 말고 통과한 항목 수로 적습니다.

| 항목 | 통과 기준 |

|---|---|

| title | 사람들이 실제로 치는 검색어가 들어 있다 |

| description | title을 되풀이하지 않고 내용을 요약한다 |

| H1 | 페이지마다 대표 제목이 하나 있다 |

| canonical | 광고 추적 주소 등 여러 주소 가운데 원본이 표시돼 있다 |

| og 메타 | 공유용 제목·설명·이미지·주소가 있다 |

| 원본 HTML 본문 | 자바스크립트 없이도 본문이 있다 |

| 링크 | 다른 페이지로 가는 a href 링크가 있다(버튼 클릭 이동만으로는 부족) |

| sitemap.xml | 실제 XML이고 주소가 들어 있다(상태 코드 200만 보면 안 된다) |

| robots.txt | 실제 텍스트 파일이다 |

| 이미지 alt | 장면을 한 문장으로 적었다 |

| 구조화 데이터 | 페이지 내용과 맞는 스키마가 있다 |

대형 물류 기업 A의 채용 창구 두 곳은 이 표에서 모두 절반에 한참 못 미쳤고, 광고 추적 주소까지 따로 색인돼 대표 주소가 정해지지 않은 상태였습니다. 색인 상태는 네이버에서 `site:도메인`으로 검색해 확인할 수 있습니다.