구글 색인이 안 되는 스타트업 사이트 점검 체크리스트

구글 색인이 안 되는 이유는 무엇인가요?

구글 색인이 안 되는 원인은 보통 “페이지가 존재한다”와 “검색엔진이 읽고 저장할 수 있다” 사이의 간극에서 생깁니다. robots.txt, noindex, 자바스크립트 렌더링, 중복 URL, 내부링크 단절 중 하나만 막혀도 색인이 지연될 수 있습니다.

색인이란 검색엔진이 수집한 페이지를 검색 결과에 노출 가능한 문서로 저장하는 과정이다. 단순히 사이트맵에 URL을 제출했다고 해서 모든 페이지가 자동으로 색인되는 것은 아닙니다.

색인 문제는 감으로 추측하기보다 차단 여부를 순서대로 좁혀야 합니다.

점검 항목	확인할 내용
robots.txt	크롤러 접근이 차단되어 있지 않은지
meta robots	noindex, nofollow가 의도치 않게 들어갔는지
canonical	대표 URL이 다른 페이지로 지정되어 있지 않은지
상태 코드	200이 아닌 3xx, 4xx, 5xx가 반복되지 않는지
내부링크	중요한 페이지가 사이트 안에서 연결되어 있는지
사이트맵	실제 색인 원하는 URL만 포함되어 있는지

특히 초기 스타트업은 개발·스테이징 환경의 설정이 운영 환경에 남아 noindex가 붙는 경우가 있습니다. 배포 직후 색인이 늦다면 가장 먼저 확인할 지점입니다.

SPA나 자바스크립트 의존도가 높은 사이트는 구글이 HTML을 처음 본 뒤 렌더링 과정을 거쳐 내용을 이해해야 할 수 있습니다. 이때 핵심 콘텐츠가 초기 HTML에 없거나 렌더링이 실패하면 검색엔진은 빈 페이지처럼 볼 수 있습니다.

기술 선택 자체보다 중요한 것은 검색엔진이 실제로 받은 HTML과 렌더링 후 DOM이 무엇을 보여주는지 비교하는 일입니다.

가장 안전한 순서는 URL 샘플링, 크롤링 가능 여부 확인, 렌더링 결과 비교, 색인 상태 검토, 내부링크·사이트맵 재설계입니다. 문제 URL을 유형별로 묶어야 개발팀이 원인을 빠르게 고칠 수 있습니다.

단일 URL 하나를 보는 것만으로는 부족합니다. 제품 상세, 블로그, 랜딩페이지, 카테고리, 로그인 전후 페이지처럼 템플릿 단위로 확인해야 같은 문제가 반복되는지 보입니다.

“색인이 안 됩니다”보다 “A 템플릿의 canonical이 모두 루트로 향하고 있어 대표 URL 판단이 불가능합니다”처럼 재현 가능한 문장으로 남겨야 합니다. 수정 우선순위도 함께 있어야 개발 리소스를 낭비하지 않습니다.

코어인덱스 연구소는 색인 문제를 URL 단위가 아니라 구조 단위로 진단해, 개발자가 원인과 수정 이유를 이해할 수 있는 리포트로 정리합니다.