내 웹사이트가 구글에 제대로 색인되고 있는지 확인하려면 어떻게 해야 할까. 많은 개발자들이 Search Console 대시보드의 수치만 바라보다가, 정작 특정 URL이 왜 색인되지 않는지는 알 수 없는 상황을 경험한다. Google Search Console의 URL 검사 도구는 개별 페이지의 색인 상태를 상세히 진단하고, 즉시 크롤링을 요청할 수 있는 강력한 기능인데도 제대로 활용하지 못하는 경우가 많다. 이번에는 URL 검사 도구가 정확히 무엇인지, 어떤 상태 메시지가 나오는지, 그리고 색인 생성 실패 문제를 어떻게 해결하는지 완벽하게 정리해서 소개하겠다.

 

Google Search Console URL 검사 도구란
URL 검사 도구는 Search Console 대시보드 상단의 검색창에 웹 페이지 URL을 입력해서 그 페이지의 색인 상태를 즉시 확인할 수 있는 기능이다. 단순히 "색인되었는가/안 되었는가"를 보여주는 게 아니라, 크롤링 가능 여부, 색인 생성 가능 여부, 모바일/데스크톱 렌더링 상태, 구조화된 데이터 유효성, 리다이렉트 체인 등 매우 상세한 정보를 제공한다.

개발자 입장에서는 "왜 이 페이지가 검색 결과에 안 나오지?"라는 답답한 상황에서 원인을 즉시 파악할 수 있다. 예를 들어 새로 배포한 페이지가 색인되지 않았다면, 이 도구로 robots.txt 차단 여부, noindex 메타태그, 리다이렉트 오류 등을 한눈에 확인할 수 있다는 뜻이다.

 

URL 검사 도구 접근 방법
Search Console에 로그인한 후, 좌측 메뉴에서 "URL 검사"를 클릭하거나 상단 검색창(돋보기 모양)에 조사할 URL을 입력하면 된다. 속성(프로퍼티) 선택 시 올바른 사이트를 선택했는지 확인해야 한다. 예를 들어 http://example.com과 https://example.com은 다른 속성으로 취급되기 때문에, HTTPS 사이트라면 반드시 https://로 시작하는 URL을 입력해야 한다.

URL을 입력하면 "색인 생성됨", "색인 생성되지 않음", "발견되지 않음" 등의 상태 중 하나가 표시된다. 각 상태는 웹사이트의 상황을 정확히 반영하고 있으니, 상태별로 어떻게 해석해야 하는지 알아야 한다.

 

URL 검사 결과 상태 메시지 해석
URL 검사 도구가 반환하는 상태는 크게 세 가지다.

1. 색인 생성됨(Indexed)
페이지가 Google 색인에 포함되어 있다는 뜻이다. "마지막 크롤링" 날짜, "마지막 크롤링 시간" 등이 표시되며, 모바일과 데스크톱 렌더링 결과를 따로 볼 수 있다. 이 경우 검색 결과에는 안 뜨지만 색인은 되었다면, robots.txt나 메타로봇 태그(noindex)로 차단되었거나, Core Web Vitals 같은 페이지 경험 신호 때문일 수 있다.

2. 색인 생성되지 않음(Not indexed)
크롤링은 되었지만 색인 생성에 실패했다는 뜻이다. 화면에 "색인이 생성되지 않은 이유"가 상세히 표시된다. 예를 들어 "noindex 메타태그가 있습니다", "리다이렉트 오류입니다", "콘텐츠가 너무 짧습니다" 같은 구체적인 이유가 나온다. 이 정보를 토대로 문제를 즉시 수정할 수 있다.

3. URL을 Google에서 찾을 수 없습니다(Not found)
Google이 이 URL에 한 번도 접근한 적이 없다는 뜻이다. 새로운 페이지이거나, 크롤링 예산이 부족하거나, robots.txt로 완전히 차단되었을 가능성이 높다. 이 경우 "크롤링 요청" 버튼을 눌러서 Google에게 즉시 크롤링을 요청할 수 있다.

 

색인 생성 실패 원인 분석 및 해결
가장 흔한 색인 실패 원인은 다음과 같다.

✗ 문제: noindex 메타태그가 있습니다
페이지의 HTML <head> 섹션에 다음처럼 작성되어 있다.
<meta name="robots" content="noindex" />

개발 환경이나 테스트 페이지에 실수로 noindex를 붙인 후, 배포 시 제거하지 않은 경우가 많다. 검색하지 않아야 할 페이지(예: 관리자 페이지, 내부 공유 문서)에만 이 태그를 사용해야 한다.

✓ 해결책:
페이지가 색인되어야 한다면, 해당 메타태그를 제거하거나 다음처럼 수정하자.
<meta name="robots" content="index, follow" />
수정 후 다시 URL 검사 도구에서 "라이브 URL 검사"를 클릭하면 Google이 실시간으로 페이지를 재크롤링한다.

✗ 문제: 리다이렉트 오류입니다
페이지가 리다이렉트되는데, 최종 목적지가 404 에러이거나 리다이렉트 체인이 너무 길 경우 색인되지 않는다. 예를 들어 A → B → C → D로 4단계 리다이렉트가 발생하면 색인 생성이 실패할 수 있다.

✓ 해결책:
리다이렉트 체인을 최대 2단계 이내로 줄이자. PHP에서 다음처럼 직접 최종 목적지로 리다이렉트하는 게 좋다.
// ✗ 잘못된 것: 리다이렉트 체인 발생
header('Location: /page1');
exit;
// page1에서 다시
header('Location: /page2');
exit;

// ✓ 올바른 것: 최종 목적지로 직접 리다이렉트
header('Location: /final-page');
exit;

✗ 문제: 크롤링할 수 없습니다
페이지가 JavaScript로 동적으로 렌더링되는데, Google이 제대로 렌더링하지 못했거나, robots.txt에서 필수 리소스(CSS, JavaScript, 이미지)가 차단되었을 가능성이 높다.

✓ 해결책:
robots.txt에서 다음처럼 렌더링에 필요한 리소스를 허용하자.
User-agent: Googlebot
Allow: /*.js
Allow: /*.css
Allow: /images/
Disallow: /admin/
Disallow: /private/
또는 SPA(Single Page Application)라면, Server-Side Rendering(SSR) 또는 Dynamic Rendering을 고려해야 한다.

 

재크롤링 요청하기
색인 생성 실패 원인을 수정했다면, URL 검사 도구에서 "라이브 URL 테스트"나 "색인 생성 요청" 버튼을 클릭해서 Google에게 즉시 재크롤링을 요청할 수 있다. 이를 통해 몇 분 내에 Google이 변경사항을 반영하고 다시 크롤링을 시도한다.

다만 주의할 점이 있다. 색인 생성 요청이 "반드시" 색인 생성을 보장하는 것은 아니다. 페이지가 색인 요건을 충족해야만 최종적으로 색인에 포함된다. 따라서 요청 후 1~2주 뒤에 다시 URL 검사 도구로 확인해서 실제로 색인되었는지 검증하는 것이 중요하다.

 

실전: 대량 URL 색인 상태 점검
URL 검사 도구는 한 번에 하나의 URL만 조사할 수 있다. 수십 개 이상의 페이지 색인 상태를 점검해야 한다면, Google Search Console API를 활용해서 자동화할 수 있다.

Google Search Console API를 통해 URL 검사 쿼리 요청을 할 수 있지만, 이는 별도의 OAuth 인증과 API 설정이 필요하다. 간단한 대안으로는 Search Console 대시보드의 "색인 상태" 리포트에서 "제외됨", "색인됨" 카테고리별로 URL 목록을 내보낼 수 있다.

이렇게 내보낸 CSV 파일에서 색인되지 않은 URL들을 추출한 후, URL 검사 도구에 하나씩 입력해서 실패 원인을 파악하는 것이 가장 실용적이다. 특히 대규모 배포 후 많은 페이지가 색인 실패했을 때 이 방법으로 공통 원인(예: 모두 noindex가 붙어있음)을 빠르게 발견할 수 있다.

 

자주 하는 실수
✗ 잘못된 것: HTTP와 HTTPS를 혼동
http://example.com에서 작성한 URL을 https://example.com 속성의 Search Console에 입력하면 "찾을 수 없음"이 나온다. 속성 선택 시 반드시 프로토콜을 맞춰야 한다.

✓ 올바른 것: 프로토콜 일치 확인
Search Console 속성 이름을 확인한 후, 정확히 같은 프로토콜로 URL을 입력한다.

✗ 잘못된 것: 색인 생성 요청만 하고 문제는 방치
색인 생성 요청 버튼을 눌렀다고 해서 모든 문제가 해결되지는 않는다. 페이지에 여전히 noindex가 있거나 리다이렉트 오류가 있다면, 요청해도 색인되지 않는다.

✓ 올바른 것: 원인 수정 후 요청
"색인이 생성되지 않은 이유" 섹션을 읽고, 문제를 먼저 수정한 후에 색인 생성을 요청한다.

 

Google Search Console의 URL 검사 도구는 검색 노출 문제를 해결하는 가장 직접적인 방법이다. 새로운 페이지가 검색 결과에 나타나지 않는다면, 먼저 이 도구로 색인 상태를 확인하고 실패 원인을 파악해야 한다. 상태 메시지는 대부분 구체적인 문제를 명확히 알려주므로, 그 정보를 토대로 페이지를 수정하고 재크롤링을 요청하면 된다. 색인 생성 실패를 피하려면, 배포 전에 반드시 noindex나 robots.txt 설정을 한 번 더 검토하는 습관을 들이자. 이 작은 확인이 구글 검색 트래픽 손실을 미리 방지할 수 있을 것이다.