Symptoms
이런 상태입니다
서치콘솔의 페이지 색인 보고서에서 '색인 생성됨'은 제자리인데 '크롤링됨, 현재 색인이 생성되지 않음'이나 '발견됨, 현재 색인이 생성되지 않음'이 늘어납니다. 사이트맵에 제출한 URL 수와 색인된 수의 차이가 몇 달째 벌어지고 있다면 같은 상황입니다.
발행 직후에는 색인되다가 어느 시점부터 새 페이지가 잘 들어가지 않는 경우도 있습니다. 페이지 수가 일정 규모를 넘으면서 크롤링이 배분되는 방식이 달라진 것이 원인일 때가 많습니다.
Causes
상태 문구가 뜻하는 것
발견됨, 현재 색인이 생성되지 않음
구글이 URL은 알고 있지만 아직 가져가지 않은 상태입니다. 페이지 내용이 평가되기 전 단계라서, 원인은 페이지 안이 아니라 크롤링 순서에 있습니다. 가치가 낮은 URL이 크롤링을 먼저 차지하고 있거나, 새 URL이 사이트맵에만 있고 다른 페이지에서 링크되지 않거나, 도메인이 새로워 구글이 가져가는 양 자체가 적을 때 나타납니다.
크롤링됨, 현재 색인이 생성되지 않음
가져가서 읽었지만 색인할 이유를 찾지 못한 상태입니다. 다른 페이지와 내용이 거의 같거나, 본문이 렌더링 이후에만 채워지거나, 같은 주제를 다룬 다른 페이지보다 담긴 내용이 얇을 때 나타납니다. 같은 템플릿을 쓰는 페이지 무리가 함께 빠지는 경우가 많습니다.
중복, 사용자와 다른 표준을 선택함
페이지는 읽혔지만 구글이 다른 URL을 대표로 골랐습니다. canonical이 가리키는 주소와 내부 링크가 가리키는 주소가 다르거나, www와 non-www, 끝 슬래시 유무처럼 같은 페이지가 여러 주소로 열릴 때 생깁니다.
robots.txt에 의해 차단됨, noindex 태그에 의해 제외됨
설정이 색인을 막고 있는 경우입니다. 배포 과정에서 스테이징 설정이 운영에 딸려 나오는 일이 드물지 않아, 사유 목록에 이 두 문구가 보이면 가장 먼저 확인합니다.
Check
URL 검사에서 확인하는 순서
서치콘솔 접근 권한만 있으면 됩니다. 각 항목은 무엇을 보는지와 결과를 어떻게 읽는지로 나눠 적었습니다.
- 01
색인되지 않은 URL이 몰린 문구
- 확인 방법
- 서치콘솔 '페이지' 보고서에서 색인이 생성되지 않은 사유를 하나씩 열고, 사유별 URL 수와 최근 3개월 추이를 봅니다.
- 읽는 법
- URL이 가장 많이 몰린 문구가 먼저 볼 곳입니다. 사유를 열었을 때 URL 경로가 한두 가지 패턴으로 모인다면, 원인은 개별 페이지가 아니라 그 패턴을 만드는 템플릿에 있습니다.
- 02
마지막 크롤링 값
- 확인 방법
- 몰린 문구에서 URL 몇 개를 골라 URL 검사 도구에 넣고, 페이지 색인 항목의 마지막 크롤링 값을 봅니다.
- 읽는 법
- 값이 '해당사항 없음'이면 아직 방문 전이라, 페이지를 고쳐도 당장 반영되지 않습니다. 이때는 내부 링크와 사이트맵으로 그 URL에 닿는 경로를 늘리는 것이 먼저입니다. 날짜가 있다면 구글이 이미 읽고 판단한 것이니 다음 항목으로 넘어갑니다.
- 03
선언한 표준 URL과 선택된 표준 URL
- 확인 방법
- 같은 화면에서 사용자가 선언한 표준 URL과 구글이 선택한 표준 URL을 비교합니다.
- 읽는 법
- 두 값이 다르면 그 페이지는 중복으로 묶인 것입니다. 구글이 고른 주소가 의도한 주소가 아니라면, canonical과 내부 링크가 한 주소를 가리키도록 맞추는 것이 먼저입니다.
- 04
렌더링된 HTML
- 확인 방법
- '실제 URL 테스트'를 실행한 뒤 '테스트된 페이지 보기'에서 HTML을 열고, 본문 문장 하나를 검색합니다.
- 읽는 법
- HTML에 본문이 없으면 구글이 읽는 화면이 비어 있는 것입니다. 본문이 있는데도 '크롤링됨' 상태라면, 같은 주제를 다룬 다른 페이지와 견주어 이 페이지에만 있는 내용이 무엇인지부터 봅니다.
When to ask
진단이 필요한 경우
상태 문구와 URL 검사로 알 수 있는 것은 표본 몇 개의 상태까지입니다. 어떤 URL 무리가 왜 그 문구에 몰리는지는 전수 크롤링 결과와 서버 로그를 같은 기간으로 대조해야 드러납니다. 그 대조 방법은 아래 첫 번째 글에 정리해 두었습니다.
진단에서는 색인되지 않은 URL 전체를 이 방식으로 나누고, 무엇을 먼저 고칠지의 순서로 전달합니다.
Read more
더 깊이 보려면
같은 문제를 진단 절차와 데이터 기준으로 다룬 글입니다.
이 문제가 우리 사이트에 있는지 확인이 필요하다면
사이트 주소와 위에서 확인한 결과를 남겨 주시면 같은 관점에서 먼저 훑어보고, 진단이 필요한 범위와 예상 기간을 정리해 회신드립니다. 여기까지는 비용이 들지 않습니다.