Symptoms
이런 상태입니다
서치콘솔의 페이지 색인 보고서에서 '색인 생성됨'은 제자리인데 '크롤링됨, 현재 색인이 생성되지 않음'이나 '발견됨, 현재 색인이 생성되지 않음'이 늘어납니다. 사이트맵에 제출한 URL 수와 색인된 수의 차이가 몇 달째 벌어지고 있다면 같은 상황입니다.
발행 직후에는 색인되다가 어느 시점부터 새 페이지가 잘 들어가지 않는 경우도 있습니다. 페이지 수가 일정 규모를 넘으면서 크롤링이 배분되는 방식이 달라진 것이 원인일 때가 많습니다.
Causes
흔한 원인
발견은 됐지만 크롤링 순서에서 밀린다
사이트맵이나 내부 링크로 URL은 알려졌지만, 검색엔진이 그 사이트에 쓰는 크롤링 양 안에서 우선순위가 낮아 방문이 미뤄지는 상태입니다. 파라미터가 붙은 URL, 페이지네이션, 필터 조합처럼 가치가 낮은 URL이 크롤링을 먼저 차지하고 있을 때 자주 나타납니다.
크롤링은 됐지만 색인할 이유를 찾지 못한다
페이지를 가져갔지만 다른 페이지와 내용이 거의 같거나, 본문이 렌더링 이후에만 채워지거나, canonical이 다른 URL을 가리키고 있으면 색인에서 제외됩니다. 이 경우 페이지 하나하나보다 같은 템플릿을 쓰는 페이지 무리 전체가 함께 빠집니다.
내부 링크가 새 페이지에 닿지 않는다
새 페이지가 사이트맵에만 있고 다른 페이지에서 링크되지 않으면, 검색엔진은 그 페이지의 중요도를 낮게 봅니다. 목록 페이지가 최신 몇 건만 보여주는 구조에서 오래된 페이지가 링크를 잃는 것도 같은 문제입니다.
설정이 색인을 막고 있다
robots.txt의 차단 규칙, noindex 메타 태그, 로그인이나 지역 제한이 크롤러에게도 적용되는 경우입니다. 배포 과정에서 스테이징 설정이 운영에 딸려 나오는 일이 드물지 않습니다.
Check
서치콘솔에서 직접 확인하는 방법
서치콘솔 접근 권한만 있으면 됩니다. 각 항목은 무엇을 보는지와 결과를 어떻게 읽는지로 나눠 적었습니다.
- 01
페이지 색인 보고서의 사유별 추이
- 확인 방법
- 서치콘솔의 '페이지' 보고서에서 색인이 생성되지 않은 사유를 하나씩 열고, 최근 3개월 추이를 봅니다.
- 읽는 법
- '발견됨, 현재 색인이 생성되지 않음'이 늘면 크롤링 배분 문제, '크롤링됨, 현재 색인이 생성되지 않음'이 늘면 페이지 품질이나 중복 판정 문제 쪽입니다. 어느 사유에 어떤 URL 패턴이 몰려 있는지가 원인을 가르는 첫 단서입니다.
- 02
사이트맵 제출 수와 색인 수의 차이
- 확인 방법
- '사이트맵' 보고서에서 제출된 URL 수와, 같은 사이트맵을 기준으로 필터한 색인 수를 비교합니다.
- 읽는 법
- 차이가 크고 계속 벌어지면 새 페이지가 들어가지 않는 것이고, 차이가 일정하면 특정 무리가 고정적으로 빠져 있는 것입니다.
- 03
URL 검사로 표본 확인
- 확인 방법
- 색인되지 않은 URL 몇 개를 URL 검사 도구에 넣고, 마지막 크롤링 일시, 크롤링 허용 여부, 선택된 canonical, 렌더링된 HTML을 확인합니다.
- 읽는 법
- 크롤링 일시가 비어 있으면 아직 방문하지 않은 것이고, 선택된 canonical이 다른 URL이면 중복으로 묶인 것입니다. 렌더링된 HTML에 본문이 없으면 렌더링 단계의 문제입니다.
- 04
크롤링 통계의 응답별 분포
- 확인 방법
- 설정의 '크롤링 통계'에서 응답 코드별, 파일 형식별, 목적별 요청 수를 봅니다.
- 읽는 법
- 요청 총량은 늘었는데 새 페이지 크롤링이 줄었다면, 크롤링이 어딘가 다른 URL에 쓰이고 있다는 뜻입니다. 어디에 쓰이는지는 서버 로그에서만 정확히 보입니다.
When to ask
진단이 필요한 경우
위 확인에서 사유는 보이는데, 어떤 URL 무리가 왜 그 사유에 몰리는지는 서치콘솔 안에서 드러나지 않을 때가 대부분입니다. 서치콘솔은 표본을 보여주고, 원인은 전수 크롤링 결과와 서버 로그를 같은 기간으로 대조해야 나옵니다.
진단에서는 색인되지 않은 URL 전체를 처리 단계별로 나누고, 어느 단계에서 이탈했는지를 템플릿 단위로 기록합니다. 그 결과가 무엇을 먼저 고칠지의 순서가 됩니다.
Read more
더 깊이 보려면
같은 문제를 진단 절차와 데이터 기준으로 다룬 글입니다.
이 문제가 우리 사이트에 있는지 확인이 필요하다면
사이트 주소와 위에서 확인한 결과를 남겨 주시면 같은 관점에서 먼저 훑어보고, 진단이 필요한 범위와 예상 기간을 정리해 회신드립니다. 여기까지는 비용이 들지 않습니다.