티스토리 뷰
목차
글을 열심히 써서 발행했는데 구글에 검색이 안 된다면, 혹시 색인 생성 요청 버튼을 반복해서 누르고 확인하고 계시지는 않으신가요? 저는 오늘도 확인했습니다. 그런데 직접 확인해보니, 그 버튼은 문제를 해결해주는 키가 아니었습니다. 구글이 내 페이지를 외면하는 데에는 단계별로 다른 이유가 있고, 그 이유를 먼저 찾는 것이 훨씬 빠른 길이었습니다.
색인이 안 되는 게 내 글 때문만은 아니었습니다
블로그를 시작하고 한동안은, 글만 잘 쓰면 구글이 알아서 찾아줄 거라고 막연하게 믿었습니다. 그런데 정성 들여 쓴 글이 일주일이 지나도 검색 결과에 나타나지 않자 처음엔 글 자체에 문제가 있는 줄 알았습니다. 서치 콘솔을 열어봤더니 "크롤링됨 - 현재 색인이 생성되지 않음"이라는 메시지만 반복됐고, 저는 그냥 색인 생성 요청 버튼을 계속 눌렀습니다. 지금까지 한 3~4번 정도 요청한 것 같습니다.
나중에 알게 된 사실인데, 구글 색인(Google Indexing)은 사실 하나의 과정이 아닙니다. 발견(Discovery), 크롤링(Crawling), 색인(Indexing)이라는 세 단계가 순서대로 연결된 파이프라인입니다. 여기서 파이프라인이란 앞 단계를 통과해야만 다음 단계로 넘어갈 수 있는 순차적 처리 흐름을 의미합니다. 즉, 구글이 내 페이지의 존재 자체를 모른다면 크롤링은 아예 시작되지도 않고, 크롤링을 하지 않았다면 색인은 논의 자체가 안 됩니다.
서치 콘솔의 URL 검사 도구에 누락된 주소를 입력하면 구글이 해당 페이지를 어느 단계까지 처리했는지 바로 확인할 수 있었습니다. "URL을 알 수 없음"이 뜨면 발견 단계에서 막힌 것이고, "발견됨 - 현재 색인이 생성되지 않음"이면 크롤링 대기 상태, "크롤링됨 - 현재 색인이 생성되지 않음"이면 품질 평가에서 탈락한 것입니다. 메시지 하나가 다음 행동 전체를 바꿔놓습니다.
그때 느낀 건, 막연히 불안해하기 전에 어느 단계에서 멈췄는지부터 확인하는 게 맞다는 것이었습니다. 진단 없이 누르는 버튼은 그냥 클릭일 뿐입니다.
크롤 버짓, 이걸 낭비하고 있었습니다
발견 단계 문제는 비교적 단순합니다. 구글은 두 가지 경로로 URL을 발견합니다. 사이트맵(sitemap.xml)과 다른 페이지에 걸린 내부 링크입니다. 둘 다 없으면 그 페이지는 인터넷에서 고립된 섬이나 다름없습니다. 저는 새 글을 발행할 때마다 이미 색인된 관련 글 한두 곳에 내부 링크를 연결하는 걸 루틴으로 만들었는데, 그 이후로 발견 단계 누락은 거의 사라졌습니다.
그런데 더 골치 아팠던 건 크롤링 단계였습니다. 여기서 핵심 개념이 크롤 버짓(Crawl Budget)입니다. 크롤 버짓이란 구글 봇이 특정 사이트에 일정 기간 동안 할애하는 크롤링 자원의 총량을 의미합니다. 쉽게 말해, 구글이 내 사이트에 방문하는 횟수에는 한계가 있다는 뜻입니다.
제 블로그에 필터나 정렬 기능이 있는 것도 아닌데, 왜 크롤 버짓이 낭비될까 싶었습니다. 확인해보니 문제는 고아 페이지(Orphan Page)였습니다. 고아 페이지란 사이트 내 어떤 페이지에서도 링크가 연결되지 않아 구글 봇이 도달하기 어려운 페이지를 말합니다. 메뉴에도, 목록에도, 본문 어디에도 링크가 없는 페이지들이 사이트맵에만 덩그러니 올라가 있었고, 그게 크롤링 우선순위를 전반적으로 낮추고 있었습니다.
파라미터 URL도 문제입니다. ?sort=나 ?ref= 같은 추적 파라미터가 붙은 URL들은 사실상 같은 내용의 페이지를 수백 개 복제하는 셈입니다. 이 경우 캐노니컬 태그(canonical tag)를 사용해 대표 URL을 지정해줘야 합니다. 캐노니컬 태그란 중복되거나 유사한 URL 중 검색 결과에 노출될 대표 주소를 구글에 알려주는 HTML 태그입니다. 이걸 정리하지 않으면 크롤 버짓이 중복 페이지에 분산되어 정작 중요한 글이 제때 크롤링되지 않습니다.
- 고아 페이지 해소: 모든 페이지가 최소 하나의 내부 링크를 통해 도달 가능하도록 구성
- 파라미터 URL 정리: 캐노니컬 태그로 대표 URL을 지정해 중복 페이지 신호 차단
- 서버 응답 속도 점검: 느린 응답은 구글 봇의 크롤링 빈도를 직접적으로 낮춤
- 저품질 대량 페이지 제거: 빈 태그 페이지, 내용 없는 검색 결과 페이지 등을 noindex 처리
구글 공식 문서에서도 크롤링 예산 관리의 중요성을 설명하고 있습니다(출처: Google Search Central). 크롤 버짓을 낭비시키는 URL을 줄이는 것, 그게 핵심 페이지의 크롤링 속도를 높이는 가장 현실적인 방법입니다.
서치 콘솔을 보는 방식이 바뀌었습니다
"크롤링됨 - 현재 색인이 생성되지 않음" 메시지를 처음 봤을 때, 저는 이게 구글의 패널티인 줄 알았습니다. 뭔가 규칙을 어긴 게 아닐까 싶어서 검색도 많이 해봤습니다. 그런데 이건 패널티가 아니라 품질 평가의 결과입니다. 구글이 페이지를 보긴 했는데, 색인에 추가할 만한 고유 가치가 없다고 판단했다는 신호입니다.
구글은 E-E-A-T 원칙에 따라 경험(Experience), 전문성(Expertise), 권위성(Authoritativeness), 신뢰성(Trustworthiness)의 앞 글자를 딴 품질 평가 기준으로, 구글이 검색 결과의 품질을 높이기 위해 내부 평가자들에게 적용하는 지침입니다(출처: Google Search Central). 제 경험상 이 기준에서 가장 현실적으로 체감되는 부분은 "이 페이지가 아니어도 되는가"입니다. 검색 상위에 이미 있는 글들과 내용이 거의 같다면, 구글 입장에서는 굳이 내 페이지를 색인에 추가할 이유가 없습니다.
얇은 콘텐츠(Thin Content)도 자주 걸리는 함정입니다. 얇은 콘텐츠란 본문 정보량이 지나치게 적어 독자에게 실질적인 가치를 주지 못하는 페이지를 말합니다. 사진 한 장에 짧은 설명만 붙인 포스트, 제품 설명을 제조사 문구 그대로 옮긴 페이지가 여기에 해당합니다. 이미지 중심 페이지라면 ALT 텍스트와 설명 문단, 스키마 마크업을 보강해서 봇이 읽을 수 있는 정보를 늘려야 합니다.
제가 직접 써봤을 때, 3단계에서 탈락한 페이지는 색인 생성 요청을 반복하는 것보다 본문을 실제로 보강해서 재발행한 경우에 더 빠르게 색인됐습니다. 버튼 클릭이 아니라 페이지 자체를 다시 쓰는 것, 그게 답이었습니다. 지금은 색인이 안 된 글을 발견하면 먼저 URL 검사로 단계를 확인하고, 3단계 탈락이면 본문부터 다시 검토하는 방식으로 관리하고 있습니다.
자주 묻는 질문
Q. 글을 발행하고 구글 색인까지 보통 얼마나 걸리나요?
A. 사이트마다 다르지만 며칠에서 몇 주까지 걸릴 수 있습니다. 사이트맵이 등록되어 있고 내부 링크가 잘 연결된 경우에는 빨라지는 편이지만, 구글이 색인을 보장하지는 않습니다. 제 경험상 내부 링크를 추가한 날 이후로 발견 속도가 눈에 띄게 빨라졌습니다.
Q. 색인 생성 요청을 여러 번 누르면 더 빨리 색인되나요?
A. 그렇지 않습니다. 동일 URL을 반복 요청해도 우선순위가 높아지지 않으며, 구글 공식 문서에서도 이를 명확히 안내하고 있습니다. 탈락 사유를 해결한 뒤 한 번 요청하는 것이 가장 효과적입니다.
Q. 발견됨과 크롤링됨 메시지, 대응 방법이 다른가요?
A. 완전히 다릅니다. "발견됨 - 현재 색인이 생성되지 않음"은 크롤링 대기 상태로 크롤 버짓과 내부 링크 정비가 우선입니다. "크롤링됨 - 현재 색인이 생성되지 않음"은 품질 평가 탈락이므로 콘텐츠 자체를 보강해서 재발행하는 것이 핵심입니다. 같아 보여도 완전히 다른 단계의 문제입니다.
Q. 블로그를 시작한 지 얼마 안 됐는데 색인이 유독 느린 이유가 있나요?
A. 신규 사이트는 구글 봇의 방문 빈도 자체가 낮아서 크롤 버짓이 적게 배정됩니다. 이 경우 콘텐츠 품질만큼이나 사이트 구조, 내부 링크 밀도, 크롤링 낭비 요소 제거가 함께 중요합니다. 일반적으로 색인 속도가 콘텐츠 품질 문제처럼 느껴지지만, 초기에는 기술적 정비 효과가 더 클 수 있습니다.
결론
구글 색인은 운이 아니라 파이프라인입니다. 발견되지 않으면 크롤링이 없고, 크롤링되지 않으면 색인도 없습니다. 색인 생성 요청 버튼은 이 파이프라인의 어느 단계도 고쳐주지 않습니다. 직접 겪어보니, 단계를 확인하고 그 단계에 맞는 해결을 한 번 하는 것이 버튼을 열 번 누르는 것보다 훨씬 빠릅니다.
지금 색인이 안 된 글이 있다면, 서치 콘솔 URL 검사부터 열어보시기 바랍니다. 메시지 하나가 다음에 무엇을 해야 하는지를 정확하게 알려줍니다. 사이트맵 확인, 내부 링크 추가, 크롤 버짓 정리, 콘텐츠 보강, 그리고 마지막에 색인 생성 요청 한 번. 이 순서를 지키는 것만으로도 지금까지와는 다른 결과를 얻을 수 있습니다.