N잡러를 지향하고자 첫 번째 부업으로 선택한 애드센스. 돈 벌기가 쉽지는 않습니다. 최근 '광고 크롤러 오류가 있으며 이 때문에 수익 손실이 발생할 수 있습니다.'라는 무시무시한 경고 메시지가 떠서 마음이 심란했습니다. 그래서 어떻게 해결하면 좋을지 알아봤습니다.
현상분석
애드센스 수익을 확인하려고 하니 아래와 같이 '광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다'라는 메세지가 떠 있습니다. 며칠 전에는 1건에만 메시지가 떴는데, 오늘 확인해 보니 3건이 있습니다.
인터넷을 찾아보니 아래에 빨간색으로 표시한 '해결해야 하는 문제'에 0건이면 사실상 해결할 문제가 없다는 뜻이므로 그냥 놔두면 해결된다고 합니다.
하지만 수익 손실이 발생할 수 있다고 말하고 있고, 실제 수익이 며칠 째 줄어들었습니다. 이렇게 말하면 수익이 엄청날 꺼라고 생각하실 텐데 사실은.. 5달러 수준에서 2달러 수준으로.. ㅜ
여하튼 해결할 방법을 계속 찾아봤습니다.
크롤러 오류란?
우선 크롤러 오류가 무엇인지 살펴보도록 하겠습니다. 저는 크롤러, 크롤러 오류에 대해 아는 것이 없어서 챗GPT에 물어봤습니다. 아래는 '크롤러 오류가 뭐야?'라는 질문에 대한 챗GPT의 답변입니다.
[챗GPT 답변]
AdSense는 웹사이트 소유자들이 자신의 사이트에서 광고를 게재하고 수익을 얻을 수 있도록 하는 Google의 서비스입니다. AdSense는 광고를 특정 사이트에 맞게 표시하기 위해 "크롤러"라는 도구를 사용합니다. 크롤러는 웹사이트의 콘텐츠를 읽어 들여, 해당 사이트에 가장 적합한 광고를 결정하는 데 도움이 됩니다.
"AdSense 광고 크롤러 오류"란, 이 크롤러가 웹사이트의 콘텐츠를 제대로 읽지 못하거나 접근하지 못할 때 발생합니다. 이러한 오류는 다음과 같은 이유로 발생할 수 있습니다.
1. Robots.txt 파일
이 파일은 검색 엔진의 크롤러가 어떤 페이지를 크롤링하거나 크롤링하지 않도록 지시하는 데 사용됩니다. 만약 이 파일이 AdSense 크롤러를 차단하도록 설정되어 있다면, 크롤러는 사이트의 콘텐츠에 접근할 수 없으며, 이로 인해 오류가 발생할 수 있습니다.
2. 서버 오류
사이트 서버에 문제가 있다면, 크롤러는 사이트에 접근하지 못하고 오류를 반환할 수 있습니다.
3. 사이트 구조 또는 콘텐츠 문제
사이트가 너무 복잡하게 구성되어 있거나, 크롤러가 이해할 수 없는 형식의 콘텐츠(예: 일부 JavaScript 코드)를 포함하고 있다면, 크롤러는 제대로 작동하지 못하고 오류를 발생시킬 수 있습니다.
크롤러 오류가 발생하면, AdSense는 웹사이트의 콘텐츠를 정확하게 파악할 수 없으므로, 가장 적합한 광고를 표시하는 데 문제가 생길 수 있습니다. 이로 인해 사이트의 광고 수익이 감소할 수 있습니다. 따라서 이런 오류를 가능한 한 빨리 해결하는 것이 중요합니다.
즉, 크롤러 오류가 있다면 구글이 내가 쓴 블로그를 인식하지 못한다는 의미이므로 빨리 해결하는 게 좋겠습니다.
해결방법
인터넷, 유튜브 검색을 해 봤을 때 그냥 놔둬도 된다는 의견이 지배적이었지만, 저는 색인 생성을 다시 시도해 보았습니다.
1. 우선 애드센스 정책센터에 보시면 '문제발생 위치'를 확인할 수 있습니다. 여기를 클릭하시면 문제가 되고 있는 페이지를 확인할 수 있습니다. 그 페이지의 URL을 복사해 주세요.
2. 구글서치콘솔에 접속해서 로그인을 한 다음에 상단에 복사했던 URL을 붙여넣기를 합니다.
3. 예상대로 'URL이 Google에 등록되어 있지 않음'이라고 나옵니다. 아래와 같이 '색인 생성 요청'을 클릭합니다.
4. 색인 생성 요청이 되어 곧 해결될 것 같습니다만, 실제 URL이 Google에 등록되었는지 궁금합니다. 그래서 '실제 URL 테스트'를 클릭해 봅니다.
5. URL을 Google에 등록할 수 있다는 메시지가 뜹니다. 이제 제가 할 수 있는 조치는 다 한 것 같습니다.
사실 이렇게 색인 생성 요청을 한다고 크롤러 오류가 100% 해결되지는 않습니다. 크롤러 오류의 원인을 정확하게 알 수 없기 때문입니다. 그렇지만 아무것도 안 하고 기다리는 것보다는 우리가 할 수 있는 조치, URL이 Google에 등록되어 있는지 확인해 보고 안되어 있다면 색인 등록 요청하는 것, 이 방법이라도 시도해 보는 것을 추천드립니다.