구글 티스토리 크롤링 실패 사이트 다운의 늪 (Ft. Bing)

언제까지 이어지는 사이트 다운?

카카오 데이터센터가 화재가 난지도 이제 꽤 오랜 시간이 지났지만 아직도 몇몇 티스토리 블로그의  피드를 구글에서 크롤링을 못하는 사태가 발생하고 있습니다. 열심히 글을 쓰고 기대감에 부풀어 구글 애드센스 신청을 해보지만 어김없이 날아오는 오류 메시지.

 

"사이트가 다운되었거나 접속할 수 없음"

 

저는 지금 16번째의 거절 메일을 받았는데 모두 위의 내용처럼 사이트가 다운되었다고만 합니다. 정말 답답한 마음에 이곳저곳을 검색해서 둘러보면 저같이 사이트 다운의 늪에 빠진 분들을 많이 볼 수가 있었습니다. 이쯤 되면 답답함을 넘어서 과연 구글과 카카오 사이에 이 문제를 해결할 기미가 있는 건지 궁금할 따름입니다.

 

이전에 정리했던 관련 내용들 입니다.

 

티스토리 구글서치콘솔 사이트맵 RSS 등록하기

 

티스토리 네이버 서치 어드바이저 사이트맵 등록하기

티스토리 구글 소유권 확인 메타태그 재확인실패

 

Bing 웹마스터 툴로 연결해보면

대부분 보편적으로 구글서치콘솔과 네이버서치어드바이저에 사이트맵과 rss를 등록하기 마련입니다. 이렇게 등록을 해두면 각 포털사이트에서 제가 올린 글들을 크롤링하여 검색 후 유입을 할 수 있게끔 도와주는 것이죠. 네이버서치어드바이저는 크롤링 여부를 어디서 보는지 몰라 확인을 못했지만 아마 등록한 지가 꽤 오래되었고 네이버에서 유입 자체가 작은걸 보면 여기도 크롤링에 문제가 있어 보입니다.

 

검색 사이트 중에 bing이라고 마이크로소프트에서 운영하는 곳이 있습니다. 이곳 또한 구글서치콘솔과 같은 bing웹마스터툴을 운영 중인데요. 이곳에 블로그를 등록하여 크롤링을 잘하는지 한번 테스트해보았습니다.

 

 

bing 같은 경우 로그인을 할 때 구글 계정으로 로그인을 할 수 있습니다. 구글 계정으로 로그인하게 되면 자신의 구글 서치 콘솔에 등록된 사이트를 자동으로 연동하여 bing웹마스터툴로 연결할 수 있습니다. 이점은 매우 편하게 이루어지기 때문에 절차대로만 잘 진행하시면 됩니다.

 

bing에 제 티스토리 블로그 주소를 등록하였고 사이트맵을 한번 살펴보았습니다.

 

 

보시는 바와 같이 제출한 rss는 문제가 없으나 sitemap.xml 에서 오류가 발생한 것을 볼 수가 있습니다. 이점을 토대로 유추한다면 현재 티스토리에 문제가 있어 sitemap을 읽지 못한다는 결론이 나오게 됩니다. 구글서치콘솔도 그렇고 bing도 크롤링을 못하는 것이죠. 

 

 

클릭하여 자세히 알아보면 http 403 에러가 발생한 것을 알 수 있습니다. 접근권한이 없다고 하네요. 구글서치콘솔도 똑같이 이 문제 때문에 접근을 못하는 것 같습니다. 혹시나 싶어 사이트맵을 다시 제출하였고 결과를 기다리고 있습니다.

 

카카오가 나서서 빨리 해결해줘야

지금 티스토리 유저들의 분노가 극에 달한 것 같습니다. 광고 미송출에 애드센스 승인 거부에 관련 포럼을 가보면 난리도 아닌 것 같습니다. 국내 거대 대기업인 카카오가 기술력과 인력이 부족해서 이 문제를 이렇게 방치해두고 있다고는 생각지 않습니다. 그런데도 이렇게 꽤 오랜 기간 해결이 안 된다는 것은 카카오 내에서 티스토리 블로그의 존재가 미약하여 신경을 쓰고 있지 않다고 판단할 수밖에 없습니다. 카카오에서 빨리 발 벗고 나서 이 문제를 해결해주기를 간절히 바랄 뿐입니다.