우선, 구글은 백링크에 의해서 웹페이지에 점수를 부여하고 그를 근거로 검색 순위를 계산하는데(페이지랭크 알고리즘), 악의적인 웹사이트 스패머들이 고의적으로 다른 사람들의 웹사이트에 자신의 백링크를 게시해서 검색엔진 링크를 조작하는 일이 빈번하게 발생하자, 링크의 속성태그라는 것을 만들어 다른 검색엔진과 공동 보조를 취한 적이 있습니다.

백링크를 이용한 검색 순위 계산은 구글이 처음 시도했지만, 현재는 메이져 검색 3사 모두가 부분적으로 이 기술을 사용하고 있습니다. 따라서, 3사는 모두 이 태그를 이용해서 스팸으로 생기는 검색 결과의 조작을 방지할 수 있게 됩니다. 보통 블로그에 붙는 트랙백이나 덧글의 경우, 워드프레스나 태터툴즈 최신버젼은 nofollow라는 링크 속성이 붙게 되고, 이 속성으로 인해서 검색엔진은 링크를 당하는 문서의 순위에 가중치를 부여하지 않게 됩니다.

두번째의 공동 대처인 사이트맵 프로토콜은 웹문서가 기하급수적으로 늘어나기 때문에 생긴 고육지책이라고 볼 수 있습니다. 구글은 80억개 이상의 웹문서를 검색한다고 알려져 있는데, 전세계의 웹문서는 매우 빠른 속도로 늘어나고 있기 때문에 천하의 구글이라도 모든 웹문서 검색은 불가능합니다. 과거 매우 빠른 속도로 웹사이트 검색이 가능했던 구글 검색엔진도, 처음 만들어진 웹사이트의 경우 4주에서 6주는 지나야 제대로 된 검색 결과를 보여줍니다.

물론, 현재까지 사이트맵 프로토콜을 사용한 웹사이트의 검색 결과가 그렇지 않은 웹사이트보다 유리한지는 밝혀지진 않았지만, 몇년 후의 미래에 검색엔진이 버거울 정도의 웹문서가 만들어진다면, 차이가 날 수도 있으리라 생각합니다. 이런 이유로 메이저 검색 3사의 공동 보조가 생겼다고 보는게 옳습니다.

한국의 경우, 사이트맵 프로토콜을 지원하는 검색엔진은 현재까지는 없습니다.

관련 링크

워드프레스에 구글 사이트맵을 설치해보자
구글 사이트맵 자동 생성 프로그램 소개
내 사이트 구글 검색결과에 나오게 하는 방법

1. 구글봇 활동 리포트(Googlebot activity reports)
2. 방문 횟수 조정(Crawl rate control)
3. 확장 이미지 검색(Enhanced image search)
4. 제공한 주소 수 표시(Number of URLs submitted)

블로거를 예로 들면, 트래픽을 줄이기 위해서 2번, 구글 봇의 방문 횟수를 조정할 수 있겠고, 나의 몇 페이지가 구글 검색에 제공됐는지 4번을 통해서 알 수 있겠죠.

이삼구글을 예로 들면, 구글봇은 하루 평균 613페이지, 8.5메가바이트를 가져가고, 한 페이지를 평균 1400밀리초에 얻어갑니다. 그리고, 이 빈도는 세가지 옵션(빠름,보통,느림)으로 조정할 수 있습니다.

확장 이미지 검색은 이미지 라벨러(Image Labeler)라는 구글이 만든 태그 정하기 게임을 이용해서 다른 사람이 태그를 할 수 있도록 설정하는 것인데, 한국에서는 그다지 쓸모 있어 보이진 않습니다.

아무튼, 구글은 웹마스터 툴을 이용해서 구글 검색엔진을 웹마스터가 어느정도 컨트롤 할 수 있게 해 주고 있습니다.

참고로, 검색엔진의 방문 빈도는 웹마스터 툴을 이용하지 않고도 robots.txt파일을 이용하면 조정해 줄 수 있습니다.

이번에 추가된 구글 웹마스터 툴은 다음 여섯가지로 이루어져 있습니다.

사이트 상태 마법사 – Site Status Wizard
구글 검색엔진 인덱스에 자신의 웹사이트 상태가 어떤지 간략하게 알려줍니다. 여기서의 정보는 구글이 인덱싱을 하는지 여부, 가장 최근의 인덱싱 날짜 등입니다. 이 부분은 구글 사이트맵의 요약본이라고 할 수 있습니다.

웹마스터 툴(사이트맵 포함) – Webmaster tools (including Sitemaps)
웹마스터 툴은 예전 구글 사이트맵의 확장판이라고 할 수 있습니다. 과거의 사이트맵에선 할 수 없는 몇가지 기능들이 추가되었는데…

1. 구글에 의해 인덱싱 거부당한 사이트를 다시 검색엔진에 나오도록 요청(reinclusion)할 수 있습니다.
2. 두개의 도메인을 사용할 경우(예를 들어 blog.repl.net과 www.blog.repl.net을 동시에 사용할 경우), 선호하는 도메인을 지정할 수 있습니다.
3. 스팸 사이트를 신고할 수 있습니다.(예전에 있었지만, 웹마스터 툴에 포함되었습니다.)

특별한 기능상 추가는 없지만, 기능을 재배치해서 추후 업그래이드를 용이하게 하려는 의도가 옅보입니다.

컨텐츠를 구글에 제출(Submit your content to Google)
구글은 여러가지 서비스를 진행중이기 때문에 현재 컨텐츠 추가는 다섯개의 카테고리 – 검색엔진, 구글 베이스(Google Base), 구글 사이트맵(Google Sitemaps), 구글 북(Google Books), 구글 비디오(Google Video) 등으로 나누어져 있습니다.

웹마스터를 위한 구글 블로그(Google’s blog for webmasters)
검색엔진에 대한 블로그가 런칭되었는데, 현재까지는 별다른 정보는 없습니다.

웹마스터를 위한 구글 뉴스그룹(Google’s discussion group for webmasters)
한국에선 그리 활성화 된 것 같진 않지만, 영어를 읽을 수 있다면 이 곳에서 많은 도움을 얻을 수 있습니다. 일종의 토론 게시판입니다.

웹마스터 도움말(Webmaster help center)
말 그대로 서비스들의 도움말입니다. 아직 한글화는 완성되지 않았습니다.

구글 웹마스터 센터는 사실 별다른 기능상의 업그래이드는 보이지 않습니다. 다만, 기존 서비스들에서 웹마스터 부분을 하나로 통합시켰다는데 사용상의 잇점은 있어 보입니다.

팁. 접속하기

현재 한글 구글로 접속하면 구글 웹마스터 센터로의 접속방법이 없습니다. 쿠키값을 조정해야 하는데, 가장 쉬운 방법은 다음과 같습니다.

1. 첫페이지에서 우측 하단 “Google.com in English”를 클릭해서 구글 영문페이지에 접속한다.
2. http://www.google.com/webmasters/에 접속한다.
3. 캐쉬가 남아 있을 경우 새로고침을 시도해 본다.

프로그램은 무료이며, 비쥬얼 베이직을 이용해서 제작했기 때문에 프로그램 용량이 좀 큰 편입니다. 또한, 설치 후 재부팅을 해야 합니다.

프로그램을 구동시켜보면 아시겠지만, 꽤 잘 만들어져 있습니다. 여러 사이트를 동시에 관리할 수 있고, 크롤링 할 페이지의 확장자를 지정할 수도 있습니다.(jpg나 gif 등의 그림은 크롤링할 필요 없겠죠?) 또한, 404에러(페이지가 없을때를 말합니다.) 시에도 크롤링 여부를 지정할 수 있습니다. 처음엔 그냥 디폴트 상태에서 URL만 넣으면 알아서 긁어오는 모습을 볼 수 있습니다.

익숙해지면 FTP가 내장되어 있어서 자동으로 업로드를 할 수도 있고 모든 진행을 자동화시켜서 프로젝트파일을 만들 수도 있습니다. 한글도 지원하는군요

사이트맵 생성기가 없어서 포기하신 분들은 빠른 시간에 자신의 웹사이트의 구글 사이트맵 파일을 만들 수 있습니다.

프로그램은 “The SOFTplus GSiteCrawler Google Sitemap generator”에서 받으실 수 있습니다.

구글 사이트맵의 이번 업데이트는 블로그에 나와있는 바와 같이 robots.txt파일의 간단한 분석툴이 삽입되었고, 통계 메뉴에 몇가지 자료들이 추가되었습니다.

캐시된 robots.txt 분석

이번 업데이트에 가장 큰 변화로는 robots.txt라는 탭의 추가입니다. 이 페이지에서는 현재 사이트에 존재하는 robots.txt파일의 상태를 보여주고, 임시로 robots.txt를 만들어 볼 수 있게 시뮬레이션도 해 볼 수 있습니다.

위의 그림에서 나오는 상태 404라는 것은 파일이 존재하지 않는다는 뜻입니다.

상태 하단에는 robots.txt파일을 만들어보고 테스트 할 수 있는 툴을 제공하고 있습니다. 첫번째 박스에는 만들려는 robots.txt를 넣고, 두번째 박스에는 확인할 URL을 넣습니다. 쉽게 말하자면, 자신이 만드는 robots.txt가 어떤 웹페이지를 검색할 수 있게 하느냐 그렇지 않느냐 하는 것입니다.

테스트를 해 보겠습니다.

첫번째 칸과 두번째 칸에 다음과 같은 내용을 넣습니다.

User-agent: *
Disallow: /buzz/
Disallow: /gallery/

http://blog.repl.net/
http://blog.repl.net/mandl/
http://blog.repl.net/buzz/

검사를 누르게 되면 Googlebot이 http://blog.repl.net/과 http://blog.repl.net/mandl/은 허용으로 나오지만 http://blog.repl.net/buzz/은 차단으로 나오는 것을 알 수 있습니다.

이 툴로 테스트를 해 본 후 원하는 결과가 나올 경우 robots.txt파일을 만들어서 웹서버에 올리면 됩니다.

그 밖에 추가된 통계

메뉴에서 통계-크롤링을 선택하면 최하단에 최고의 PageRank 페이지라는 통계가 추가되었습니다. 이 것은 자신의 사이트에서 최고로 높은 페이지랭크 페이지를 알려줍니다.

또 다른 추가 통계로 메뉴에서 통계-페이지 분석을 선택하면 사이트의 콘텐츠와 사이트에 대한 외부 앵커가 표시됩니다. 이 것으로 자신의 웹사이트의 검색쿼리의 이유를 유추해 보는데 도움이 됩니다.

구글 사이트맵은 전에 언급했던 것처럼 페이지 랭크가 어느정도 올라가지 않으면 별로 쓸모가 없습니다. 일단, 구글에서 웹서치를 이용해서 자신의 사이트 랭크를 확인해 본 후에 본격적으로 적용하는 것이 좋습니다. 물론 미리 적용해도 좋지만, 별로 소용없는 일이라서요.

구글 사이트맵의 도움말을 보면 다음과 같은 글로 사이트맵의 장점을 설명하고 있습니다.

Google Sitemaps를 통해 웹 크롤링을 경험할 수 있습니다. Google은 Sitemaps를 사용하여 Google 크롤러에 사이트를 알려서 사이트가 검색되도록 함으로써 웹 검색 범위를 넓히고 검색 속도 및 Google 색인에 페이지가 추가되는 속도를 향상시켜 보시길 바랍니다.

즉, 구글 사이트맵을 이용하면 설사 인터넷에 전혀 링크가 걸려있지 않은 페이지도 URL을 직접 전송함으로서 조금 더 엑티브한 인덱싱이 가능하고, 구글 사이트맵이 크롤링하기 전에 직접 웹마스터가 전송할 수 있으므로 색인 추가의 속도가 향상될 수 있습니다.

워드프레스의 구글 사이트맵 제네레이터 관련 플러그인은 몇종류가 나와있지만, 가장 완성도가 높다고 보여지는 프로그램은 워드프레스를 위한 구글 사이트맵 제네레이터 V2.0 파이널버젼입니다.(현재 2.5 버젼이 제작중이라고 합니다.)

워드프레스의 다른 플러그인 처럼 플러그인 폴더에 복사하고 플러그인 페이지에서 활성화를 시키면 설정탭에 Sitemap메뉴가 추가됩니다. 기본 설정으로 Rebuild 버튼을 누르면 루트에 sitemap.xml파일이 생성됩니다.(예를 들어 구글매니아 블로그의 경우라면 http://blog.repl.net/sitemap.xml파일이 생성됩니다.)

그 밖에 워드프레스로 만든 페이지가 아닌 것들도 하단의 옵션부분에서 추가할 수 있습니다.

이미 구글 사이트맵을 사용하고 있는 사용자는 간편하게 XML파일을 추가할 수 있습니다.