구글은 BMW를 검색목록에서 왜 삭제했나?

4

구글은 자동차메이커 BMW의 독일 웹사이트를 검색결과에서 제외시킨다고 발표했습니다. 그리고, 웹사이트에서 자바스크립트 코드를 없애고 구글에 연락을 하면 검색결과에 다시 넣어준다고 이야기 했는데요, 현재는 검색이 되고 있습니다. 이 기사가 나갈 때 이미 BMW의 독일 웹사이트는 자바스크립트를 제거한 상태였습니다.
그렇다면 구글은 왜 BMW의 독일 웹사이트를 웹검색에서 삭제시킨걸까요?

BMW의 독일 웹사이트는 검색엔진의 상위등록 방법으로 흔하고 쉽게 사용할 수 있는 도어웨이(Doorway) 페이지를 만들었습니다. 도어웨이 페이지란 검색엔진의 상위등록을 목적으로 작성되며, 클릭하는 사용자는 곧바로 다른 페이지로 이동하거나 다른 컨텐츠가 나오게 됩니다.

BMW가 이번에 사용한 방법은 이렇습니다.

일반적으로 익스플로러나 파이어폭스같은 브라우져들은 자바스크립트가 가동될 수 있도록 세팅이 됩니다. 하지만 검색엔진에선 보통 자바스크립트를 무시하죠. 자바스크립트는 사용자의 브라우져를 제어하는 목적으로 사용하는 일종의 컴퓨터 언어입니다.

다음 그림은 BMW 독일 웹사이트를 브라우져로 본 것과 검색엔진이 본 것을 나열해 본 것입니다.

BMW 독일 웹사이트의 도어웨이 페이지

위의 그림에서도 알 수 있겠지만, 사람이 보는 페이지에서는 단순한 상품의 리스트이고, 검색엔진이 보는 페이지는 컨텐츠(중고차에 대한 설명입니다.)가 나옵니다. 검색엔진은 컨텐츠를 가져가서 검색결과에 표시해주고, 결과적으로 사용자는 중고차로 검색을 해서 BMW에 접속을 하면 단순리스트가 뜨게 됩니다.

기술적으로 이런 페이지를 무한대로 만드는 일은 매우 간단합니다. 아파치 웹서버에서는 .htaccess를 이용하고, 윈도우서버에서도 404페이지 등의 에러페이지를 조작하면 됩니다. 서버를 조작할 수 없어도 ASP나 PHP같은 웹스크립트를 사용해도 간단히 만들 수 있습니다. 만드는 시간은 한시간도 채 되지 않습니다.

구글은 이런 도어웨이 페이지 같이 검색엔진을 속이는 웹사이트들을 신고할 수 있는 별도의 공간을 제공하고 있습니다. 이런 페이지들은 검색엔진을 거의 완벽하게 속일 수 있기 때문입니다.

그렇다면 한국은…?

한국은 구글과 야후를 제외하고는 웹검색이 거의 쓸모가 없기 때문에 상대적으로 효과가 없습니다만 이런 식으로 마케팅을 하는 사람들이 있고, 대행해주는 사람도 있습니다만 매우 음성적으로 활동하고 있습니다. 예전 PHPSCHOOL에 이와 관련된 글을 올렸는데 이틀후에 제작자가 메일로 글의 삭제를 요청한 적도 있었습니다.

구글에서 “배슬기 복고댄스”로 검색을 해보면 수많은 도어웨이 페이지가 나오게 됩니다. 도어웨이 페이지의 전형적인 예로 클릭을 해보면 검색결과와 전혀 상관없는 페이지들이 나오게 됩니다.

구글 한국 검색으로 본 도어웨이 페이지

이런 사이트들의 도메인 정보를 보게되면 정보 또한 허위로 기재되었다는 것을 쉽게 알 수 있습니다.

도메인이름 : solarcities.or.kr
등록인 : 도메인양도
등록인 주소 : 서울특별시 강남구 대치동 나머지 주소
등록인 우편번호 : 135280
책임자 : 도메인양도
책임자 전자우편 : magicdoregi@hanmail.net
책임자 전화번호 : 02-1234-5678
등록일 : 2006. 01. 25.
최근 정보 변경일 : 2006. 01. 25.
사용 종료일 : 2007. 01. 25.
정보공개여부 : Y

도메인 등록 정보 중에 신뢰할 만한 것은 이메일 주소이기 때문에 아마도 위의 정보 중 이메일은 아는 사람의 정보를 이용해서 허위로 만들지 않는 한은 도어웨이 페이지의 제작자 주소일 것입니다.

도어웨이 페이지를 검색엔진에서 삭제하는 방법

이런 식의 페이지는 검색엔진에서 잡아내기가 굉장히 어렵습니다. 검색엔진이 어떤 알고리즘으로 잡아낸다고 해도 도어웨이 제작자는 그것을 쉽게 피해갈 수가 있습니다.

따라서, 사용자가 좋아하는 검색엔진에 직접 신고를 할 수 밖에 없습니다. 구글은 스팸 페이지를 신고하는 페이지를 따로 제공하고 있는데 이런 정보를 볼 때마다 구글에 신고를 하면 구글에서 그 사이트가 삭제가 됩니다. 이 기간은 그다지 오래 걸리지 않습니다.

내가 왜 검색엔진에게 그런 것들을 알려주어야 하나?

검색엔진은 사기업이 운영하는 것이지만 공공재의 성격이 강합니다. 따라서, 사용자는 제대로 된 검색결과를 받기를 원하거나 다른 이들에게 도움을 주기 원한다면 스팸 사이트로 신고를 하는 것이 바람직합니다. 물론 그런 일들은 사용자의 자유의지겠지요.

Update 20060211.
배슬기 복고댄스와 관련해서 구글에 스팸사이트로 거짓결과 몇개를 신고했습니다.

About Author

구글 전문 블로그 "팔글-인사이드 구글"을 2003년 부터 운영했으며, 애드센스와 유사한 애드얼라이언스의 기획&개발에 참여한 바 있다. IT 기업들의 생태계에 대해 관심이 많으며, 광고, 디지털 콘텐츠 판매 등 여러가지 실험을 진행하고 있다.

4 Comments

  1. 제 생각은 다릅니다.

    검색엔진이 자바스크립트를 인식하지 못하고 도어웨이에 걸려들께 아니라 검색엔진또한 인간이 보는것과 동일한 형태로 컨텐츠를 인식하고 해석해내야 합니다.

    왜 검색엔진은 자바스크립트를 무시하나요? 왜 검색엔진을 위해 SEO(검색엔진최적화)를 수행해야 하나요?

    검색엔진이 좀 더 인간에 가까운 인지능력을 보유해야 하고 진화를 거듭해야 합니다. 또한 구글은 본연의 역활인 검색에 충실해야 하고 검색엔진의 성능을 더욱 보강해야 합니다. 그들의 주장대로 인간의 개입이 필요없는 인공지능을 보유해야 합니다.

    비지니스에 집중하는 구글의 모습은 더이상 구글답지 않습니다. 초기의 이상을 잃지않고 더욱 훌륭한 검색엔진으로 거듭나는 구글의 모습을 기대합니다.

    “배슬기복고댄스”의 검색결과는 정말로 실망스럽습니다. 이것이 과연 세계최고의 검색엔진이 맞는가 싶을정도로.

  2. Pingback: likejazz.COM

  3. likejazz님의 글이 당연한 것이지만, 아쉽게도 자바스크립트를 인지한다고 해도 달라질 것은 없습니다. 원론적으로 도어웨이인지 아닌지를 검색엔진이 인지할 수 없습니다. 그것은 HTTP프로토콜의 헤더라는 것 때문에 그렇습니다. 구글은 검색엔진의 표준규격을 지키기 때문에 웹사이트 제작자는 방문자가 사람인지 구글인지 혹은 야후인지를 단번에 알아낼 수 있습니다. 거기에 맞추어서 다른 페이지를 보여줄 수도 있구요.
    아쉽지만 막을 방법은 없습니다. 이것은 기술의 문제라기 보다는 윤리의 문제입니다.

  4. Pingback: 블로그 나라 블로깅

하나의 댓글은 블로그를 풍성하게 만들 수 있습니다 :)