이와는 별도로 한국 정부는 법률에 위반되는 웹사이트를 자의적으로 해석, 각각의 검색엔진에서 관련 내용을 삭제토록 하고 있고, 구글과도 이를 공유하기 시작했다. 이에 구글은 미국에서 제공하는 서비스인 칠링 이펙트라는 반검열 비영리 단체의 링크를 한국 검색엔진에서 제공하고 있다.

칠링 이펙트(chilling effects)란 겁주기 효과라고도 번역하는데, 원용진 교수는 이 효과를 다음과 같이 설명하고 있다.

이는 규제하는 법이 만들어지면 사람들이 법 때문에 얼어버려서, 규제에 맞게 이용하는 것이 아니라 아예 이용을 안해버리는 것이다. 그렇게 되면, 정치적으로 문제가 있어도 민의를 소통시킬 수 있는 광장이 형성되지 않는다.

웹사이트 칠링 이펙트가 하는 역할은 정부 등 삭제된 페이지의 원본을 별도로 저장하여 보여준다. 웹페이지가 인터넷에서 삭제되는 이유는 저작권에 관련된 이슈가 가장 많지만, 그 밖에 한국의 경우 성인물이나 욕이 심하게 들어간 사이트도 그 대상에 포함된다. 한국의 청소년 보호법은 이런 일을 하기에 적당한 근거가 되고 있기도 하다.

구글 검색에서 일반적인 성인 검색어로 검색하면 최하단에 다음과 같은 문구를 볼 수 있을 것이다.

이 메세지는 검색어 인증과는 별도로 웹사이트의 필터링이 이루어진다는 의미이고, 아쉽게도 구글이 제공하는 링크를 따라가면 관련 문서가 없다는 메세지가 나오지만, 검열을 요청한 기관이 Korea Internet Safety Commission 이라고 나온다.

사실 구글의 이와 같은 조치는 저작권 때문에 생긴 것이지만, 한국 정부가 저작권 위반으로 웹사이트를 삭제시키지는 않을 것이므로, 구글 본사의 검색팀이 무언의 불만을 표시하는 것으로 밖에는 해석되지 않을 것이다.

일반적으로 구글 검색을 기업에서 이용하기 위해선 구글 미니(Google Mini)라고 불리우는 하드웨어를 같이 구매해야 하지만, 이 상품은 ASP로 이용이 가능하고, 검색 결과를 XML로 받아와서 검색엔진을 꾸미는 행위도 공식적으로 허가한다.

구글 개인화 검색은 개인의 경우 무료로 이용할 수 있고, 애드센스 계정을 연결해서 수익을 올릴 수도 있다는 점에서 애드센스의 검색용 애드센스와 비슷한 면이 있다. 하지만, 애드센스 버젼에 비해서 구글 개인화 검색은 더 많은 옵션을 사용자에게 제공한다. 이 부분은 팔글에서 리뷰한 이전 글인 “구글 검색엔진을 내가 만든다, 업그래이드 구글 쿱(Co-op)”을 참조하길 바란다.

구글 개인화 검색의 비즈니스 에디션은 무료 버젼과 크게 다르다. 1년에 미화 100불을 구글 체크아웃으로 지불하면 사용할 수 있는 비즈니스 에디션의 가장 큰 차이점은 검색 결과를 XML로 제공한다는 점이다. 이것은 이 제품을 이용해서 전혀 새로운 디자인의 검색 엔진을 사용자에게 서비스할 수 있다는 의미다.

구글 검색의 결과값을 받아서 새로운 디자인을 입히는 것이 지금도 해킹으로 가능하고, 지금은 지원하진 않지만, 구글 검색 API를 이용해서 비슷한 효과를 낼 수 있었다. 하지만, 이 모든 행위는 구글이 공식적으로 지원하지 않는 편법이며, 가끔 이런 식의 서비스는 구글에 의해 막히기도 한다.

XML을 사용할 수 있다는 점은 매력적이지만, 이 제품의 치명적인 단점은 웹검색을 지원하지 않고, 애드센스를 넣을 수도 없다는 점이다. 즉, 구글 개인화 검색의 비즈니스 에디션을 사용하게 되면, 자체 웹사이트만을 검색할 수 있으며, 외부 사이트는 검색 대상에서 제외된다. 그리고, 애드센스를 넣어 수익을 올릴 수도 없다.

자체 검색엔진을 운영하고 싶은 기업에게 좋은 솔루션이 될 것으로 보이며, 현재 이 제품의 가격은 5,000페이지뷰가 1년에 100달러, 50000페이지뷰가 500달러이고, 그 이상은 구글에 직접 연락해야 한다.

이번 개편은 구글판 통합검색으로, 검색어에 따라서 구글이 가지고 있는 모든 데이터베이스를 보여준다는 점에서 네이버나 구글의 검색 결과와 비슷하다. 차이점이라면, 구글은 사용자의 편의를 최우선으로 하기 때문에, 모든 데이터를 보여주는 것이 아니라 사용자 검색 패턴에 맞는 정보를 보여준다는 점이 다르다고 할 수 있을 것이다.

구글의 데이터베이스에는 어떤 데이터가 들어가 있을까?

신문, 이미지, 비디오, 토론게시판, 주가, 영화, 음악 등 아마도 전세계에서 가장 많은 분야의 데이터를 소유하고 있을 것이다. 구글의 검색 서버만 해도 10만대를 가뿐히 넘어버리고 있는 상황.

구글은 통합검색으로 진화하면서, 구글 웹검색을 유니버셜 검색(universal search)으로 바꾸어 버렸고, 화면 상단에 구글의 중요 서비스를 나타내는 탭을 만들어서 끼워넣었다.

이로서 구글은 새로운 디자인에 기존의 원박스(검색 최상단에 필요한 정보를 한개만 보여주는 것)를 다중박스로 확장한 유니버셜 검색을 론칭했고, 그와 더불어 구글 연구소(Labs)에서는 사용자 UI를 테스트하기 위한 네가지 검색어군을 공개했다.

구글의 유니버셜 검색과 한국의 통합검색의 차이점은 무엇일까? 한국 포털들이 초창기부터 통합검색을 추진하고 있지만, 서비스 자체의 변화는 거의 없다. 있다고 하더라도 통합검색의 순서가 바뀌었거나 게시판이나 블로그 검색이 추가된 정도일 것이다. 둘의 차이라면 시간이 지나면서 개선이 되느냐 그렇지 않느냐로 바라볼 수 있을 것이다.

구글이 유니버셜 검색이라는 통합검색을 만들고, 한국 포탈들은 웹검색을 만드는 것은 무엇을 말하는 것일까?

p.s.

한국 구글 홈페이지는 변경되지 않았습니다. 영문 페이지를 보려면 구글 홈페이지 영문판을 클릭하세요.

구글의 검색엔진엔 많은 기능이 추가되고 있고, 거의 알려지지 않은 내용이지만 번역엔진과도 연동되어 있는 것 같다. 예를 들어서, “아이비엠”으로 검색하면 IBM 웹사이트가 검색된다. IBM은 자사의 상표를 영문 이니셜로 사용하고 있고, 아이비엠이라는 한글 용어는 사용하지 않는다. computer와 같은 검색어를 한글 설정을 한 후 결과를 보면 쉽게 알 수 있을 것이다.

자, 그럼 음모론을 만들어보자.

구글의 공식 명칭은 구글이 아닌 Google이고, 과거에는 사용했을지 몰라도, 지금은 한글 명칭인 “구글”이라는 용어를 사용하지 않는다. 그렇다면, 한글로 “구글”을 검색했을 경우 어떤 결과를 보여줄까?

결과 화면에는 영문 표기인 Google 대신 구글이 선명하게 나와있다. 그렇다면, “Google”로 검색하면 어떻게 될까?

구글 대신 Google로 대체된 것을 알 수 있다. 물론 도메인 주소는 www.google.co.kr으로 되어 있다. 현재 www.google.co.kr로 접속하면, 영문 표기로 나온다는 사실을 쉽게 알 수 있다.

정리하자면, 구글의 첫페이지가 구글로 검색할 경우 “구글”로 나오고, Google로 검색할 경우엔 “Google”로 나오게 된다. 구글 검색엔진의 인덱스 서버가 약 한달 간격으로 수정된다는 사실을 상기해 본다면, 이런 일이 어떻게 가능한 것인지 의아해질 수 밖에 없다.

P.S.
자동 번역이 검색엔진에 삽입되어 있는지는 알 수 없다. 그리고, 링크 점수로 순위를 메기는 페이지랭크 알고리즘으로 인해서, 링크 글자를 분석해서 순위 점수에 영향을 주는 것일 수도 있다.
하지만, 몇가지 영문이나 한글로 테스트를 해 보면, 자동 번역 기능이 구글 검색에 영향을 준다는 확신을 갖게 만든다.

이번에 추가된 기능으로 검색결과에 구글 파이넨스의 결과를 숨김기능을 이용해서 노출해 준다. 공식적인 명칭은 정해지지 않았지만, 플러스 표시가 있다고 해서 “플러스 박스(Plus Box)”라고도 부르고, URL에 manybox가 표시된다고 해서 매니박스(ManyBox)라고도 부른다. 아무튼, 100번 서버에 접속해서 “phone company“로 검색해 보자.

위의 그림은 phone company로 검색한 후 플러스 아이콘을 클릭했을 때의 결과 화면이다. IBM과 같이 특정 기업을 검색하면 플러스 아이콘 없이 바로 첫검색어에 주식 관련 데이터가 노출된다.

이 데이터는 구글 파이넨스의 것을 차용하기 때문에 구글 파이넨스에 등록되지 않은 한국 증시의 경우는 노출되지 않지만, 부분적인 한글화는 진행되어 있으므로, 한글로 설정한 후 접속한다면 플러스 아이콘 설명이 한글이라는 사실을 알 수 있다.

한글판의 경우 기업 데이터가 영문이기 때문에 기업 요약과 링크만을 제공한다.

구글은 박스를 이용해서 검색결과를 손상시키지 않는 선에서 여러가지 서비스를 테스트하고 있으며, 동시에 한국에서 흔히 사용되는 부분별 검색도 별도의 검색엔진을 이용해서 테스트하고 있다.

최근 구글은 공식 블로그를 통해서 도서 검색에 구글 지도가 삽입되었다는 사실을 알렸는데, 이 기능이 깜찍하다. 길게 글로 설명하는 것 보다는 그림을 참고하는 것이 이해가 빠를 것이다. 우선 아래의 그림을 보도록 하자.

그림은 구글 도서 검색에서 어떤 책에 대한 설명을 캡처한 화면이다. 그림에는 구글 맵이 삽입되어 있는 것을 볼 수 있는데, 맵에는 책 안에 지역 이름이 나오는 곳의 페이지와 위치를 표시해 준다. 위치 부분을 클릭하면 페이지 단락이 나오고, 지명엔 굵은 글자체로 보기좋게 꾸며준다.

검색엔진의 역할은 어떤 콘텐츠가 위치한 링크를 찾아주는 것이지만, 구글 도서 검색은 책의 내용을 나누어서 다시 다른 콘텐츠와의 결합을 시도하고 있다. 만약, 전세계의 별지도를 보여주는 구글 갤럭시가 출시한다면 아마도 우주를 대상으로 하는 매쉬업도 탄생할런지 모른다.

한편, 한국어 지원 부분은 아직까지 어떤 작업도 되어 있지 않은 것으로 보인다. 구글 한국판 도서 검색은 여전히 도움말만이 나오고 있는 실정이다. 하지만, 구글의 도서 검색 프로젝트는 미국 대학 도서관과 공동으로 작업되기 때문에, 일부 한글로 된 책이 검색되는 경우는 있다.

한글 책이 구글 도서 검색의 색인에 포함된다 할지라도, 현재까지는 구글의 지도 서비스에 한글 데이터가 없기 때문에 이런 식의 연동은 불가능할 것이다.

블로그만을 검색하는 서비스는 세계적으로 보아도 그리 활성화되어있지 못하다. 테크노라티나 최근 인기를 끌고 있는 스피어닷컴 정도가 이 부분의 높은 점유율을 보이고 있고, 구글 블로그 검색도 구글 뉴스에 추가되기 전까지는 전혀 사람들의 관심을 끌지 못했다.

하지만, 최근 구글 블로그 검색은 RSS와 같은 피드를 중심으로 기술적인 발전이 있었던 것으로 보인다. 구글 블로그 검색은 구글 리더와 블로거닷컴(Blogger) 등과 연동되고 있어서, 블로그 검색이 좋아지면 그를 이용한 서비스의 성능도 따라서 올라간다.

구글 블로그 검색의 성능 향상에 대한 증거는 이후에 설명할 두가지 사실로 미루어 짐작할 수 있다.

구글 개인화 홈페이지의 요약 기능

구글의 개인화 페이지에는 몇일 전 플러스 버튼이 추가되었다. 이 버튼을 누르면 제목 밑에 요약문을 볼 수 있기 때문에 마치 간단한 리더로 읽는 것과 같은 효과를 볼 수 있다.

블로거닷컴에 피드 앨리먼트 추가

구글 블로거가 최근 베타 딱찌를 떼고 난 후, 블로그를 꾸미는 템플릿 시스템의 대대적인 변화가 있었는데, 구글은 매우 복잡한 템플릿 시스템을 편리하게 만들기 위해 페이지 앨리먼트(element)라는 모듈을 만들었다.

앨리먼트를 이용하면 자신의 블로그에 피드를 직접 보여줄 수 있다. 5개 까지만 보여줄 수 있는 것은 아마도 저작권 때문인 것 같지만, 이 기능은 완성도가 매우 높고, 속도도 빠른 편이다.

다음 그림은 컴맹대왕님이 페이지 앨리먼트만을 이용해서 만든 뉴스 메타 블로그.

이 두가지의 핵심은 블로그 검색에 사용되는 피드를 구글이 거의 실시간으로 다룬다는데 있다. 실제로 구글 블로그 검색의 크롤링 시간, 말하자면 긁어오는 시간은 과거와 비교한다면 극적으로 단축되었다. 물론 한RSS와 같은 직접 피드 주소를 입력하는 서비스보다는 느리지만, 블로그 검색 서비스 중에서는 아마도 가장 빠른 수준인 것 같다.

한편, 네이버의 블로그 검색은 베타가 없어졌고, 외부 블로그 내용도 충실하게 보여주지만, 검색 결과는 그리 만족할만 한 수준은 아니다. 반면, 올블로그나 이올린의 검색은 성능이 매우 좋아졌다.

블로그도 일종의 홈페이지이기 때문에 블로그 검색이 따로 필요하냐라는 질문엔 아직 답을 할 수 없을 것이다. 그리고, 페이지랭크와 같은 만족할만 한 알고리즘도 나와있지 않다.

구글은 블로그 검색 자체보다는 검색 기술을 다른 서비스와 연동시키는 방향으로 연구를 하고 있고, 기능적으로 우수하다고 할 순 없지만, 가장 방대한 데이터를 다룰 수 있는 구글의 스토리지 기술 덕택에 이 부분에서 선두를 달릴 가능성은 매우 높은 편이다.

구글 검색 내의 Q&A 서비스는 검색창의 키워드를 분석해서 정답이라고 생각하는 답을 검색 최상단에 알려주는 편리한 서비스이고, 영문의 경우 오래전부터 지원해 왔다. 에릭 김은 블로그에서, 한국어 Q&A 서비스를 만들 동안 고품질의 자료가 많지 않고, 있다 해도 접근이 막혀 있다고 언급했다.

한글 Q&A 서비스는 짦은 시간동안 많은 답변을 하진 못했지만, 연예인 생일 정도는 보여주었다. 하지만, 그마저도 현재는 작동을 완전히 멈추었다. 구글이 제공하는 Q&A 서비스의 예시는 “문근영 생일”이라는 쿼리인데, 이 쿼리로는 아무런 답변을 받을 수 없다.

[##_1C|bk49.jpg|width="500" height="379" alt="한국어 Q&A 작동되지 않는다"|_##]

이 서비스는 몇일간은 작동됐지만, 연예인 생일 이외에는 답변을 받을 수 없었다. 아마도, 한국어로 된 DB가 많지 않아서 일 것이다. 덧붙여 말하자면, 한글 계산기나 환율변환은 작동되는 것을 확인할 수 있었다.

아무튼, 이번 일은 에릭 김의 굴욕으로 불릴 만 하지 않을까?
Update20070123
한글 Q&A서비스가 다시 정상가동 되었습니다.(luzluna님 감사~)

페이지랭크는 구글이 사용하는 검색 순위에 많은 영향을 미치는 일종의 알고리즘으로, 페이지랭크 값이 높으면 검색엔진의 상위 랭크가 가능하다. 그리고, 구글의 한국 공식 블로그의 메인페이지 랭크 값이 7이기 때문에 멀지 않아 7값을 갖는 블로그가 출현할 가능성도 있다.

하지만, 최근 ZDNET에서 야심차게 준비한 ZDNET 전문블로그 서비스는 블로그스피어 전체적인 페이지랭크 값을 올리는데 일조할 가능성이 매우 높다. ZDNET 메인페이지의 랭크 값은 네이버, 다음보다 높은 무려 8점을 받고 있다. ZDNET 한국 서비스의 랭크값이 높은 이유는 ZDNET 영문페이지에 직접 링크를 받고 있기 때문으로, ZDNET 영문의 메인페이지는 랭크 9를 받고 있다.

현재까지 ZDNET 전문블로그는 ROBOT.txt으로 막아놓은 네이버 블로그를 제외한다면, 팔글을 포함해서 ENTClic@blog, 피플웨어, 스마트플레이스, 왕멀 블로그 그리고 Inuit Blogged. 이들 블로그의 현재 페이지랭크 값도 상당히 높은 편이기 때문에 ZDNET의 링크가 오랫동안 살아있다면 현재의 랭크 6을 받고 있는 네이버나 랭크 7인 다음보다 높은 점수를 받는 블로그의 출현도 불가능하진 않다.

외국의 경우 페이지랭크 값을 올리기 위해 유료 광고를 진행하는 경우도 있다. 웹 표준을 만들어가는 월드 와이드 웹 컨소시움의 경우 최고 점수인 10점을 받고 있는데, W3C는 페이지랭크 9점짜리 페이지에 1년 고정링크 광고를 년 1000달러를 받고 팔고 있다. 이 광고 페이지는 웹사이트 이름과 링크만 제공한다는 점을 상기한다면, 완전히 페이지랭크 상품이라고 할 수 있을 것이다.

구글의 시장 점유율이 높은 외국의 경우, 페이지랭크에 유리하다는 이유로 기업 홍보창구로 블로그를 활용하고 있다. 반면, 한국은 웹검색이 거의 활성화되어 있지 않아서 큰 의미는 없을 것이다.

아무튼, ZDNET의 이번 기획은 한국 블로고스피어의 페이지랭크 값을 올리게 될 것이고, 장기적으로는 구글과 야후 검색결과의 상위에 블로그 노출이 더욱 많아지리라는 시나리오를 그릴 수 있을 것이다.

그런 애스크닷컴이 최근 유니코드로 서비스를 전환하고 있다. 현재 팔글에서 확인한 바로는 애스크닷컴 영문판에 한글 검색이 가능하고, 일본의 경우 독립 도메인으로의 서비스가 이루어지고 있다. 애스크 재팬은 영문 서비스와는 약간 틀린데, 영문판의 경우 구글과 굉장히 흡사한데 반해, 일본판의 경우 개인화 검색이 약간은 가미된 것으로 보인다.

애스크닷컴의 검색 결과는 훌륭하지만, 구글은 최근 웹마스터 툴의 등장으로 웹사이트를 자사 검색엔진에 포함하는 시간이 매우 짦아졌다는데 반해 애스크닷컴의 경우 웹사이트가 검색이 되기 까지 걸리는 시간이 너무 오래걸리는 단점이 있다. 또한, 애스크닷컴은 웹사이트를 검색에 포함되도록 하는 별다른 장치가 없기 때문에 이미 포함된 웹사이트에 링크를 걸어 놓고 짦지 않은 시간을 기다려야 하는 단점도 있다.

놀라운 점은, 애스크닷컴은 사용자들의 사랑을 받고 있으며, 쉽지 않은 서비스들이 지속적으로 추가되고, 글로벌화와 일본에서의 성공적인 런칭을 진행했다는 점이다.

애스크닷컴은 IAC/InterActiveCorp(나스닥 상장:IACI)에 인수된 후 지브스군을 버리는 가슴아픈 일도 있었다. 한편, 모회사는 블로그라인스, 익사이트, 에비타 등의 회사를 소유하고 있다.

이래저래 놀라움을 주는 애스크닷컴이 구글과의 정면승부에서 어떤 모습을 보일지 기대된다.