구글 검색, 성인 키워드 제한 시작과 칠링 이펙트

국내 검색 엔진 거의 전부가 성인 키워드의 인증 절차를 밟고 있는데 반해 구글 검색의 경우 해외 서비스라는 이유로 이에 해당되지 않았지만, 구글 코리아가 본격적으로 만들어지고 난 후 구글은 자사 검색엔진에 성인 키워드에 있어서 실명 인증하지 않으면 검색 결과를 보여주지 않게 됐다. 이는 구글 한국 블로그에 처음으로 알려졌다.

이와는 별도로 한국 정부는 법률에 위반되는 웹사이트를 자의적으로 해석, 각각의 검색엔진에서 관련 내용을 삭제토록 하고 있고, 구글과도 이를 공유하기 시작했다. 이에 구글은 미국에서 제공하는 서비스인 칠링 이펙트라는 반검열 비영리 단체의 링크를 한국 검색엔진에서 제공하고 있다.

구글 개인화 검색, 비즈니스 에디션

구글은 대부분의 서비스들이 무료지만, 광고 이외에도 몇가지 서비스는 기업용의 유료 상품이 존재한다. 특히 구글 애플리케이션은 구글의 유료 서비스 중 가장 유명할 것이다. 널리 알려지진 않았지만, 구글은 ASP용의 유료 검색인 구글 개인화 검색의 비즈니스 에디션을 조용히 론칭했다.

일반적으로 구글 검색을 기업에서 이용하기 위해선 구글 미니(Google Mini)라고 불리우는 하드웨어를 같이 구매해야 하지만, 이 상품은 ASP로 이용이 가능하고, 검색 결과를 XML로 받아와서 검색엔진을 꾸미는 행위도 공식적으로 허가한다.

드디어 구글 검색 디자인 변경, 그리고 진화하는 검색

구글 검색의 디자인은 한국인 황정목(데니스 황)씨가 전적으로 관리하고 있다. 심플한 그의 성격을 그대로 반영하듯이 구글의 홈페이지는 그 동안 수많은 변화 조짐에도 불구하고 전혀 변하지 않았지만, 구글의 부사장인 마리사 메이어(Marissa Mayer)는 구글 검색을 웹검색에서 유니버셜 검색으로 전환하면서 검색 전반의 디자인을 수정해 버렸다. 물론, 황정목씨의 승인이 있어야 하는 사항이지만, 전반적인 구글 프로덕트팀의 입김이 작용했을 것이라 추청된다.

이번 개편은 구글판 통합검색으로, 검색어에 따라서 구글이 가지고 있는 모든 데이터베이스를 보여준다는 점에서 네이버나 구글의 검색 결과와 비슷하다. 차이점이라면, 구글은 사용자의 편의를 최우선으로 하기 때문에, 모든 데이터를 보여주는 것이 아니라 사용자 검색 패턴에 맞는 정보를 보여준다는 점이 다르다고 할 수 있을 것이다.

구글의 데이터베이스에는 어떤 데이터가 들어가 있을까?

신문, 이미지, 비디오, 토론게시판, 주가, 영화, 음악 등 아마도 전세계에서 가장 많은 분야의 데이터를 소유하고 있을 것이다. 구글의 검색 서버만 해도 10만대를 가뿐히 넘어버리고 있는 상황.

구글은 통합검색으로 진화하면서, 구글 웹검색을 유니버셜 검색(universal search)으로 바꾸어 버렸고, 화면 상단에 구글의 중요 서비스를 나타내는 탭을 만들어서 끼워넣었다.

이로서 구글은 새로운 디자인에 기존의 원박스(검색 최상단에 필요한 정보를 한개만 보여주는 것)를 다중박스로 확장한 유니버셜 검색을 론칭했고, 그와 더불어 구글 연구소(Labs)에서는 사용자 UI를 테스트하기 위한 네가지 검색어군을 공개했다.

구글의 유니버셜 검색과 한국의 통합검색의 차이점은 무엇일까? 한국 포털들이 초창기부터 통합검색을 추진하고 있지만, 서비스 자체의 변화는 거의 없다. 있다고 하더라도 통합검색의 순서가 바뀌었거나 게시판이나 블로그 검색이 추가된 정도일 것이다. 둘의 차이라면 시간이 지나면서 개선이 되느냐 그렇지 않느냐로 바라볼 수 있을 것이다.

구글이 유니버셜 검색이라는 통합검색을 만들고, 한국 포탈들은 웹검색을 만드는 것은 무엇을 말하는 것일까?

p.s.

한국 구글 홈페이지는 변경되지 않았습니다. 영문 페이지를 보려면 구글 홈페이지 영문판을 클릭하세요.

공정한 구글 검색의 음모론

구글을 지지하는 사람들에게 그 이유를 묻는다면, 구글의 서비스가 공정하기 때문이라고 대답할 것이다. 적어도 한국에서라면 이 말은 상당한 진실을 담고 있다. 한국의 포탈들은 몇개의 키워드에 자사의 서비스를 최상위에 올려놓고 있다. 그리고, 검색의 상위에 노출되기 위해서 검색 결과를 조작한다고 믿고 있다.

구글의 검색엔진엔 많은 기능이 추가되고 있고, 거의 알려지지 않은 내용이지만 번역엔진과도 연동되어 있는 것 같다. 예를 들어서, “아이비엠”으로 검색하면 IBM 웹사이트가 검색된다. IBM은 자사의 상표를 영문 이니셜로 사용하고 있고, 아이비엠이라는 한글 용어는 사용하지 않는다. computer와 같은 검색어를 한글 설정을 한 후 결과를 보면 쉽게 알 수 있을 것이다.

자, 그럼 음모론을 만들어보자.

구글의 공식 명칭은 구글이 아닌 Google이고, 과거에는 사용했을지 몰라도, 지금은 한글 명칭인 “구글”이라는 용어를 사용하지 않는다. 그렇다면, 한글로 “구글”을 검색했을 경우 어떤 결과를 보여줄까?

결과 화면에는 영문 표기인 Google 대신 구글이 선명하게 나와있다. 그렇다면, “Google”로 검색하면 어떻게 될까?

구글 대신 Google로 대체된 것을 알 수 있다. 물론 도메인 주소는 www.google.co.kr으로 되어 있다. 현재 www.google.co.kr로 접속하면, 영문 표기로 나온다는 사실을 쉽게 알 수 있다.

정리하자면, 구글의 첫페이지가 구글로 검색할 경우 “구글”로 나오고, Google로 검색할 경우엔 “Google”로 나오게 된다. 구글 검색엔진의 인덱스 서버가 약 한달 간격으로 수정된다는 사실을 상기해 본다면, 이런 일이 어떻게 가능한 것인지 의아해질 수 밖에 없다.

P.S.
자동 번역이 검색엔진에 삽입되어 있는지는 알 수 없다. 그리고, 링크 점수로 순위를 메기는 페이지랭크 알고리즘으로 인해서, 링크 글자를 분석해서 순위 점수에 영향을 주는 것일 수도 있다.
하지만, 몇가지 영문이나 한글로 테스트를 해 보면, 자동 번역 기능이 구글 검색에 영향을 준다는 확신을 갖게 만든다.

구글의 100번 서버 검색 테스트

구글은 약 70개의 데이터센터를 보유하고 있고, 대부분 그들은 같은 알고리즘을 사용하기 때문에 시기의 차이는 있지만 기본적으로 검색결과가 같다. 하지만, 구글은 새로운 기능을 테스트할 때 한두개의 데이터센터에만 적용을 하는 경우가 있는데, 최근 Google Operation System 블로그에 따르면 100번 서버(72.14.207.100 - 현재는 )에서 흥미로운 기능을 볼 수 있다.

이번에 추가된 기능으로 검색결과에 구글 파이넨스의 결과를 숨김기능을 이용해서 노출해 준다. 공식적인 명칭은 정해지지 않았지만, 플러스 표시가 있다고 해서 “플러스 박스(Plus Box)”라고도 부르고, URL에 manybox가 표시된다고 해서 매니박스(ManyBox)라고도 부른다. 아무튼, 100번 서버에 접속해서 “phone company“로 검색해 보자.

위의 그림은 phone company로 검색한 후 플러스 아이콘을 클릭했을 때의 결과 화면이다. IBM과 같이 특정 기업을 검색하면 플러스 아이콘 없이 바로 첫검색어에 주식 관련 데이터가 노출된다.

이 데이터는 구글 파이넨스의 것을 차용하기 때문에 구글 파이넨스에 등록되지 않은 한국 증시의 경우는 노출되지 않지만, 부분적인 한글화는 진행되어 있으므로, 한글로 설정한 후 접속한다면 플러스 아이콘 설명이 한글이라는 사실을 알 수 있다.

한글판의 경우 기업 데이터가 영문이기 때문에 기업 요약과 링크만을 제공한다.

구글은 박스를 이용해서 검색결과를 손상시키지 않는 선에서 여러가지 서비스를 테스트하고 있으며, 동시에 한국에서 흔히 사용되는 부분별 검색도 별도의 검색엔진을 이용해서 테스트하고 있다.

구글 도서검색에 구글 맵 기능 추가

검색엔진 진화의 마지막 모습은 무엇일까? 구글 도서검색은 검색엔진의 미래 모습을 옅볼 수 있게 해준다.

최근 구글은 공식 블로그를 통해서 도서 검색에 구글 지도가 삽입되었다는 사실을 알렸는데, 이 기능이 깜찍하다. 길게 글로 설명하는 것 보다는 그림을 참고하는 것이 이해가 빠를 것이다. 우선 아래의 그림을 보도록 하자.

그림은 구글 도서 검색에서 어떤 책에 대한 설명을 캡처한 화면이다. 그림에는 구글 맵이 삽입되어 있는 것을 볼 수 있는데, 맵에는 책 안에 지역 이름이 나오는 곳의 페이지와 위치를 표시해 준다. 위치 부분을 클릭하면 페이지 단락이 나오고, 지명엔 굵은 글자체로 보기좋게 꾸며준다.

검색엔진의 역할은 어떤 콘텐츠가 위치한 링크를 찾아주는 것이지만, 구글 도서 검색은 책의 내용을 나누어서 다시 다른 콘텐츠와의 결합을 시도하고 있다. 만약, 전세계의 별지도를 보여주는 구글 갤럭시가 출시한다면 아마도 우주를 대상으로 하는 매쉬업도 탄생할런지 모른다.

한편, 한국어 지원 부분은 아직까지 어떤 작업도 되어 있지 않은 것으로 보인다. 구글 한국판 도서 검색은 여전히 도움말만이 나오고 있는 실정이다. 하지만, 구글의 도서 검색 프로젝트는 미국 대학 도서관과 공동으로 작업되기 때문에, 일부 한글로 된 책이 검색되는 경우는 있다.

한글 책이 구글 도서 검색의 색인에 포함된다 할지라도, 현재까지는 구글의 지도 서비스에 한글 데이터가 없기 때문에 이런 식의 연동은 불가능할 것이다.

구글 블로그 검색의 기술적인 발전

구글의 서비스 중에서 개발이 되는지 아닌지조차 알기 힘든 서비스들이 존재한다. 그 중 가장 더딘 업데이트를 보여주는 것이 블로그 검색이 것이다.

블로그만을 검색하는 서비스는 세계적으로 보아도 그리 활성화되어있지 못하다. 테크노라티나 최근 인기를 끌고 있는 스피어닷컴 정도가 이 부분의 높은 점유율을 보이고 있고, 구글 블로그 검색도 구글 뉴스에 추가되기 전까지는 전혀 사람들의 관심을 끌지 못했다.

하지만, 최근 구글 블로그 검색은 RSS와 같은 피드를 중심으로 기술적인 발전이 있었던 것으로 보인다. 구글 블로그 검색은 구글 리더와 블로거닷컴(Blogger) 등과 연동되고 있어서, 블로그 검색이 좋아지면 그를 이용한 서비스의 성능도 따라서 올라간다.

구글 블로그 검색의 성능 향상에 대한 증거는 이후에 설명할 두가지 사실로 미루어 짐작할 수 있다.

구글 개인화 홈페이지의 요약 기능

구글의 개인화 페이지에는 몇일 전 플러스 버튼이 추가되었다. 이 버튼을 누르면 제목 밑에 요약문을 볼 수 있기 때문에 마치 간단한 리더로 읽는 것과 같은 효과를 볼 수 있다.

블로거닷컴에 피드 앨리먼트 추가

구글 블로거가 최근 베타 딱찌를 떼고 난 후, 블로그를 꾸미는 템플릿 시스템의 대대적인 변화가 있었는데, 구글은 매우 복잡한 템플릿 시스템을 편리하게 만들기 위해 페이지 앨리먼트(element)라는 모듈을 만들었다.

앨리먼트를 이용하면 자신의 블로그에 피드를 직접 보여줄 수 있다. 5개 까지만 보여줄 수 있는 것은 아마도 저작권 때문인 것 같지만, 이 기능은 완성도가 매우 높고, 속도도 빠른 편이다.

다음 그림은 컴맹대왕님이 페이지 앨리먼트만을 이용해서 만든 뉴스 메타 블로그.

이 두가지의 핵심은 블로그 검색에 사용되는 피드를 구글이 거의 실시간으로 다룬다는데 있다. 실제로 구글 블로그 검색의 크롤링 시간, 말하자면 긁어오는 시간은 과거와 비교한다면 극적으로 단축되었다. 물론 한RSS와 같은 직접 피드 주소를 입력하는 서비스보다는 느리지만, 블로그 검색 서비스 중에서는 아마도 가장 빠른 수준인 것 같다.

한편, 네이버의 블로그 검색은 베타가 없어졌고, 외부 블로그 내용도 충실하게 보여주지만, 검색 결과는 그리 만족할만 한 수준은 아니다. 반면, 올블로그나 이올린의 검색은 성능이 매우 좋아졌다.

블로그도 일종의 홈페이지이기 때문에 블로그 검색이 따로 필요하냐라는 질문엔 아직 답을 할 수 없을 것이다. 그리고, 페이지랭크와 같은 만족할만 한 알고리즘도 나와있지 않다.

구글은 블로그 검색 자체보다는 검색 기술을 다른 서비스와 연동시키는 방향으로 연구를 하고 있고, 기능적으로 우수하다고 할 순 없지만, 가장 방대한 데이터를 다룰 수 있는 구글의 스토리지 기술 덕택에 이 부분에서 선두를 달릴 가능성은 매우 높은 편이다.

구글의 한국어 Q&A 서비스, 작동 불능

구글의 한국 공식 블로그를 통해 구글러 에릭 김(Eric Kim)은 자신의 최초 서비스로 “한국어 Q&A”가 론칭했다는 사실을 일반인에게 알렸다. 하지만, 팔글의 우연한 테스트로 에릭 김의 서비스는 몇일 만에 작동되지 않는다는 사실을 알 수 있었다.

구글 검색 내의 Q&A 서비스는 검색창의 키워드를 분석해서 정답이라고 생각하는 답을 검색 최상단에 알려주는 편리한 서비스이고, 영문의 경우 오래전부터 지원해 왔다. 에릭 김은 블로그에서, 한국어 Q&A 서비스를 만들 동안 고품질의 자료가 많지 않고, 있다 해도 접근이 막혀 있다고 언급했다.

한글 Q&A 서비스는 짦은 시간동안 많은 답변을 하진 못했지만, 연예인 생일 정도는 보여주었다. 하지만, 그마저도 현재는 작동을 완전히 멈추었다. 구글이 제공하는 Q&A 서비스의 예시는 “문근영 생일”이라는 쿼리인데, 이 쿼리로는 아무런 답변을 받을 수 없다.

[##_1C|bk49.jpg|width=”500″ height=”379″ alt=”한국어 Q&A 작동되지 않는다”|_##]

이 서비스는 몇일간은 작동됐지만, 연예인 생일 이외에는 답변을 받을 수 없었다. 아마도, 한국어로 된 DB가 많지 않아서 일 것이다. 덧붙여 말하자면, 한글 계산기나 환율변환은 작동되는 것을 확인할 수 있었다.

아무튼, 이번 일은 에릭 김의 굴욕으로 불릴 만 하지 않을까?
Update20070123
한글 Q&A서비스가 다시 정상가동 되었습니다.(luzluna님 감사~)