MS가 파워셋을 인수한다고?

관련기사 : "MS, 자연어 검색 '파워셋' 인수 추진"

한참 야후에 추파를 던지던 MS가 파워셋을 인수한다는 보도가 나왔다. MS가 몇년전부터 인터넷 사업전략을 수정하면서 북유럽 출신의 검색엔진 전문업체였던 'FAST'를 인수하는 등 검색기술 확보에 사운을 걸었다 싶을 만큼 인수합병에 적극 나서고 있다.

검색엔진 기술이라는 것은 일정수준까지는 진입장벽이 거의 없다 싶을 만큼 기술자체가 어렵다기 보다는 축적된 연구개발 성과에서 새롭고 개선된 엔진을 만들 수 있는 성격의 기술이다.

어느날 갑자기 검색엔진의 강자가 되고 싶다면, MS로서는 남아도는 현금을 쏟아부어서 전문기업을 사들이는 것이 어쩌면 해결책이 될 수 있다.


왜 파워셋인가?

잘 알려진대로 파워셋은 자연어검색을 표방하는 업체이다. 이미 ask.com이나 hakia.com과 같은 유사한 성격의 업체가 있는데도 파워셋을 선택한 것은 파워셋의 자산이 큰 영향을 준것은 아닌가 싶다.

파워셋은 2005년에 창립하였고, 2007년 2월, PARC(Palo Alto Research Center, Inc.  - 구 Xerox PARC)로부터 NLP 관련 특허, 원천기술, 인력 추가 확보하였다.¹

파워셋의 서비스 목표는 다음과 같다.
 - 대량의 컨텐츠로부터 의미 정보를 추출하는 것
 - 추출된 의미정보간의 관계를 매핑(Relation 규명)하는 것
 - 추출된 의미정보의 가치 평가

파워셋이 가지고 있는(있다고 주장하는)기술은 자연언어처리 기술( 형태소/구문/의미 분석 등), 의미사전 구축 기술(Ontology, Topic Map 등), 인공지능 기술(추론, 판단, 학습 등) 등이다.

자연어 질의어 문장 처리 가능 (e.g. Who did IBM acquire in 2003? )한 상태인데, 단순 Term Matching이 아닌 자연어처리로 정확도를 높이는 방식이다.

하지만, 사용자의 질의어로부터 충분한 정보를 얻지 못하면, 검색결과가 기존 검색엔진과 차이가 없다. 기존의 Ask.com 과 같은 자연어 검색엔진과 유사한 성능으로 보여지는데, 상용화 수준의 추론엔진이 결합된다면, 검색엔진의 패러다임을 바꿀 수 있을 것으로 보여진다.


그렇다면...

hakia.com이나 ask.com 같은 사이트처럼 2003년에 IBM이 인수한 회사에 대한 정보를 알고 싶다면 일반적으로 'IBM', '인수', '2003' 정도의 키워드를 묶어서 검색을 해본다. 실제로 이렇게 키워드를 입력한 경우 대부분의 검색엔진에서 정확한 검색결과를 기대하기는 어렵다.

구문관계나 질의어 문장에 대한 이해(?)를 바탕으로 검색을 하다보니, 구글과 같은 키워드 검색보다 정확한 검색결과를 제공할 수 있고, 앞으로는 이러한 자연어검색이 대세가 될 것이라고 파워셋은 주장한다.

자연어검색은 사용자의 정보요구를 명확히 할 수록 정보를 잘 찾아 줄 수 있다고 하는 컨셉에서 출발했다고 볼 수 있다. 자연어검색이라고 하면 우리나라는 이미 엠파스 등에서 써먹은(?) 한물간 기술로 생각할 수 있지만, 국내에서 실제로 자연어검색을 특정 도메인이 아닌 Public Domain을 대상으로 제공하는 서비스는 없다고 해도 과언이 아니다.

앞으로 진부하지만 좀 더 나은 검색엔진을 위해 자연어 질의어를 처리할 수 있는 검색이 등장할 수 있으면 좋겠다.



 마루날의 雜學辭典을 구독하세요~

Searchme Visual Search (http://beta.searchme.com)

Searchme는 재미있는 검색엔진이다. 아니 생각보다 매우 유용한 검색엔진이다.

검색창에 질의어를 입력하면, 한자 한자 입력될 때 마다 질의어 입력창 아래에 관련된 분야가 다이내믹하게 보여주어서, 사용자가 필요에 따라서 원하는 분야를 선택할 수 있도록 도와준다.

검색결과가 ipod touch의 UI와 유사하다. 마우스로 아래의 슬라이드를 움직이거나 키보드의 방향키를 조작하면 내용이 변경된다.

정확하게 기억이 나지 않는데, 국내에서도 예전에 비슷한 서비스가 있었는데, 검색에서 절대 빠질 수 없는 프로세스가 질의어 입력 후 'click & browsing'¹ 이다.

사용자가 검색결과에서 원하는 정보를 찾기 위해서 무한 반복해야 하는 어쩔 수 없고, 필요악과 같은 과정인 'Click & Browsing'과정을 다음과 같은 멋진 visual한 결과로 보여줘서 사용자가 쉽고 편리하게 원하는 정보를 찾을 수 있도록 도와준다는 것은 놀라운 발상의 전환으로 보여진다.

단순히 웹 페이지를 보여준다고 생각할 수도 있지만, 텍스트에 비해서 이미지로 보여지는 내용(눈으로 확인 가능한..)을 보여주는 것이 훨씬 효율적이다.

물론, 검색결과의 텍스트 버전도 함께 제공한다.

실제로 여러가지 키워드를 가지고 사용해 보니, searchme는 상품검색과 이미지 검색 2가지 분야에서 경쟁력이 있을 것으로 보여진다. 아.. 사용하고 나니 searchme는 Visual search가 아니라  Preview Search가 맞는 것 같다.


그렇다면...

검색엔진을 만들어서 서비스를 제공하는 것은 생각보다 어렵지 않다. 다만 '정확한' 검색엔진을 만들고, '사용하기 편리한' 서비스를 만들기 위해서는 너무나 많은 부분의 디테일까지 고려를 해야 한다.

검색엔진이 아무리 정확하게 만든다고 해도 여러개의 검색결과에서 사용자가 직접 본인 찾는 정보인지를 확인해야 하는 'click & browsing'을 Visual하게 대체할 수 있다면, '정확한' 검색엔진 이상의 효과를 발휘할 것 같다.

통합검색만이 한국형 검색이라고 하는 기형적인 검색 UI만이 존재하는 국내의 현실에서 Searchme와 같은 발상의 전환이 되는 검색엔진이 우리들 앞에 모습을 드러내기를 목이 빠져라 기다려 본다.




 마루날의 雜學辭典을 구독하세요~

Social Search가 돈이 된다.

네이버가 절대 무너지지 않을 것 같은 1위의 성을 쌓게 해준 주춧돌이 지식in 서비스라고 생각한다. 불특정 다수의 인터넷 사용자들에게 질문을 하면 그들이 답변해준다는 컨셉은 지식in 이전에도 있었지만, 절묘한 마케팅과 트래픽의 힘이 작용하면서 폭발적인 결과를 얻어내었다.

지식in같은 서비스를 일명 social search라고 부르기도 하는데, 지식in의 성공(?) 이후로 국내외에서 이런 형태의 서비스로 비즈니스가 가능하다는 것이 증명되면서 다양한 형태의 시도가 생겨났다.


Types of Collective Intelligence

최근에는 단순한 Q&A 형태의 social search와 비슷하지만, 사용자들간의 Interaction에 초점을 맞춘 집단지성(collective Intelligence)과 관련된 검색서비스가 국내에도 출현하고 있다.


제임스 시로위키가 지은 대중의 지혜(The Wisdom of Crowds)라는 책을 보면, collective intelligence에 대한 재미있는 예가 나온다.


소와 관련된 축제에서 소의 무게를 맞추는 시합(?) 같은 것을 해보면, 소위 전문가들은 정답에서 한참 벗어난 반면에 잘 모르는 일반인들의 추측을 모으면 거의 정답에 가깝다는 이야기가 나온다.

어떻게 전문가들보다 일반 대중이 더 정확할 수 있었을까? 에 대해서 제임스 시로위키는 일반 대중의 다양성과 개인으로서의 독립성이 조화된 결과라고 이야기한다.

(짧은 영어실력으로 원서를 봐서 내용이 왔다 갔다합니다. 용서해주세요 ^^)

이런 collective intelligence를 위키노믹스¹ 라는 이름으로 경영에 활용하는 기업들도 있다. (e.g. 뱅앤올롭슨, P&G 등)


국내 Collective Intelligence 검색 동향

최근 국내에서 선보이고 있는 Collective Intelligence 검색 서비스를 살펴보면 다음과 같다.

WISIA (http://www.wisia.com)
 - 대중의 지혜로 쌓인 추천정보
 - 현재 closed beta 테스트 중임
 - 전 NHN 김범수 대표의 작품(?)


위스푼 (http://www.wispoon.com)
 - 실시간 지혜상호교류
 - 변형된 Q&A 방식
 - 인지과학과 자연언어처리 관련 기술을 녹이고 있음
 - 서울대 박근수 교수팀에서 만든 위스폰과 이름이 비슷..그러나 위스푼이 먼저임 ^^


레비서치 (http://www.rebi.co.kr)
 - 신뢰도 기반의 집단지성 분석모델을 통해 랭킹화하는 기술을 적용(홈피내용 참고)
 - 서울대 재학생 중심의 검색 벤처
 - 아직 오픈 전임


그렇다면...

결국 collective intelligence를 구현하기 위한 핵심적인 컨셉은 일반 대중으로부터 나오는 다양하고 독창적인 의견이나 생각을 어떻게 끌어내서 통합하고 거기서 어떻게 최적의 결과를 낼 것인지 라고 한다.

social search의 아류 취급을 받기도 하지만, 어찌되었건 대중의 지혜를 모아보겠다는 컨셉을 잘 살려서 새로운 대안 검색엔진이 탄생하기를 바란다.



 마루날의 雜學辭典을 구독하세요~

Spock(http://www.spock.com/)

스포크라고 하면 나는 스타트랙에 나왔던 사람이 생각난다. 공간이동장치며, 우주선 엔터프라이즈호.. 그리소 이분이 생각난다. ^^ 발칸별이라는 행성의 스포크 박사...ㅎㅎ

spock 서비스는 'single point of contact and knowledge’의 약자이다.
한마디로 '인물검색'서비스 이다.

사용해보니..


Spock 서비스는 유명인만을 대상으로 하는 서비스가 아니라, 웹에 있는 정보를 사람을 기준으로 정리하고 검색할 수 있도록 제공해주는 서비스이다.


특정 지역을 검색어로 입력하면 관련된 인물 정보가 나오게 되는데 'seoul'을 검색어로 입력했을 때, FC Seoul의 선수들이 처음에 많이 나오는 것을 볼 수 있는데, 난데 없이 노태우의 얼굴이 나와서 깜짝 놀랐다.


그렇다면...

인물에 대한 정보를 찾아주는 서비스는 아주 예전부터 있어왔던 서비스이다. 하지만, 기존 서비스의 문제는 대부분의 서비스가 유명인을 대상으로 하는 서비스라는 것이다.

spock 서비스는 사람을 전문으로 찾는 것이지, 유명인만을 위한 서비스는 아니다. 미국에서 비지니스 하는 분에 이야기를 들어보면, 미국이라는 나라가 워낙 넓다보니 전국적으로 유명한 사람은 정말 소수이고 대부분 한정된 사람을 알고 있다고 한다.

우리나라야 워낙 좁아서 몇 사람 건너면 대부분의 사람을 알 수 있는 것과 달리 미국에서는 유용한 서비스이고 이미 유사한 서비스들이 존재하고 있다고 한다. [ 관련기사 ]

개인적으로 이 서비스에 대해서는 배경이 되는 기술에 관심이 많다.

현재의 검색엔진 구조는 문서와 단어의 관계가 핵심이다.

어떤 정보의 의미를 언어적으로 표현하는 것이 단어이지만, 문서와 단어의 관계는 의미적인 관계가 아닌 단순한 포함여부나 위치, 횟수의 정보만을 가지고 검색에 활용하게 된다. 그래서 어떤 정보가 가진 의미적인 상관관계를 이해하고 반영할 수 없는 구조이다.¹

이 spock 서비스는 사람을 기준으로 정보를 정렬한다는 아주 명쾌한 컨셉을 기술로 구현하여 비즈니스를 전개하고 있다. 사이트만 봐서는 어떤 비즈니스 모델을 가져 가는지는 잘 모르지만, 뭔가 새롭고 대안이 될 수 있는 검색엔진인 것 같다.



 마루날의 雜學辭典을 구독하세요~

스도쿠 문서검색(http://sdocu.synap.co.kr)

스도쿠 ?
가로 9칸, 세로 9칸으로된 사각형에 1부터 9까지의 숫자를 채워 넣는 퍼즐을 말하는 건가?


사용해보니...

검색을 해보면 질의어에 해당하는 문서를 찾아서 결과로 제공하고 있다.

검색결과에서 HTML로 보기를 누르면, 다음과 같은 창이 pop-up된다.

HTML보기를 통해서 현재 지원하고 있는 문서의 포맷은 MS-Office파일, HWP,  PDF 이다.

문서검색은 결국 내가 필요한 정보를 이 문서가 가지고 있는지가 관건인데, 이럴때 문서필터를 통해서 HTML로 미리 볼 수 있다는 것은 매우 유용한 서비스이다. 다만, 모든 문서에 대해서 제공하지 않는 것은 정책적인 이슈인 듯 하다.

그리고 대용량이라고 하기에는 아직 수집하여 갖고 있는 문서의 량이 많지 않아 보인다. 검색결과에 중국어나 일본어까지 나오는 것은 글로벌하게 검색서비스를 제공한다는 의도일 수 있지만, 안그래도 적은 한글문서가 더 적어보인다.

향후 다양한 검색옵션에서 다국어 또는 찾고자 하는 대상 언어를 선택할 수 있는 기능이 포함되기를 기대해 본다.

검색결과를 보면 복합명사나 띄어쓰기 또는 복수개의 질의어에 대한 처리가 아직은 미숙해 보이는데, 향후에 반영이 될 것으로 보여진다.

문서검색을 할 때 중요한 기술 이슈 중 하나인 유사문서 또는 동일문서에 대한 구분을 해주었으면 한다. 가능하다면 클러스터링 기술을 적용해서 검색결과를 보여준다면 좋겠다.


그렇다면...

문서검색이라는 것은 새로운 서비스는 아니다. 몇 년 전까지 네이버에서도 제공했던 서비스이다. 어느 순간 보이지 않았는데, 최근에  야후코리아에서 비즈니스 검색이라는 것을 론칭하면서 문서검색을 가지고 나왔다.

왜 이 시점에 문서검색일까?

문서양식을 찾기 위해서 ?
신뢰할 수 있는 정보를 찾기 위해서 ?
문서를 쉽게 얻을 수 있게 하기 위해서 ?

퍼 나른 정보가 전체의 70%를 차지한다는 우리나라의 현실에서 업무나 조사를 위해서 필요한 것은 신뢰할 수 있는 정보를 정확하게 찾을 수 있어야 하는 것이고, 이를 위해서는 우리나라 현실에서는 문서를 찾는 것이 1차적인 목표가 되기 때문에 문서검색을 시도하는 것으로 보여진다.

물론 검색이 네티즌들의 Toy가 되어버린지 오래되어서 문서검색처럼 Tool로서 기능하는 검색서비스에 대한 시장은 아직 그렇게 크지 않을 것이다.

하지만, 장난감으로 업무나 학업, 연구 등의 작업을 할 수는 없기 때문에 결국 유용한 도구로서의 검색엔진의 가치가 중요한 기준이 다시 될 것으로 예상되기에 이러한 시도가 전체 검색엔진 서비스의 질의 향상과 변화의 시작이 될 수 있기를 바란다.



 마루날의 雜學辭典을 구독하세요~

검색서비스는 Toy가 아니라 Tool이다

검색엔진이 어느 순간 사용자들의 장난감으로 전락한 것은 일정부분 이상 포털의 책임이 크다. 포털에서 검색은 단순히 여러 가지 서비스 중에서 하나이기 때문에 트래픽을 높여 주기만 한다면 어떤 식으로 사용이 되든 개의치 않는 것이 현주소이다.

대표적인 장난감이 인기검색어이다.

사실 사용자다 검색을 할 때는 어떤 정보를 찾아야 겠다는 니즈가 생기고 그 정보를 찾기 위한 검색어를 생각해서 한, 두단어의 검색어를 검색 질의어 입력창에 입력하여 검색을 사용한다.

그런데 검색에 대한 니즈가 구체화되지 않았을 때 인기검색어는 사용자들을 유인하는 도구이다. 거기에 다가 추천 검색어까지 깔아주면 정신없이 웹을 뛰어 다니게 되고 대부분의 인기검색어들이 사람들이 아주 좋아하는 가십성 검색어들인 경우가 많기 때문에 트래픽의 쏠림이 한번 시작되면 왠만해서는 막을 수가 없다.


모든 사람을 만족시킬 수 있는 검색서비스가 가능한가?

더욱이 검색만큼 백인백색의 서비스도 없다.

정확하다 편리하다는 것이 절대적으로 사람들마다 다를 수 있는 정량적으로 표현될 수 없는 정성적인 부분이기 때문이다.

쓸데 없는 이야기가 길어졌는데, 오랜만에 검색을 Toy에서 Tool로 포지셔닝하려고 하는 서비스가 나왔기 때문이다. 이미 몇번에 걸쳐서 언급했던 야후 비즈니스 검색이다.

0. 야후 검색 관계자 분들

맛있는 저녁 도시락과 편안한 분위기에 감사드린다. 너무 혼자만 질문을 해대서 죄송했었다는 말씀을 이 자리를 빌어서 전해드립니다.

1. 야후 비즈니스 검색의 배경?

검색서비스를 Tool로 사용하는 사람들이 전체 트래픽에서 차지하는 비중은 낮은 편이지만, 업무를 위해서건 학업을 위해서건 검색은 이제 필수적인 도구이다.

하지만, 국내의 검색서비스들은 도무지 제대로된 검색을 할 수가 없다. 왜냐 서두에 썰을 풀었던 Toy이기 때문이다.

장난감은 재미있는 것이기는 하지만, 쉽게 질릴 수 있다. 그래서 계속 새로운 형태의 재미를 주어야 하고 특히나 검색서비스의 경우 일방적인 공급자의 서비스를 사용하는 것에 저항감이 없도록 만들어버린다.

원하는 정보를 찾기 못해도 재미있게 사용할 수 있으니 이게 얼마나 불편하지 그런거에 별로 신경쓰지 않는 것이다. 특히나 검색어를 통제하면서 검색 서비스가 미디어와 같은 아젠다를 설정하는 기능까지 하고 있는 것을 보면 우려스럽기까지 하다.

2. 야후 비즈니스 검색은 문서중심이다. 아직까지는...

비즈니스를 위한 검색을 목표로 하다보니, 자연스럽게 비즈니스를 위해서 찾는 정보의 종류나 형태에 대한 서베이를 해보았을 것이고, 현재의 모습처럼 야후 비즈니스 검색은 신뢰할 수 있는 정보원으로부터 수집한 문서를 중심으로 검색결과를 제공하고 있다.

3. 야후 비즈니스 검색을 시작하다

확실히 업무에 필요한 정보들이 이런 형태와 종류의 정보를 원하기 때문에 매우 유용한 서비스임에 틀림었다. 하지만... 아직은 갈길이 멀다.

4. 야후 비즈니스 검색이 마주한 벽들 ㅎㅎ

입이 아프다. IT 강국 대한민국의 현실에 대해서는....


야후 비즈니스 검색을 보면서...

1. 현재의 포털 생태계를 위해서는 변화가 필요한데, 검색서비스는 원래 Tool이기 때문에 제대로 된 Tool을 제공한다면 의미있는 변화가 시작될 것이다.

2. 비즈니스를 위한 검색이라고 하지만 아직은 '시작되었다'는 것에 큰 의미가 있지만, 업무나 연구를 위해서 정보를 찾는 사용자들에게 필요한 기능을 좀 더 (솔직히 아주 많이 파격적으로) 제공한다면 충분히 경쟁력이 있을 것이다.

3. 검색 서비스를 난이도가 높은 원천기술을 바탕으로 정교한 시스템과 알고리즘을 구현하여 제공하는 서비스라고만 생각하지 않았으면 좋겠다. 검색서비스 만큼 사용자가 적극적으로 참여하고 공유하려고 하는 서비스도 없기 때문에 꼭 Social Search가 아니라도 사용자의 참여와 공유를 가능하게 하는 플랫폼으로서 검색서비스가 되기를 바란다.

 마루날의 雜學辭典을 구독하세요~