마루날의 雜學辭典(잡학사전)

사용자 참여형 검색서비스

지난번 검색서비스의 미래 포스팅에서 언급했던 검색에서의 사용자 참여형 서비스가 구글의 서치위키이다. 우리나라도 사용자 참여라는 측면에서 꽤 성공한 서비스가 있다.

검색서비스라고 우기는 네이넘의 지식in인데, 사용자참여형 서비스는 맞지만, 검색서비스가 아니라 검색을 위한 컨텐츠 구축 시스템일 뿐이다.




 마루날의 雜學辭典(잡학사전)을 RSS리더로 편하게 구독해서 보세요~

검색은 더 이상 정보를 찾는 도구가 아니다.

검색의 미래에 대해서 이야기 하기에 앞서서 컨텐츠(정보+서비스)에 대해서 먼저 정리를 해보아야 할 것 같다.

단순히 검색이라는 것은 정보를 찾는 수단이 아니라 이제는 정보를 유통하고 소비하는 방식이 된 것 같다.

한국형 통합검색이라는 괴물을 통해서 업계의 압도적인 1위가 되어버린 네이버는 항상 신뢰할 수 있는 컨텐츠의 확보에 회사의 사활을 걸었다.

그냥 검색포털이였다면 검색기술 자체에만 집중해도 되지만^[각주:1], 통합검색이라는 이름을 걸고 자신들이 가지고 있는 정보와 컨텐츠의 유통/소비를 통해서 트래픽을 독점하여(나쁘다고 할 수 없다. 누구나 트래픽을 독점하고 싶을 테니까) 지금의 1등이 된 네이버에게 컨텐츠의 확보는 무엇보다 중요하다고 할 수 있다.


네이버의 방식

정보가 어디에 있다는 것은 관심 없고 사용자들이 관심을 가질 만한 컨텐츠를 쌓아야만 하는 것이 네이버의 운명이기 때문에 항상 컨텐츠의 생산 및 유통에 대하여 관심을 갖고 있었다.

그러다 보니 네이버 블로그의 펌질에 대해서 네이버가 미온적인 태도를 보이는 것은 네이버는 800만개에 달하는 네이버 블로그들의 펌질을 통하여(모든 네이버 블로그가 펌질을 한다고 할 수 없지만, 그 비율이 매우 높은 것을 사실이다.) 지식인에 이어 새로운 컨텐츠 생산, 유통단지의 역할을 하게 하려고 하는 것 같다

그리고 최근의 오픈캐스트 또한 사용자들이 자발적으로 캐스터가 되어 어쩌면 또 다른 방식의 컨텐츠 소비 및 유통방식이 되어주기를 바라는지도 모르겠다.

더 이상 검색이 정보가 어디에 있는지를 알려주는 서비스가 아니라 검색이 정보의 소비와 유통의 도구인 지금과 같은 검색만능시대에는 얼추 네이버의 시도가 소 뒷걸음질에 쥐 잡는 것 같은 형국이지만, 적절한 전략인 것 같기도 하다.


검색서비스의 미래

그렇다면 앞으로 더 나은 검색을 위해서는 정보를 잘 찾는 것이 아니라 정보의 유통과 소비를 위해서 네이버 펌로거와 오픈캐스트 발행인과 같은 개미떼가 필요한 것일까?

컨텐츠를 유통하고 소비한다는 입장에서 앞으로의 검색엔진의 변화될 모습에 대해서 생각을 해보자

정보의 위치가 아닌 정보자체를 알려주는 검색

검색결과는 아웃링크(지극히 한국적인 표현 아닌가? -_-)의 모임일 뿐이어서 원하는 컨텐츠를 찾기 위해서 사용자들은 클릭 & 브라우징을 여러 번 해야 한다.
지식in과 같은 Q&A류의 검색인 인기를 끄는 것은 컨텐츠를 소비하는 사용자들은 단지 정보가 필요한 것이 정보가 있는 곳을 가리키는 정보는(검색결과) 그다지 관심이 없다.

아마도 앞으로는 검색결과 페이지에서 해당 페이지를 직접 열어보지 않고도 해당 페이지의 주제와 요약 내용(지금처럼 단순히 질의어가 위치한 단락이 아닌)이 보여지는 형태로 발전할 것이다.

개인화와 Social Networking

그리고 개인화 부분이 가장 강력하게 작용할 수 있는 영역이 검색엔진을 통한 컨텐츠 소비가 아닐까 생각이 된다. 검색결과에서 사용자와 연관된 정보만을 제공하도록 될 것이다.

현실적으로 보았을 때 검색엔진과 Social Networking의 결합은 이미 시작되었다고 해도 과언이 아니다. 인기검색어류의 서비스가 검색엔진에서 던지는 미끼역할이 주이지만, 이 서비스는 사용자들의 관심사를 반영한다는 것에서 시작해서 질의어를 기준으로 자신과 비슷한 관심사를 가진 사람들이 클릭하여 열어본 검색결과를 일종의 Collective Filtering 형태로 조합을 할 수 있게 된다.

참고기사 : 구글, 개인 맞춤형 검색 서비스 준비중

느슨한 형태의 SN이 질의어와 검색결과를 통해서 만들어지지만, 여기에 검색결과에 대한 사용자들의 판단과 선호가 결합이 되면 말 그대로 정보를 재구성할 수 있게 되는 단계까지 가능할 것으로 보여진다.

유비쿼터스 & 모바일 검색

언제, 어디서나, 어떤 디바이스에 관계없이 정보를 소비하자면, 시공간 및 디바이스에 종속되지 않는 형태의 검색서비스는 필수적이다.

일요일 저녁마다 챙겨보는 패밀리가 떳다를 보면 최근에 재미있는 모습이 보이는데, 요리법을 찾기 위해서 모바일 검색을 한다. TV쇼에서조차 모바일 검색이 낯선 풍경이 아닌 시대가 된 것이다.

지난번에 이찬희가 사용하는 검색을 보니 구글 검색이었는데, 시공간 및 디바이스에 종속되지 않은 형태의 검색은 광고와 같은 가비지 없는 정제된 형태의 정확한 검색결과가 필요하고 지금으로서는 구글이 그나마 그 니즈에 가장 가깝지 않나 생각된다.

무엇보다 검색의 입출력 방식에 대한 새로운 시도들이 계속될 것 같은데, 예를 들면 음성 인식에 의한 질의어 입력이나 사진이나 동영상과 같은 멀티미디어 정보도 큰 어려움 없이 검색결과로 제공되어야 할 것이다.

메타검색과 전문검색

작년 한 해를 돌아보면 블로그, 동영상이나 이미지, 문서, 상품 등과 컨텐츠 별 검색이 가능하도록 포털의 검색결과를 조합해서 보여주는 메타검색이나 특정 컨텐츠에 특화된 검색서비스들이 등장하기 시작했다.

이제까지 한자리에 모든 정보를 보여주어서 편리했다면 이제는 사용자들이 선별적으로 자신이 원하는 정보만을 찾기 원하는 검색서비스를 원하는 시대로 접어든 것 같다.

단순 텍스트문서에 이미지를 거쳐 동영상에 이르기까지 다양한 형태의 컨텐츠들이 기하급수적으로 쌓여가는 인터넷 공간에서 검색의 존재는 이제 단순한 찾는 도구가 아닌 컨텐츠의 유통과 소비에 채널이 되어버렸다.

그에 비해서 국내의 검색서비스들은 갈길 이 멀어 보이기만 하다. 어쩌면 2009년도는 구글코리아의 약진이 두드러지는 한 해가 될지도 모르겠다.




 마루날의 雜學辭典(잡학사전)을 RSS리더로 편하게 구독해서 보세요~

탄핵서명 100만?

드디어 MB2(영어식 표현)의 탄핵이 100만을 넘었다.

괴담 때문이라고 정부와 여당에서는 애써 그 의미를 깎아 내리려고 하지만, 집권 후 보여주던 강부자 내각 – 대운하 재개 – 강부자 수석으로 이어지는 MB2의 실정으로 인한 여론의 모습을 극명하게 보여주는 것 같다.

회사는 연휴였지만 일 때문에 나갈 수 밖에 없어서 연휴 아닌 연휴가 되었지만, 개인적으로 광우병 사태와 함께 탄핵서명의 추이가 매우 흥미로웠다.


광우병 사태에 임하는 다음과 네이버의 행태

100만명이 넘는 서명이면 당연히 아고라 메인에 올라와야 하는 내용을 다음은 메인에 보여주지도 않았고 한동안은 검색결과에도 보이지 않았다.(지금은 사이트 항목에서 ‘탄핵서명’이라는 질의어로 검색하면 나온다)

네이버는 어떤가? 한동안은 탄핵서명이나 이명박 탄핵이라고 검색해도 검색서명 URL을 알 수 없었다. 뭐 경쟁사의 서비스 URL을 알려주는 것이 거시기 했을 수도 있지만, 평소에 이슈에 대처하는 네이버의 신속한 대응에 비해 이번 사태에서는 어제(5/5)부터 보이기 시작했다.

여론의 추이를 보다가 이제 보여줘도 큰 탈 없다고 판단해서 보여준 것은 아닌가 하는 의혹이 생기기 좋은 모습이다.


검색은 단순한 온라인 서비스?

최초의 검색서비스는 사용자들에게 사용자들이 원하는 정보를 찾을 수 있도록 돕는 도구였다. 웹 검색의 최초라고 할 수 있었던 야후도 기존의 전화번호부 같은 형식의 옐로우 페이지를 웹을 옮긴 형태로 제공하였었다.

사용자들이 폭발적으로 늘어나는 웹에서 원하는 정보를 찾기 위해서 좀 더 편리하고 정확한 검색엔진을 선호하게 되었고, 인터넷 사용자가 증가함에 따라서 검색엔진 사용자와 트래픽이 폭발적으로 증가하게 되었다.

그러다 보니 검색엔진 결과에서 나오는가 또는 얼마나 상위에 나오느냐에 따라서 웹 서비스의 승패가 좌우할 정도로 영향력이 생기게 되었다.

검색엔진이 정보를 찾는 도구에서 벗어나서 정보를 보여줄지 말지를 결정하는 통제의 위치에 서게 되었고, 자연스럽게 미디어 아닌 미디어로서의 영향력을 발휘하기 시작하였다.

검색엔진의 수집이나 검색결과를 제공하는 알고리즘이 기계적으로 적용된다면 최소한의 공정성이 유지될 수 있는데, 신속한 대응이나 불건전한 정보의 필터링을 위해 사람의 손을 이용하기 시작하면서 의도했는지 의도하지 않았는지 모르지만, 정보를 통제하기 시작했다.

만약에 다음 아고라의 탄핵서명이 여러가지 요인의 복합적인 작용에 의한 결과이기 전에 검색결과에서 배제되고 있었다면 어떻게 되었을까? 사실 요 며칠의 정황을 살펴보면 의도적으로 검색이 되지 않는 것 같은 의혹이 생긴다.


검색이 왜 이슈인가?

체육관 선거를 통해서 대통령이 되었던 전두환과 5공 정부가 정부초기에 가장 먼저 시작했던 일들 중에서 하나가 언론통폐합이다. 그 당시만 해도 인터넷이라는 열린 공간(진짜 열려있는지 모르겠다)이 없었기에 신문, TV, 라디오만 통제해도 여론의 형성이나 문제 제기를 사전에 잘라낼 수 있었다.


지금과 같은 인터넷 시대에서는 어떻게 해야 할까?

검색을 통제하면 된다.

대선 기간 내내 네이버의 정치적 편향성은 이미 여러 블로그를 통해서 증명되었다. 간단히 네이버 정치나 네이버 한나라당이라고 검색해보면 여러 가지 내용들을 볼 수 있다.
[관련기사 : "정권 잡으면, 포털 너희 다 죽는다" 파문[고뉴스]]

다음은 어떠한가? 담당 실무자의 판단이라고 우길 수도 있고, 다음의 조직 특성 상 위에서 찍어 내리지 못한다고 이야기 할 수도 있겠지만, 이번 연휴기간 내내 검색을 해보면서 느낀 것은 다음도 네이버 못지 않다는 것이다.

국어사전에서 ‘미디어’를 찾아보면 ‘어떤 작용을 한쪽에서 다른 쪽으로 전달하는 역할을 하는 것’이라고 되어 있다.

정보의 전달자라고 해석할 수 있는데, 단순한 Fact의 전달과 함께 분석을 해서 Agenda를 세팅 하는 기능까지 하기 때문에 미디어의 힘이 강력하다고 할 수 있다.


검색의 미래를 좌우하는 것은 공정성이다.

21세기의 미디어로 자리 잡은 검색서비스를 단순히 인터넷을 통해서 제공되는 서비스로만 생각하는지 모르겠지만, 정보의 통제가 가능해진 지금의 검색서비스는 과거 언론의 공정성을 지키기 위해 권력에 저항했던 그 저항정신이 가장 필요로 하는 것이 아닌가 생각된다.

공정성이라는 것이 별 것 아니라고 생각할 수도 있지만, 결국 사용자 대중으로부터 나온 트래픽에서 비롯된 지금의 검색서비스의 위치와 파워를 순식간에 걷어갈 수 있는 것이 정확한 검색도 편리한 검색도 아닌 ‘공정한’ 검색이 될 수 있기 때문이다.

지금도 검색을 통해서 인터넷 비즈니스 업계의 공룡이 되어 인터넷 비즈니스 생태계 자체를 말려 죽이고 있는데, 이번 광우병 사태에서 비롯된 ‘공정성’ 시비가 공룡을 멸종시키는 단초가 되지는 않을까 기대해 본다.

생태계라는 것이 최상위 포식자가 사라진다고 생태계 자체가 없어지지는 않으니까, 네이버와 다음이 망하고 네이트와 엠파스까지 거덜나면, 파란이나 구글을 통해서 사용자들은 충분하다.

제발 검색서비스의 공정성을 지켜라



 마루날의 雜學辭典을 구독하세요~

Page Relevancy

검색엔진에서 질의어는 사용자가 검색엔진을 사용하기 위한 명시적인 행동이다.

명시적이라고 말하는 것은 사용자가 입력하는 질의어를 통해서 사용자가 원하는 정보가 무엇인지? 사용자의 검색의도는 어떠한지를 나타내주는 것이 '질의어'이기 때문이다.

하지만, '질의어'만으로는 사용자의 검색요구나 검색의도 등을 알 수가 없다. 대부분의 '질의어'들이 한, 두단어로 이루어져있는데다가 중의성을 포함하고 있기때문이다.

이러한 한계에도 불구하고 검색대상 문서내에 사용자의 질의어의 분포 등을 수학적 모델을 통해서 계산하여 사용자의 질의어에 가장 적합한(relevant) 검색결과를 제공하는 Page Relevant가 기본적이면서도 가장 많이 사용하는 모델이다.


Hakia의 People Relevancy


위에서 언급한대로 한두단어 밖에 되지 않는 사용자의 질의어는 의미적으로 다양한 의미를 내포하고 있는 경우도 많으며, 질의에 대한 context나 사용자의 피드백 등을 반영하여 좀 더 정확한 검색결과를 제공하려고 하는 시도들이 많다.

그중에서도 사용자와 동일한 질의어를 입력한 사용자 집단의 행동 패턴(click stream)은 매우 중요한 요소라고 할 수 있다. 현재의 검색엔진은 검색질의어 입력후 사용자가 click & browsing을 통해서 결과를 일일이 확인하는 과정을 거칠 수 밖에 없도록 되어 있다.

대부분 상위의 검색결과를 확인하는 경우가 대부분인데, 사용자가 어떤 결과를 클릭했고, 얼마나 오랫동안 살펴보았는지 등에 대한 back data가 있다면, 해당 결과에 대한 가중치를 높여서 좀 더 상위에 나오게 한다든지를 통해서 검색의 질을 높일 수 있을 것이다


그렇다면...

사실 Hakia의 People Relevancy는 일종의  Social Search, Collective Filtering 등의 다른 이름의 다른 시도와 유사한 시도이기는 하다.

하지만, 앞으로  Multi modal 인터페이스가 나오기전까지는 사용자가 입력하는 질의어의 단어수는 현재와 비슷할 것으로 예상되고 사용자의 검색의도나 검색요구와 함께 사용자의 검색 context를 인지할 수 있다면 보다 적합한(Relevnat) 검색결과를 제공할 수 있을 것이다.

Feeding하고 있는 블로그에 재미있는 설문조사가 올라왔다.
search 2.0에 대한 간단한 설문조사인데 흥미롭다.

개인적으로 생각하는 search 2.0의 목표는 User intention understanding + Semantic retrieval 이다. 사용자의 검색의 목적이나 의도를 알아서 원하는 결과를 의미기준으로 제공해 주어야 할 것 같다.

설문조사 결과는 순서대로 다음과 같다.

1. Artificial Intelligence (e.g. Hakia, Powerset) 23% (123 votes)

사실 Hakia나 Powerset 모두 자연어검색엔진이라고 자신들을 소개한다. 그런데, 이 검색엔진들을  AI로 분류한 이유는 검색 질의어의 의도를 자연어 기반으로 처리하여 알아내고(아마도 추론 과정이 적용), 검색결과 중에서 질의 의도에 적합한 결과를 알아내는(동일한 추론 과정이 적용)것 때문일 것이다.

실제로 Hakia는 문장구조가 제대로 된(주어/술어 등이 명확한) 질의어에 대하여 매우 놀라운 검색결과를 보여주고 있으며, Powerset의 경우 자신들의 블로그를 통해서 보여지는 데모도 Hakia와 유사한 수준이다.


2. People Powered Search (e.g. del.icio.us, ChaCha) 21% (115 votes)

사실 del.icio.us와 같은 검색은 우리나라의 네이버 지식in과 유사하다고 보여지며, 어떤 측면에서는 Social Search로도 보여진다.


3. Vertical Search (e.g. SimplyHired, Technorati) 15% (81 votes)

아직 놀라운 성능을 보여주는 엔진은 없지만, 동영상이나 사운드 전용 검색엔진은 기대되는 특징 중 하나이다.


4. Personalized Search (e.g. Collarity) 12% (63 votes)

개인화 검색은 사용자의 의도를 파악하여 관련된 랭킹을 통하여 사용자 개인에 최적화된 결과를 보여주는 방식이 있을 수 있고, 또 다른 하는 Collarity와 같이 검색 화면이나 대상을 지정하는 식의 User customized된 개인화 검색도 고려할 수 있다.


5. Clustering (e.g. Clusty, SearchMash) 11% (58 votes)

검색결과의 Visualization과 함께 향후 검색엔진의 기본적인 특성이 될 듯 하다.


6. Social Search (e.g. Eurekster, Rollyo) 7% (37 votes)

사용자들의 행위를 인구통계학적으로 정리하여 통계적인 형태의 recommendation을 해주는 형태인데, 아마도 개인화 검색과 연계가되어 향후 검색의 가치를 높여줄 것으로 보여진다.


7. Visualization (e.g. Quintura and Kartoo) 6% (33 votes)

 검색결과에 대한 Clustering이나 Visualization은 중복 정보의 제거나 새로운 정보의 탐지 등에 활용하기 적합한 기술로서 검색 정확도를 높이는 방식 중 하나가 될 것이다.

8. Previews (Snap, Live Image Search) 5% (25 votes)

이미 많은 도전들이 있었지만, 그렇게 썩 좋은 반응을 얻지 못한 서비스들이 많았었다. 하지만, 검색결과 중에서 사용자들이 원하는 정보를 확인하기 위한 브라우징 코스트를 생각하면, 분명 필요한 기술이 될 것이다.

덧)
개인적으로는 위의 8가지 검색서비스와 함께 가장 큰 특징이 될 요소는 'Convergence'라고 생각한다. 지금은 웹 검색, 무선 검색으로 나뉘어져 있지만, 웹 검색을 무선에서도 하면서, 무선에서도 웹의 정보를 검색할 수 있는 서비스가 출현할 것으로 예상된다.

물론 지금도 가능하지만, 실용성이 매우 떨어지는 형태인데, 예를 들어서 무선에서 검색을 했는데, 검색결과가 웹 정보라면 지금 처럼 Full browsing만이 아닌, 정보를 요약해서 무선 검색 화면에 맞추어 제공한다는 식의 서비스를 생각해 볼 수 있다.