탄핵서명 100만?

드디어 MB2(영어식 표현)의 탄핵이 100만을 넘었다.

괴담 때문이라고 정부와 여당에서는 애써 그 의미를 깎아 내리려고 하지만, 집권 후 보여주던 강부자 내각 – 대운하 재개 – 강부자 수석으로 이어지는 MB2의 실정으로 인한 여론의 모습을 극명하게 보여주는 것 같다.

회사는 연휴였지만 일 때문에 나갈 수 밖에 없어서 연휴 아닌 연휴가 되었지만, 개인적으로 광우병 사태와 함께 탄핵서명의 추이가 매우 흥미로웠다.


광우병 사태에 임하는 다음과 네이버의 행태

100만명이 넘는 서명이면 당연히 아고라 메인에 올라와야 하는 내용을 다음은 메인에 보여주지도 않았고 한동안은 검색결과에도 보이지 않았다.(지금은 사이트 항목에서 ‘탄핵서명’이라는 질의어로 검색하면 나온다)

네이버는 어떤가? 한동안은 탄핵서명이나 이명박 탄핵이라고 검색해도 검색서명 URL을 알 수 없었다. 뭐 경쟁사의 서비스 URL을 알려주는 것이 거시기 했을 수도 있지만, 평소에 이슈에 대처하는 네이버의 신속한 대응에 비해 이번 사태에서는 어제(5/5)부터 보이기 시작했다.

여론의 추이를 보다가 이제 보여줘도 큰 탈 없다고 판단해서 보여준 것은 아닌가 하는 의혹이 생기기 좋은 모습이다.


검색은 단순한 온라인 서비스?

최초의 검색서비스는 사용자들에게 사용자들이 원하는 정보를 찾을 수 있도록 돕는 도구였다. 웹 검색의 최초라고 할 수 있었던 야후도 기존의 전화번호부 같은 형식의 옐로우 페이지를 웹을 옮긴 형태로 제공하였었다.

사용자들이 폭발적으로 늘어나는 웹에서 원하는 정보를 찾기 위해서 좀 더 편리하고 정확한 검색엔진을 선호하게 되었고, 인터넷 사용자가 증가함에 따라서 검색엔진 사용자와 트래픽이 폭발적으로 증가하게 되었다.

그러다 보니 검색엔진 결과에서 나오는가 또는 얼마나 상위에 나오느냐에 따라서 웹 서비스의 승패가 좌우할 정도로 영향력이 생기게 되었다.

검색엔진이 정보를 찾는 도구에서 벗어나서 정보를 보여줄지 말지를 결정하는 통제의 위치에 서게 되었고, 자연스럽게 미디어 아닌 미디어로서의 영향력을 발휘하기 시작하였다.

검색엔진의 수집이나 검색결과를 제공하는 알고리즘이 기계적으로 적용된다면 최소한의 공정성이 유지될 수 있는데, 신속한 대응이나 불건전한 정보의 필터링을 위해 사람의 손을 이용하기 시작하면서 의도했는지 의도하지 않았는지 모르지만, 정보를 통제하기 시작했다.

만약에 다음 아고라의 탄핵서명이 여러가지 요인의 복합적인 작용에 의한 결과이기 전에 검색결과에서 배제되고 있었다면 어떻게 되었을까? 사실 요 며칠의 정황을 살펴보면 의도적으로 검색이 되지 않는 것 같은 의혹이 생긴다.


검색이 왜 이슈인가?

체육관 선거를 통해서 대통령이 되었던 전두환과 5공 정부가 정부초기에 가장 먼저 시작했던 일들 중에서 하나가 언론통폐합이다. 그 당시만 해도 인터넷이라는 열린 공간(진짜 열려있는지 모르겠다)이 없었기에 신문, TV, 라디오만 통제해도 여론의 형성이나 문제 제기를 사전에 잘라낼 수 있었다.


지금과 같은 인터넷 시대에서는 어떻게 해야 할까?

검색을 통제하면 된다.

대선 기간 내내 네이버의 정치적 편향성은 이미 여러 블로그를 통해서 증명되었다. 간단히 네이버 정치나 네이버 한나라당이라고 검색해보면 여러 가지 내용들을 볼 수 있다.
[관련기사 : "정권 잡으면, 포털 너희 다 죽는다" 파문[고뉴스]]

다음은 어떠한가? 담당 실무자의 판단이라고 우길 수도 있고, 다음의 조직 특성 상 위에서 찍어 내리지 못한다고 이야기 할 수도 있겠지만, 이번 연휴기간 내내 검색을 해보면서 느낀 것은 다음도 네이버 못지 않다는 것이다.

국어사전에서 ‘미디어’를 찾아보면 ‘어떤 작용을 한쪽에서 다른 쪽으로 전달하는 역할을 하는 것’이라고 되어 있다.

정보의 전달자라고 해석할 수 있는데, 단순한 Fact의 전달과 함께 분석을 해서 Agenda를 세팅 하는 기능까지 하기 때문에 미디어의 힘이 강력하다고 할 수 있다.


검색의 미래를 좌우하는 것은 공정성이다.

21세기의 미디어로 자리 잡은 검색서비스를 단순히 인터넷을 통해서 제공되는 서비스로만 생각하는지 모르겠지만, 정보의 통제가 가능해진 지금의 검색서비스는 과거 언론의 공정성을 지키기 위해 권력에 저항했던 그 저항정신이 가장 필요로 하는 것이 아닌가 생각된다.

공정성이라는 것이 별 것 아니라고 생각할 수도 있지만, 결국 사용자 대중으로부터 나온 트래픽에서 비롯된 지금의 검색서비스의 위치와 파워를 순식간에 걷어갈 수 있는 것이 정확한 검색도 편리한 검색도 아닌 ‘공정한’ 검색이 될 수 있기 때문이다.

지금도 검색을 통해서 인터넷 비즈니스 업계의 공룡이 되어 인터넷 비즈니스 생태계 자체를 말려 죽이고 있는데, 이번 광우병 사태에서 비롯된 ‘공정성’ 시비가 공룡을 멸종시키는 단초가 되지는 않을까 기대해 본다.

생태계라는 것이 최상위 포식자가 사라진다고 생태계 자체가 없어지지는 않으니까, 네이버와 다음이 망하고 네이트와 엠파스까지 거덜나면, 파란이나 구글을 통해서 사용자들은 충분하다.

제발 검색서비스의 공정성을 지켜라



 마루날의 雜學辭典을 구독하세요~

Page Relevancy

검색엔진에서 질의어는 사용자가 검색엔진을 사용하기 위한 명시적인 행동이다.

명시적이라고 말하는 것은 사용자가 입력하는 질의어를 통해서 사용자가 원하는 정보가 무엇인지? 사용자의 검색의도는 어떠한지를 나타내주는 것이 '질의어'이기 때문이다.

하지만, '질의어'만으로는 사용자의 검색요구나 검색의도 등을 알 수가 없다. 대부분의 '질의어'들이 한, 두단어로 이루어져있는데다가 중의성을 포함하고 있기때문이다.

이러한 한계에도 불구하고 검색대상 문서내에 사용자의 질의어의 분포 등을 수학적 모델을 통해서 계산하여 사용자의 질의어에 가장 적합한(relevant) 검색결과를 제공하는 Page Relevant가 기본적이면서도 가장 많이 사용하는 모델이다.


Hakia의 People Relevancy


위에서 언급한대로 한두단어 밖에 되지 않는 사용자의 질의어는 의미적으로 다양한 의미를 내포하고 있는 경우도 많으며, 질의에 대한 context나 사용자의 피드백 등을 반영하여 좀 더 정확한 검색결과를 제공하려고 하는 시도들이 많다.

그중에서도 사용자와 동일한 질의어를 입력한 사용자 집단의 행동 패턴(click stream)은 매우 중요한 요소라고 할 수 있다. 현재의 검색엔진은 검색질의어 입력후 사용자가 click & browsing을 통해서 결과를 일일이 확인하는 과정을 거칠 수 밖에 없도록 되어 있다.

대부분 상위의 검색결과를 확인하는 경우가 대부분인데, 사용자가 어떤 결과를 클릭했고, 얼마나 오랫동안 살펴보았는지 등에 대한 back data가 있다면, 해당 결과에 대한 가중치를 높여서 좀 더 상위에 나오게 한다든지를 통해서 검색의 질을 높일 수 있을 것이다


그렇다면...

사실 Hakia의 People Relevancy는 일종의  Social Search, Collective Filtering 등의 다른 이름의 다른 시도와 유사한 시도이기는 하다.

하지만, 앞으로  Multi modal 인터페이스가 나오기전까지는 사용자가 입력하는 질의어의 단어수는 현재와 비슷할 것으로 예상되고 사용자의 검색의도나 검색요구와 함께 사용자의 검색 context를 인지할 수 있다면 보다 적합한(Relevnat) 검색결과를 제공할 수 있을 것이다.

Feeding하고 있는 블로그에 재미있는 설문조사가 올라왔다.
search 2.0에 대한 간단한 설문조사인데 흥미롭다.

개인적으로 생각하는 search 2.0의 목표는 User intention understanding + Semantic retrieval 이다. 사용자의 검색의 목적이나 의도를 알아서 원하는 결과를 의미기준으로 제공해 주어야 할 것 같다.

설문조사 결과는 순서대로 다음과 같다.

1. Artificial Intelligence (e.g. Hakia, Powerset) 23% (123 votes)

사실 Hakia나 Powerset 모두 자연어검색엔진이라고 자신들을 소개한다. 그런데, 이 검색엔진들을  AI로 분류한 이유는 검색 질의어의 의도를 자연어 기반으로 처리하여 알아내고(아마도 추론 과정이 적용), 검색결과 중에서 질의 의도에 적합한 결과를 알아내는(동일한 추론 과정이 적용)것 때문일 것이다.

실제로 Hakia는 문장구조가 제대로 된(주어/술어 등이 명확한) 질의어에 대하여 매우 놀라운 검색결과를 보여주고 있으며, Powerset의 경우 자신들의 블로그를 통해서 보여지는 데모도 Hakia와 유사한 수준이다.


2. People Powered Search (e.g. del.icio.us, ChaCha) 21% (115 votes)

사실 del.icio.us와 같은 검색은 우리나라의 네이버 지식in과 유사하다고 보여지며, 어떤 측면에서는 Social Search로도 보여진다.


3. Vertical Search (e.g. SimplyHired, Technorati) 15% (81 votes)

아직 놀라운 성능을 보여주는 엔진은 없지만, 동영상이나 사운드 전용 검색엔진은 기대되는 특징 중 하나이다.


4. Personalized Search (e.g. Collarity) 12% (63 votes)

개인화 검색은 사용자의 의도를 파악하여 관련된 랭킹을 통하여 사용자 개인에 최적화된 결과를 보여주는 방식이 있을 수 있고, 또 다른 하는 Collarity와 같이 검색 화면이나 대상을 지정하는 식의 User customized된 개인화 검색도 고려할 수 있다.


5. Clustering (e.g. Clusty, SearchMash) 11% (58 votes)

검색결과의 Visualization과 함께 향후 검색엔진의 기본적인 특성이 될 듯 하다.


6. Social Search (e.g. Eurekster, Rollyo) 7% (37 votes)

사용자들의 행위를 인구통계학적으로 정리하여 통계적인 형태의 recommendation을 해주는 형태인데, 아마도 개인화 검색과 연계가되어 향후 검색의 가치를 높여줄 것으로 보여진다.


7. Visualization (e.g. Quintura and Kartoo) 6% (33 votes)

 검색결과에 대한 Clustering이나 Visualization은 중복 정보의 제거나 새로운 정보의 탐지 등에 활용하기 적합한 기술로서 검색 정확도를 높이는 방식 중 하나가 될 것이다.

8. Previews (Snap, Live Image Search) 5% (25 votes)

이미 많은 도전들이 있었지만, 그렇게 썩 좋은 반응을 얻지 못한 서비스들이 많았었다. 하지만, 검색결과 중에서 사용자들이 원하는 정보를 확인하기 위한 브라우징 코스트를 생각하면, 분명 필요한 기술이 될 것이다.

덧)
개인적으로는 위의 8가지 검색서비스와 함께 가장 큰 특징이 될 요소는 'Convergence'라고 생각한다. 지금은 웹 검색, 무선 검색으로 나뉘어져 있지만, 웹 검색을 무선에서도 하면서, 무선에서도 웹의 정보를 검색할 수 있는 서비스가 출현할 것으로 예상된다.

물론 지금도 가능하지만, 실용성이 매우 떨어지는 형태인데, 예를 들어서 무선에서 검색을 했는데, 검색결과가 웹 정보라면 지금 처럼 Full browsing만이 아닌, 정보를 요약해서 무선 검색 화면에 맞추어 제공한다는 식의 서비스를 생각해 볼 수 있다.