지식검색이 다시 관심을 받는 이유

2012.06.09 23:23
2012년 5월초 기준으로 국내 휴대전화 가입자수는 5,255만명이고 이중 스마트폰 사용자수는 전체 휴대폰 가입자의 50.84%인 2,672만명이라고 합니다. (출처 : SBS CNBC 보도기사 중)

 우리나라 전체 인구수는 2012년 2월말 현재 5,076만명정도 됩니다. 이중 19살 미만과 60세 이상을 제외한다면 3000만명정도 추산됩니다. (전체유권자수 3800만명 - 60세이상 유권자수 800만명)

즉, 대부분의 성인들이 스마트폰을 사용한다고 해도 과언이 아닙니다. 단지 피쳐폰이 거의 공급되지 않고 대부분 스마트폰이 시장에 공급되기 때문이라고 하기에는 확산속도나 사용자수의 증가폭이 큽니다. 

일반 PC는 사용이 복잡하지만 전화기에 기능이 추가된 형태로 보여지는 스마트폰은 대부분의 사용자들에게 직관적인 UX를 제공하며서 쉽고 빠르게 여러 가지 기능을 사용하는 것 같습니다. 

모바일이 대세이고 모든 것이 모바일 환경으로 급속히 변화되고 있는 시점에서 재미있는 기사를 보았습니다. 

"당신이 필요로 하는 것을 더 빨리 찾을 수 있도록 관련 정보를 조직적으로 제공하게 될 것"이라고 설명했다. 검색 엔진의 질의응답 기능이 질문이나 검색어와 관련된 정보를 백과사전에서 우선적으로 찾아 요약 제공한다. 웹페이지에 방문하지 않고도 답을 얻을 수 있도록 만든 것이다. 

또 위키피디아, 프리베이스, 큐위키와 같은 백과사전형 웹서비스의 링크도 함께 제공한다. MS의 새 검색 기능이 구글의 '지식그래프'와 경쟁하긴 힘들 것이란 예상도 있다. 구글의 지식검색은 검색어에 대한 정보를 자동 편집하거나, 사용자들의 자발적 편집을 통해 제공한다. MS는 정보의 조각을 나열하는 방식으로만 보여줘 차이가 있다. 


 질문자가 텍스트, 링크, 이미지, 투표 등 4가지 답변 방식 가운데 자신이 원하는 유형을 선택해 답변을 받을 수 있도록 했다. 이를 통해 질문자는 답변에 대한 만족도를 높일 수 있고, 답변자는 답변 채택률을 높여 포인트를 더 빨리 쌓을 수 있다. 

 MS의 빙이나 이스트인터넷의 줌 모두 지식검색을 강화하려고 하는 모습이 눈에 띕니다. 이 부분은 제가 과거 여러 포스트에서 주장했던 '모바일 검색은 Q&A이다'라는 측면에서 이해될 수 있을 것 같습니다. 

모바일 검색의 발전 모습을 보면 음성인식이나 QR코드나 바코드 또는 사진 검색 등과 같은 입력 방식의 편리함을 제고하는 쪽으로 노력하고 있는 것을 잘 알 수 있습니다. 

이것은 모바일 기기에서의 입력의 어려움(작은 키보드에 익숙하다 해도)을 해소하기 위해서입니다. 하지만 모바일 검색에 있어서 당면한 가장 큰 문제는 검색 결과의 확인입니다. 

사용자 입장에서 검색은 1) 질의어 입력, 2) 검색결과 리스트 확인 3) 리스트의 개별 건에 대한 Click & Browsing, 4) 3)의 반복 의 순으로 이루어집니다. 검색결과에서 하나를 선택하여 클릭(Click)하고 내용을 확인(Browsing) 기존의 PC나 데스크탑에서는 참을 수 있지만, 속도도 PC환경에 비해 느리고 화면도 작은 스마트폰에서 검색을 한 뒤 'Click & Browsing'을 반복하라고 하는 것은 사용하지 말라고 하는 것이나 다름 없습니다.

 그렇다면 이 문제를 해결하는 방법은 위의 예제에서 처럼 사용자가 검색을 위한 질의어로 '우리나라 인구수'라고 입력(text, 음성, 이미지 등)하면 '우리나라 전체 인구수는 2012년 2월말 현재 5,076만명정도 됩니다.'라고 답변할 수 있어야 합니다. 

 검색 질의어에 답변을 하려면, 현재의 검색결과와 같이 정보의 조각을 단순히 나열한 형태로는 답변이 될 수 없습니다. 조각난 정보를 구조화하여 답변으로 생성해야 합니다. 이를 위해서는 결국 정보의 의미를 기계가 이해하고 모으고(Clustering) 분류하는(Classification)것 뿐만 아니라 이어 붙이는(Quilt) 기술까지 필요합니다. 

아마도 정보의 의미를 분석하고 모으고 분류하는 것에 대해서는 들어보신적이 많으시겠지만, 정보를 이어 붙이는 기술에 대해서는 생소하실 수 있습니다.  제가 예전 포스트(2009/05/19 - 차세대 인터넷 컨텐츠는 사진이다.)에서 소개한 포토신스(http://photosynth.net/)가 정보 이어붙이기의 대표적인 사례입니다. 

 

안타깝게도 이러한 기술은 아직은 일상적으로 적용하기에는 부족한 음성인식이나 이미지 검색기술 수준정도까지도 발전되지 못한 기술입니다. 

 

앞으로 검색이 가야하는 방향은 애니메이션 <Wall-E>에서 보여주고 있는 모습이 맞을 것 같습니다. 액시엄 선장이 월E가 가져온 흙을 분석하고 분석결과를 컴퓨터가 '흙(earth)'이라고 이야기하자, 선장은 '흙의 정의'에 대해서 질문하고 컴퓨터는 텍스트, 이미지, 영상 등으로 구성된 답변을 제공합니다. 

검색의 미래 - 'Earth'에 대해서 설명하라는 사용자의 질의에 답변하는 기계

 

이정도의 수준은 아직은 영화에서나 나오는 이야기이고, 현실적으로 답변에 근접한 검색결과를 만들려면 어떻게 해야 할까요? 위의 기사에서 언급한 2가지 방식이 최선이 될 수 있습니다. 


 1. 정보의 조각 나열 
 2. 정보의 구조화 

 

즉, 백과사전류의 질문에 대해서는 백과사전에서 정의 부분을 요약하는 것은 자동으로 거의 불가능하니, 발췌하여(조각) 제공하는 것이 답변이 될 수 있습니다.

 

그리고 맛집이나 추천 영화 등과 같은 경험이 필요한 답변에 대해서는 최근에 몹쓸 마케팅 활동 등으로 쓰레기장에 버금가는 수준으로 떨어진 지식검색이 그나마 도움이 될 수 있습니다.

 

당장 모바일 검색을 위해서 해야 할 일은 신뢰할 수 있는 정보소스의 컨텐츠에서 쓸모있는 조각을 만들어내고 지식검색에 쌓여있는 Q&A 셑을 잘 모으고(Clustering) 분류하고(Classification), 사람에 의해서 이어 붙이면(Quilt) 당장은 경쟁력있는 컨텐츠가 될 수 있습니다. (기술이 발전할때까지 사람의 힘을 빌어서 할 수 밖에 없겠지만요.) 

시간이 앞으로 많이 흘러가도 영화 WALL-E에서 보여주는 것처럼 정보를 소비하는 대표적인 방식은 '묻기' 그리고 '답하기'입니다. 정보의 단순 나열은 그저 쓰레기일뿐입니다.



뱀다리) 아.. 갤럭시노트 오페라브라우저에 오탈자 하나 수정했다가 포스트에서 텍스트만 남는 참사를 겪었습니다. -_- 



신고

마루날 정보검색 검색엔진, 검색엔진의 미래, 검색의 미래, 모바일 검색, 모바일 검색의 정의, 모바일 검색이란, 정보검색, 줌 인터넷, 지식 검색

실시간 검색은 대화 검색의 특성 중 하나이다.

2009.11.24 19:22
다이나믹 색인

검색엔진 기술 중에서 지금은 보편화된(?) 기술 중 하나가 다이내믹 색인입니다. 동적 색인이라고도 하는데요. 간단하게 설명을 드리면 다음과 같습니다.

색인이라고 하는 것은 검색 대상이 되는 정보를 가져와서 색인어(주로 명사)별로 출현빈도 등의 기준에 따라서 해당 색인어를 가지고 있는 문서의 정보를 나열해서 미리 정의해 놓은 데이터구조로 쌓는 것을 색인이라고 합니다. 색인을 만들어 놓아야 사용자들이 검색엔진에 검색을 하면 입력된 검색 질의어에 해당하는 색인의 정보를 가져와서 검색결과로 화면에 뿌려지게 됩니다.

bookshelf spectrum, revisited
bookshelf spectrum, revisited by chotda 저작자 표시비영리변경 금지

그래서 보통 색인은 정적(static)으로 이루어지는데, 검색대상 정보를 모아서 한번에 색인을 하게 됩니다. 검색대상 정보가 많지 않거나 자주 업데이트가 되지 않는 경우라면 괜찮지만, 검색대상 정보가 많아지거나 자주 업데이트가 되는 경우에는 동적으로 색인을 하게 됩니다.

검색하러 왔는데, 최근 데이터가 없으면 사용자의 외면을 받기에 대부분의 검색엔진들은 바로 바로 수집된 데이터에 대해서 색인을 해서 검색결과에 반영하는 과정 – 이를 다이내믹 색인이라고 – 을 하게 됩니다.


실시간 검색? 근실시간 검색!

요즘 많이 들리는 실시간 검색은 또 다이내믹 색인과 좀 다릅니다. 실시간 검색의 뉘앙스는 마치 새로운 정보가 올라오면 바로 검색결과에서 확인할 수 있는 것처럼 느껴지지만, 위에서 설명한 것처럼 색인이라는 시간이 소요되기에 실시간에 가까운 검색입니다.(뭐 거의 실시간에 가깝다는 의미로 근실시간 검색이라는 말을 사용하는 경우도 있더군요)

실시간 검색이 존재하지 않느냐 그런 것은 아닙니다. 일반적인 검색엔진이 아니라 DBMS에서는 실시간 검색이 가능합니다. DB에 데이터가 추가되면 바로 검색에 반영이 되어 나오게 되는데, 일반적인 검색엔진에서는 사전적인 의미 그대로의 실시간 검색은 절대로 불가능합니다. 아무리 작은 데이터여도 데이터가 생성된 시점으로부터 검색엔진이 색인 하기까지는 동시에 이루어질 수 없고 시간차가 당연히 발생하게 됩니다.

그래서 실시간에 가까운 검색은 존재하여도 실시간 검색은 존재하지 않는다고 보시면 됩니다. 다만, 트위터와 같이 속보성이 중요한 컨텐츠의 경우에 있어서는 트위터에 새로운 트윗이나 리트윗이 올라온 시점과 검색엔진의 색인에 반영되는 시간차를 최소화할 수 있어야 합니다. 한마디로 근실시간 검색이 가능하도록 해야 합니다.

위에서 많이 보편화되었다고 말씀 드렸지만, 실제로 다이나믹 색인은 기술적으로나 운영을 위한 인프라 측면에서 고급 검색기술에 속하고 인프라도 많이 소요됩니다. 트위터와 같이 속보성이 중요한 데이터를 근실시간 검색을 하자면 검색엔진이 빠른 다이나믹 색인속도를 낼 수 있어야 하고 그에 따른 인프라가 필수적으로 지원되어야 합니다.

그래서 트위터 검색결과가 별로라고 많이들 이야기하는 이유도 서비스 운영주체로서 모든 정보를 가지고 있음에도 트위터 특성을 살린 검색이 안되기에 구글이나 MS와의 제휴에 나서는 것인지도 모릅니다.


대화검색

트위터 검색이 주목을 받으면서 트위터 검색 = 실시간 검색이라는 이야기를 하는 분들이 계신데요. 제가 보기에는 실시간 검색이라는 특징(정확하게는 근실시간 검색)을 가지고 있는 대화 검색이라고 부를 수 있을 것 같습니다.

트위터를 검색한다고 하면 특정 트윗 하나만 근실시간으로 검색하면 되는 것이 아니라 트윗과 해당 트윗에 대한 리플라이와 리트윗 등을 함께 검색할 수 있어야 하는데, 이를 위해서는 대화를 추적해야 하고 이는 결국 대화뭉치를 검색할 수 있는 검색이 되어야 합니다.

Not getting Involved
Not getting Involved by TarikB 저작자 표시비영리

즉, 검색대상 데이터가 트위터의 트윗과 같은 속보성을 띠는 대화뭉치를 대상으로 하는 검색을 실시간 검색으로 부르기 보다는 대화 검색이라고 부르는 것이 맞아 보입니다. (소셜검색이라고 하는 분도 있는데, 소셜네트워크의 컨텐츠를 검색하는 것이 소셜검색이 아닙니다. 관련해서는 별도로 포스팅을 하겠습니다.)

아무튼 최근 검색엔진과 관련해서는 의미를 이야기하거나 실시간을 이야기 하는데, 결국 소셜미디어와 소셜네트워크의 발전으로 인해서 새로운 형태의 컨텐츠들이 생산되고 있기에 대화검색과 같이 이를 제대로 검색할 수 있는 새로운 시도가 계속되어야 할 듯 합니다.


 마루날의 雜學辭典|잡학사전을 RSS리더로 편하게 구독하세요~
(아래 손가락을 눌러주셔도 PC에 아무런 이상이 없습니다.)

저작자 표시 비영리 변경 금지
신고

마루날 정보검색 검색엔진, 근실시간 검색, 대화검색, 소셜네트워크, 실시간 검색, 정보검색, 차세대 검색엔진

  1. 국내최초 실시간검색 - 라이브K (http://www.livek.com)

  2. 한번 잘 살벼와야겠군요 ^^

  3. 멋진 글 잘보았습니다. 라이브K 공식블로그(http://blog.livek.com)에서도 많은 이야기를 나누어요...

인기검색어의 유혹

2009.10.06 18:37
정보 수용의 한계

검색엔진에서 가장 유용한 통계 중 하나는 질의어 로그입니다. 말 그대로 검색어 입력 창에 사용자가 직접 입력한 질의어들이 시간순서 별로 로그에 남게 되는데, 이 데이터를 분석해서 검색엔진 운영차원에서 어떤 컨텐츠를 보완해야 할지, 검색결과의 품질은 어떠한지 등을 검토합니다.

roads and railways series #4
roads and railways series #4 by woodleywonderworks 저작자 표시

인터넷 공간에 생산되어 유통되는 컨텐츠의 량이 폭발적으로 늘어나서 한 사람이 가지고 있는 인지능력 및 시간의 제약으로 소화해 낼 수 있는 정보의 량이 한계가 있기 때문에 검색엔진을 통해서 자신이 원하는 정보나 컨텐츠를 찾아서 소비하게 되고, 사용자들이 검색엔진에서 사용한 질의어가 로그로 남게 되면서 새로운 상황이 전개됩니다.

이 질의어 로그가 인기검색어라는 이름으로 가공[각주:1]되어서 공개되면서 소비자이자 사용자인 일반 대중의 관심을 알 수 있게 되었습니다. 인기검색어가 순식간에 주목을 받을 수 있었던 것은 사용자들의 관심사가 무엇인지 아는 것이 기업의 마케팅과 판매의 핵심 이슈인데, 사용자들이 직접 자신의 관심사를 들어내어 표현한 검색어만큼 신뢰할 수 있고 확실한 자료는 없기 때문입니다.


자신의 니즈 표출

아무리 사람들의 자기 표현이 적극적이고 자유로운 시대가 되었다고 해도 정말 알 수 없는 것이 사람들의 관심사이고 그들의 니즈이고 그들의 욕구입니다. 사실 사람이 자신의 욕구를 명확하게 니즈로 드러내는 것 자체가 불가능한 일이기 때문에 자신의 욕구를 니즈로 구체화해서 ‘키워드’라는 실체로 드러낸다는 것 자체가 너무나 놀라운 현상이기도 합니다.

(제가 생각하는 니즈와 욕구의 차이는 목이 말라서 뭘 좀 마시고 싶다는 것은 ‘욕구’이고 그래서 콜라를 마시고 싶다고 하는 것은 ‘니즈’라고 생각합니다.)

bookshelf spectrum, revisited
bookshelf spectrum, revisited by chotda 저작자 표시비영리변경 금지


인기검색어의 문제점

우선 인기검색어의 문제점은 데이터의 표현이 키워드라는 점입니다. 위에서 잠깐 설명을 드렸지만, 자신의 니즈를 키워드로 명확하게 드러낸 것이 아니라, 자신의 욕구가 생겨나고 니즈가 불확실한 상황에서 적당한 키워드를 이리 저리 넣게 되면서 키워드만으로 알 수 있는 정보가 한계가 있고 또한 키워드 자체가 중의성을 가지고 있는 상태라면 해석의 문제가 불거지게 됩니다. (물론 인기검색어를 깊이 있게 해석하지 않으면 됩니다만)

또 하나는 가공의 문제입니다. 모든 포털 업체들이 일체 인위적인 가공은 없다고 하지만, 실제로 공개되는 인기검색어가 실제로 가장 많이 입력된 검색어는 아니고 또한 상시적으로 관리하는 블랙 키워드류의 관리를 통해서 가공이 되기에 언제나 공급자의 의지가 반영될 수 있습니다.

이 놈의 인기검색어의 또 다른 문제점은 지금의 포털이 있게된 동력이기도 합니다만, 자신의 욕구와 니즈로 명확하지 않은 상태에서 이러 저러한 키워드를 계속 질의어로 입력하다가 어느 순간 추천검색어나 인기검색어를 통해서 의도하지는 않았다고 주장하는 특정한 컨텐츠로 쏠릴 수 있는 지점이 될 수 있습니다.
아마도 가장 많이 경험한 일이겠지만, 검색엔진에 뭔가를 찾으러 갔다가 실시간 인기검색어에 올라오는 특정 인기검색어를 누르다가 웹서핑을 하고 있는 자신을 발견하는 경우가 많습니다.


그렇다면

인기검색어의 태동은 순수한 의도였겠지만, 결국 인기검색어 순위는 피리부는 아저씨의 피리소리 같이 양날의 검[각주:2]이 된 것이 사실입니다. 어떤 쪽으로든지 포털 업체에서는 손해 볼 일은 없지만, 사용자 입장에서는 가공이라는 측면에서든 인기검색어 조작이라는 측면에서든 언제나 왜곡된 정보에 노출될 수 있는 상황이라는 겁니다.

단순히 검색엔진이 정보를 찾아주는 도구에서 특정한 컨텐츠를 몰고 갈 수 있는 피리가 되면서 이런 문제를 안고 가게 되었는데요. 이런 왜곡이 내/외부적으로 가능한 상황에서 어떤 해결책을 고려해야 할까요?

결국 사용자의 관심사가 무엇인지를 알고 싶다는 점인 것 같습니다. 사용자의 관심사가 무엇이고 어떤 이야기를 하는지를 알아야 하는데, 이를 위해서 제일 좋은 것은 인터넷을 꾸준히 모니터링하는 일이겠죠?

인기검색어라는 키워드가 주는 한계를 넘어서 사용자들이 이야기하고 있는 스토리에 관심을 가져야 하는 시점이 된 것 같습니다.



 마루날의 雜學辭典|잡학사전을 RSS리더로 편하게 구독하세요~
(아래 손가락을 눌러주셔도 PC에 아무런 이상이 없습니다.)

  1. 가공이 될 수 밖에 없는 것이, 실제로 질의어 로그를 보면 스팸성이나 성인용 질의어 등 걸러져야 하는 질의어가 상당수 포함이 되기 때문에 1차적인 필터링이 필요합니다. [본문으로]
  2. 사용자들의 관심사를 알려주는 순기능과 함께 언제라도 특정한 이슈로 몰아갈 수 있는 역기능이 존재합니다. [본문으로]
저작자 표시 비영리 변경 금지
신고

마루날 정보검색 검색엔진, 순위조작, 인기검색어, 정보검색

  1. 그래서 결국은 누군가의 개입의 여지가 없는 순수한 버즈이 측정이 중요한 요소로 부각되겠죠.
    객관적이고 좋은 데이터로 좋은 서비스 만들어 주세요.

  2. 제 의도를 눈치채셨군요 ^^

검색의 미래는 정보를 꿰는 역량에 달려있다. FirstRain

2009.09.23 14:16
FirstRain 아세요? 자주 가는 블로그에 올라온 포스트를 통해서 알게 된 업체 입니다.



요즘처럼 한 사람이 인지하고 처리할 수 있는 한계를 넘어선 정보의 홍수시대에는 검색엔진이 정보를 잘 찾아주는것은 기본이고 정보를 잘 정리해주어야 합니다. 말 그대로 구슬이 서말이어도 꿰어야 보석인 것처럼 넘쳐나는 정보를 잘 정리해서 제공할 수 있는 역량이 매우 중요합니다.

FirstRain은 자신들의 솔루션을 검색엔진이라고 부르지 않고 Research Engine이라고 부릅니다.

[출처 : http://www.firstrain.com/Platform.php]


위의 그림을 보면 FirstRain의 Research Engine은 정보를 찾아서 분류한뒤 비즈니스와 매니지먼트에 필요한 정보를 추출합니다.

FirstRain의 Research Engine을 보면서 눈에 띄는 부분은 Categorize 입니다.

이 부분이 재미있는데요. 위의 링크한 포스트에서도 나오지만, 음악이나 영화 검색과 같이 해당 컨텐츠가 가지고 있는 특성을(예를 들어서 음악의 경우 제목, 가수, 작사, 작곡 등으로 구성된 컨텐츠) 반영해서 검색을 하면 검색결과에서 컨텐츠의 특성을 반영한 형태로 정리된 결과를 제공하면 훨씬 편리하고 직관적인 검색이 가능합니다.

마찬가지로 비즈니스와 관련된 검색을 하는 경우에 있어서도 비즈니스 관련 컨텐츠로 부터 사용자가 원하는 정보를 개별적으로 추출하여 검색에 반영한다면 훨씬 더 정확한 결과를 얻을 수 있을 겁니다.

클릭 : 관련 데모 영상

예를 들어서 위의 검색 데모에서도 나오지만, 애플을 검색어를 입력하면서 사용자는 주가, 상품정보, 스티브 잡스 관련 등 애플이라는 회사의 다양한 특성을 반영한 결과를 얻기를 원하는데, 이를 Multi-faceted Categorization을 통해서 제공합니다.

사실 이 부분은 새로운 기술이라고 불 수는 없습니다만, 사용자들이 입력하는 검색 질의어는 기본적으로 중의적인 특성이 있고 사용자들이 알고자 하는 정보에 대해서 구체적으로 질의어를 입력하지 못합니다.

따라서 이를 위해서 애매하고 단순하게 입력한 검색어에 대해서 관련된 정보를 다방면으로 정리(분류)하여 제공하는 것은 매우 효과적으로 검색 결과를 좋게 만들 수 있습니다.

여전히 우리나라에서 네이버가 1등을 놓치지 않는 것은 비유를 들자면 목마른 사람들에게 물은 주는데, 소방호스를 사람들에 입에 갖다 대는 것이 아니라 먹기 좋게 예쁜 잔에 담아서 내는 것이기 때문입니다.

결국 검색의 미래의 승자는 정확한 검색결과가 아니라 수 많은 정보를 잘 꿰어서 인사이트를 줄 수 있어야 합니다. 검색결과를 단순하게 제공하는 것이 아니라 정답을 제공하고 정보의 의미를 뽑아 낼 수 있어야 할 것 같습니다.

그런점에서 FirstRain의 Research Engine은 이름 하나는 제대로 지은 것 같습니다.



 마루날의 雜學辭典|잡학사전을 RSS리더로 편하게 구독하세요~
(아래 손가락을 눌러주셔도 PC에 아무런 이상이 없습니다.)

저작자 표시 비영리 변경 금지
신고

마루날 정보검색 FirstRain, Research Engine, 검색엔진, 미래 검색엔진, 정보검색

VIZOOO를 아세요?

2009.09.10 08:30
패션검색 VIZOOO를 아십니까?

저는 이 서비스를 비주얼 서치분야의 모범답안이라는 생각이 들어서 꾸준히 관심을 갖고 지켜보고 있습니다. 우리나라처럼 네이놈의 일방적인 독주체재에서 새로운 시도가 계속되려면 크고 작은 성공사례가 계속 나와야 하는데요. 그런점에서 저는 VIZOOO를 기대주로 보고 있습니다.



보시면 아시겠지만, 현재 VIZOOO는 패션 카테고리에 한정되어 비주얼 서치를 제공하고 있습니다. 다들 짐작하시다시피 패션이야 말로 비주얼이 가장 중요한 요소이기 때문인 것으로 보여집니다.

아직까지 텍스트(text)의 한계를 가지고 있는 검색서비스가 멀티미디어 검색으로 나아가려면 결국 어떤식으로 든지 돈을 벌 수 있어야 하고 돈이 된다는 것이 증명되어야 너도 나도 뛰어들거라고 생각합니다.

작년에는 엔써즈를 비롯한 동영상 검색 서비스들이 눈에 띄더니 올해는 비주얼 서치를 표방한 회사들이 보여지고 있습니다. 인터넷 컨텐츠들이 텍스트에서 이미지나 동영상으로 변화하는 상황에서 보자면 자연스러운 모습입니다.

새롭게 비즈니스를 하는 사람 입장에서 일반 사용자들에게 서비스에 대한 피드백을 받는 것은 쉬운 일이 아닙니다. 비즈니스라는 것이 항상 경쟁상황에 놓여 있기 때문에 기획의도나 사업에 대한 비전을 100% 오픈하지 못합니다.

그러다보니 일반 사용자를 대상으로 서비스에 대한 의견을 듣다 보면 전혀 다른 방향에서 이야기를 하거나 피드백을 주는 경우[각주:1]에는 안하니만 못하다는 내부적인 생각이 들기도 합니다. 그러면에서 이렇게 같이 이야기를 해보자고 하는 것은 그만큼 자신이 있다는 것인가 봅니다. ^^;;



아직 시간도 많이 남았고 자리도 많이 남았으니 한번 신청해 보세요. 새로운 검색 응용 트랜드를 볼 수 있지 않을까 기대가 되구요. 무엇보다 요즘처럼 어려운 시절에 어떻게 돈을 버실 건지 궁금하지 않나요? ^___^

무엇보다 이런 스타트업들이 많은 격려와 충고를 받아서 성공해야 우리나라 인터넷 비즈니스 생태계가 더 성장하고 건강해 질 거라고 생각합니다.

뱀다리) 저는 VIZOOO와 이해관계가 전혀없습니다. 아직은요 ^^



 마루날의 雜學辭典|잡학사전을 RSS리더로 편하게 구독하세요~
(아래 손가락을 눌러주셔도 PC에 아무런 이상이 없습니다.)

  1. 물론, 사업자가 잘못된 기획이나 사업방향을 잡았을 수도 있습니다. 하지만 이미 부어놓은 돈이 있어서 쉽게 방향을 돌리기 어렵기에 .. 이 경우 더더욱 듣고 싶은 것만 듣고 싶고, 보고 싶은 것만 보게 됩니다. [본문으로]
저작자 표시 비영리 변경 금지
신고

마루날 Business VIZOOO, 검색엔진, 비주얼 서치, 정보검색, 차세대 검색, 패션검색

  1. 허거걱... 이렇게 저희 간담회 공지까지 해주시니 몸둘바를 모르겠습니다.
    관심 가지고 지켜봐 주시는 만큼 새로운 시도가 의미있게 살아남아야 할텐데...
    아직도 갈 길이 멉니다. 잘 준비해서 즐겁고 유익한 시간이 되도록 하겠습니다. 감사합니다.

  2. 간담회때 뵙겠습니다. ^^

hakia vs. Google 결과는?

2009.07.15 10:02
hakia

Semantic search를 한다고 하는 업체가 몇개 있는데, 작년에 MS에 인수된 PowersetHakia가 대표적이다. Semantic search라고 하면, 사용자의 질문의 의도와 뜻을 이해하여 검색결과를 제공하는 검색이라고 할 수 있다.

2007/06/18 - [검색엔진]Hakia

하지만, 사용자의 질문의 의도와 뜻을 이해하기보다는 질문과 의도를 문장으로 받아서 처리하는 수준이지, 의도와 뜻을 이해하지는 못하고 있다. 개인적으로 의도와 뜻을 파악하는 것은 최소한 추론이라는 과정이 있어야 그나마 뜻과 의도를 이해한다고 이야기할 수 있는 것 아닌가 생각된다.

어찌되었든 Powerset이나 hakia 모두 구글에 대한 대항마라기 보다는 구글이 제대로 하지 못하는 문장단위의 질의를 처리하여 검색하는 '자연어 검색'분야의 선두주자라고 할 수 있다.


hakia vs. Google

그런데 재미있게도 Hakia는 자신들과 구글( + 야후, MS)을 비교해서 자신들이 훨씬 낫다는 서비스를 제공하고 있다. (hakia와 비교 말고도 구글, 야후, MS가 간접비교를 할 수 있으니 테스트해보시기를)


접속을 하면 자동으로 'penguins'라는 질의어가 입력되고 위의 이미지처럼 검색결과가 비교가 된다. 확실히 hakia의 검색결과가 구글에 비해서 연관도(relevancy)가 높아 보인다.

몇가지를 더 테스트해보면 알겠지만, 내가 입력한 질의어와 연관있는 결과가 나와서 정확하게 보이는데, 결국 자연어 검색이라는 것을 통해서 단순히 문서에서 질의어가 많이 나온 순서대로 결과를 보여주는 것이 아니라 구문 관계나 의미 관계까지 고려를 해서 결과가 나오기에 훨씬 더 정확해 보이는 것 같다.

자연어 검색

그럼 다시 자연어 검색이 대세가 될까? 위에서도 잠깐 언급했었지만, hakia나 Powerset 모두 구글의 대항마라기 보다는 구글의 부족한 부분을 파고드는 니치 마켓(niche market) 검색이라고 할 수 있겠다.

특히나 우리나라에서는 자연어 검색이라는 것은 한물 지나간 기술로 취급받고 있고, 실제로 대학에서 자연어 검색을 연구하는 곳도 많이 줄어들고 자연어 검색을 전공하는 대학원생도 줄어들고 있다.

자연어 기술과 시장 관련해서 모란소프트의 조영환 대표님이 좋은 말씀을 해주셨는데, 결국 돈이 되지 않는 기술이라고 시장에서 생각하고 있는 것이 현실이기는 한데, 자연어 기술이라는 것은 대단히 중요한 원천기술인데 더 이상 연구개발할만한 새로운 주제가 없어서 그런지 몰라도 투자도 제대로 이루어지지 않고 관련 회사도 많이 없어지는 것이 안타까울 따름이다.

현재 대부분의  자연어처리 기술 관련 인력은 주요 포탈에 흡수되어 있지만 이렇다할 만한 성과를 보여주지 못하고 있는 것도 현실이다.

아무튼 우리나라도 다시 hakia와 같은 새로운 도전을 해 줄 수 있는 검색엔진이 나타나기를 빌어본다.


 마루날의 雜學辭典|잡학사전을 RSS리더로 편하게 구독하세요~


신고

마루날 정보검색 hakia, 검색엔진, 구글, 자연어 검색, 자연어처리, 정보검색

  1. 국내에서도 자연어 검색중에서 의견 검색 이라는 분야에 있어서 http://buzzni.com 에서 조용히 서비스를 하고 있습니다. 세계적으로 보았을때에 의견 검색 분야가 앞으로 활발히 연구 개발 될것으로 보이는데, 이 분야에 있어서 세계 최고 업체가 되기 위해 노력중입니다. ^^

  2. 아..네 저도 유심히 지켜보고 있습니다. ^^
    혹시 관계자 분이신가봐요?
    잘 되시기를 빕니다.

MS Bing은 왜 이렇게 오픈을 한걸까?

2009.06.02 12:51
bing을 오전 내내 사용해 보았다. MS에서 구글과의 정면승부를 위해서 준비한 것이 bing인데 결론부터 이야기하자면 최소한 우리나라 사용자의 기대치에 한참 모자라는 서비스인 것 같다.

요즘 회사에서 사업부원들과 이야기할 때마다 강조하는 것이 세가지 있다. 1. 우리의 고객은 누구인가? (Customer) 2. 목표 고객의 니즈는 무엇인가? (Needs) 3. 목표 고객의 니즈를 채워줄 수 있는 경쟁사와 차별화된 우리가 제공하는 가치는 무엇인가? 이다.

자칭 CNV 프레임워크라고 부르짖고 있는데……

bing에 대해서도 CNV 프레임워크를 적용해보자면,

Customer: 정보를 찾는 사용자
Needs: 자신이 원하는 정보
Value: 음……

우리나라 검색사용자들의 대표적인 니즈는 단순한 검색결과가 아닌 ‘정답’을 원한다. search를 하고 result를 확인하는 것이 아니라, ask하고 answer를 원한다.

네이버를 1등으로 만들어준 지식검색이 뜬 이유가 그리고 최근 블로그가 폭발적인 관심을 받고 있는 것이 바로 한국의 검색엔진들이 원하는 아니, 검색엔진 사용자들이 원하는 answer를 얻기에는 적합한 컨텐츠이기 때문이다.

answer를 원하는 사용자들에게 제공할 수 있는 차별화된 가치는 뭘까? 쉽고 빠르고 정확하게 원하는 답을 찾을 수 있는 결과라고 할 수 있겠다.

트위터 사용법이라고 질의어를 던져보면

MS bing에서의 '트위터 사용법' 검색결과


35000개의 bing의 결과와 359,000개의 구글의 결과는 베타 서비스라고 해도 우선 량의 차이가 10배 이상이 나기 때문에 사용자에게 그만큼 신뢰(모든 정보를 다 찾을 수 있다는)를 주지 못할 것 같다.



구글에서의 '트위터 사용법' 검색결과


첫 페이지의 검색결과를 가지고 검색의 정확도를 실감하는 사용자들이 많은데,(물론 검색결과를 정량적으로 계산해보면 그리 큰 차이가 나지 않을 수 있지만) 대충 살펴봐도 첫 페이지에 트위터 사용법에 대해서 정확하게 나오는 것은 구글인 것 같다.

우리나라 사용자들에게 네이버에 의해 학습된 통합검색 화면은 거의 절대적으로 먹혀 든다. 천하의 구글마저도 흉내 내고 있지 않은가? 최소한 국내에서도 서비스를 보여주려고 한다면 뭔가 차이점이 나는 뭔가를 보여주기를 바라는 것은 나의 너무나 큰 바램일까?

빨강색 부분을 클릭해보면

난데 없는 티스토리 '트위터' 검색 결과가 나온다


중간에 난데 없이 티스토리에서 ‘트위터’를 검색한 링크가 검색결과로 노출이 되는데, 음.. 일종의 메타검색도 하는 건가 싶은데, 난데 없다. 

물론 미국 시장을 겨냥한 서비스이기 때문에 서너 시간의 사용만으로 결론을 내리는 것은 위험한 일이지만, 오픈 전에 동영상으로 보여주었던 새로운 검색 경험이라는 부분은 뭘 말하는 건지 도저히 찾아볼 수가 없다.

아무리 beta라는 딱지를 붙였다고는 하지만, 야후가 맛이 가면서 구글의 대항마로 기대를 모으고 있는 MS가 고작 이정도 밖에 할 수 없나 하는 부분에서 상당히 실망스러운 bing의 첫인상이다.


 마루날의 雜學辭典|잡학사전을 RSS리더로 편하게 구독하세요~
신고

마루날 정보검색 bing, MS Bing, 검색서비스, 검색엔진, 구글, 정보검색

  1. 새로운 대항마로는 부족한 모습입니다. 동영상 미리보기 기능도 포르노물 써치의 기능으로 활용되는등 문제가 많다고 하네요. 모든 서비스가 출발 부터 좋지는 않겠지만, 큰 회사가 하는 서비스 치고는 아직 부족한 듯합니다. 아님 우리가 너무 한국적인 정서로 바로보는지도 모르겠지만...

  2. 미국에서의 평가는 우호적인것 같더군요.

    원래 MS가 한국시장 그렇게 공들이는 시장도 아니었으니 한국어 버전은 그냥 언어팩정도만 붙어서 나온거로 보이네요

    bing이 오픈되기전에 돌아다니던 동영상은 좀 놀라웠는데, 실제로 사용해보니 아직은 실망입니다.

  3. 역시 현장감이 느껴지는 포스팅 입니다^^.

  4. zinicap님의 글에 비하면 아무것도 아닙니다. ^^

  5. 크롤링의 절대량이 아직 부족한게 아닐까 싶습니다.

  6. 네.. 그런면도 있는 것 같습니다.
    아쉬운 것은 한글에 대한 색인이나 랭킹 방식에 뭔가
    문제가 있어 보입니다.

지미 웨일스, 위키아 서치 포기하다

2009.04.01 09:31

[출처 : 위키피디아]

집단지성의 대표 서비스인 위키피디아를 설립했던 지미 웨일스(옆에 사진에 자신만만한 아저씨)가 야심차게 도전했던 wikia search를 포기하기로 공식적으로 결정한 것 같다.

관련기사 : Wales giving up on Wikia Search

위키아 서치는 사용자들이 검색결과 랭킹에 참여하게 해서 만드는 소위 user-generated search engine을 지향했었던 서비스였는데, 결국 포기를 선언해 버렸다.

이미 검색서비스들은 대부분 질의어나 사용자들의 click stream 등과 같은 기본적인 정보를 검색결과에 반영하고 있어서 사용자들은 잘 모르지만 어느 정도의 사용자가 참여하는 아니 사용자의 경험이 만들어가는 검색서비스라고 볼 수도 있다.

위키아 서치 검색결과


지미 웨일스가 포기한 이유는 사용자의 수가 너무 미미한 수준이고, 지금처럼 경제상황이 안 좋을때 위키아 서치와 같은 프로젝트를 운영하는 것이 부담이 되었던 것 같다.

여러번 이 블로그를 통해서 이야기 하지만, 검색서비스라는 것은 굉장히 길게 보고 가야하는 프로젝트이다. 어쩌면 네버엔딩 프로젝트 일 수도 있는데, 어느 수준까지 도달하는 것은 매우 쉽지만, 그 이상을 넘어서 검색서비스 마켓 쉐어를 건드릴만큼 되려면 매우 어렵기 때문이다.(돈과 시간의 문제이지)


지미 웨일스가 위키아 서치는 포기하지만 우리나라의 지식검색과 같은 위키아 앤써즈 서비스는 계속해서 운영한다고 한다. 어쩌면 위키아 서치보다는 더 사용자가 참여하기에 직관적이기에 위키아 앤써즈의 폭발적인 성장을 기대하는지도 모르겠다.

이런 외국의 서비스를 볼때마다 네이버 지식in이 경이롭다.


결국 트래픽이 돈이 되는 인터네 서비스 비즈니스에서 위키피디아라는 역사적인 성과를 거둔 지미 웨일스도 경제 위기의 직격탄을 맞은 것 같다.

이 시점에서 궁금한 것은, 구글에서도 서치위키라고 하는 사용자 참여형 검색서비스가 제공되고 있는데, 위키아 서치가 이렇게 포기해버린 마당에 과연 구글이 계속 서치위키를 서비스할 지 궁금하다.

 [정보검색] - 검색의 Collective Filtering + SN = 구글 서치위키

어째거나 지미 웨일스가 새롭고 놀라운 서비스로 우리를 놀라게 해주었던 것처럼 우리나라에도 이렇게 경기가 안좋은 상황에서도 우리를 놀라게 하는 도전과 시도가 계속되었으면 좋겠다.


 마루날의 雜學辭典|잡학사전을 RSS리더로 편하게 구독해서 보세요~
신고

마루날 정보검색 검색엔진, 위키아 서치, 위키아 서치 포기, 위키아 앤써즈, 정보검색, 지미 웨일스

새로운 네이트 검색을 사용해보니

2009.03.09 13:46
검색이라는 것이 어느 수준까지는 아주 쉽게 접근하고 구축하고 서비스가 가능하지만, 어느 수준을 넘어서면 그때부터는 넘을 수 없는 사차원의 벽 같은 것이 느껴진다.

보통 서비스나 솔루션이든 제품이든지 간에 소비자나 사용자의 '니즈'를 알고 그 니즈를 채워 줄 수 있는 '가치'가 우리의 서비스, 솔루션 또는 제품에 있다면 소비자나 사용자는 소비하고 사용하게 된다. (물론 여러가지 예외나 고려사항을 무시하고 단순화해서 말하면 그렇다는 것이다.)

이번에 개편된 네이트 검색을 살펴보니, 2009/02/16 - [정보검색] - 네이트의 도전에서 걱정했던 대로 찻잔속의 태풍으로 그칠 것 같아 보인다.

사실 네이트를 볼 때마다 느끼는 것은 '답답함'이다. SKT와의 시너지효과를 내지 못하는 것의 답답함이 그것인데, 반대로 SKT를 볼 때마다 역시, 답답함을 느낀다. 이번 네이트의 개편에서 '네이버와 이름만 비슷한 게 아니라 이제는 화면도 비슷하다'는 소리를 듣고 있지만, 개인적으로 이번에 개편된 네이트의 검색은 '뭔가 포스팅할 거리 조차도 없다'

검색의 질을 떠나서 검색결과에 왜 그렇게 광고가 많은지.. 좀 적당히 해서 원래 내가 찾고자 하는 정보를 찾을 수 있도록 조금만 신경써주면 안될까 하는 생각만 든다.


네이트는 유무선 연동이 가능한 개인화 검색을 가장 잘 할 수 있을 가능성이 높은 회사이다. (솔직하게는 '줘도 못 먹는' 상황이 벌어질 가능성이 그만큼 높아 보이기도 한다)

무선 컨텐츠 활용정보를 통해서 사용자의 Profile, Location, Preference를 엮은 개인화의 중요한 기본 데이터를 모아서 웹 사용자를 위해 활용한다면, 진정한 의미의 개인화 검색은 아니어도, Collective Filtering이 기반이 되는 검색을 통해서 사용자들의 '공감'을 얻어낼 수 있을 텐데...

이리 저리 주워 들은 바에 의하면 제각각 시도 하고 있다니.. 배가 산으로 갈 가능성이 그만큼 높아 보인다.

개인적으로 메타 검색 위젯을 활용해서 구글, 다음, 야후를 주로 사용하고 가끔 네이버와 엠파스를 이용하는데, 이번 개편이후 1주일 넘게 네이트 검색을 사용해보면서 내가 내린 결론은 아마도 네이트와 합쳐진 엠파스 보다는 파란을 더 사용할 것 같다는 느낌이다.


 마루날의 雜學辭典(잡학사전)을 RSS리더로 편하게 구독해서 보세요~

신고

마루날 정보검색 검색엔진, 네이트, 네이트 검색, 정보검색

  1. Blog Icon
    흠~

    네이트 검색 개편됐다고 해서 검색했다가 우연히 들릅니다.
    예전 네이트 검색은 없잖아 불편한 점이 있었으나 개편하고 난 후는 확실히 달라진 모습을 보이네요.
    물론 사용자마다 느끼는 차이가 있겠지만,
    늘 검색하는 범위를 설정해주어야했던 (블로그/카페 등) 기존 포털과 달리
    주제별로 빠르게 원하는 정보를 캐치하게 해줄 수 있는 점은 무척 고무적인 것 같습니다.
    인물검색도 꽤 좋아진 듯 하구요.
    (여담이지만 검색만 하다보니 꽤 재밌더라는ㅋㅋ시간가는 줄 모르겠더군요)

    여튼 전 요즘 X이버보다는 네이트 많이 쓰게 되네요
    의외로 편리합니다.

  2. 저도 새롭게 바뀐 네이트를 가끔 사용해보는데요.
    솔직히는 얼마나 좋아졌는지 잘 모르겠습니다.

    검색 대상 데이터가 충분히 많아야지 검색기술에 따른
    품질 차이가 느껴지는데요.

    검색해 보면 량에서는 우선 부족함을 느끼거든요. ^^

검색의 Collective Filtering + SN = 구글 서치위키

2009.01.22 10:38
사용자 참여형 검색서비스

지난번 검색서비스의 미래 포스팅에서 언급했던 검색에서의 사용자 참여형 서비스가 구글의 서치위키이다. 우리나라도 사용자 참여라는 측면에서 꽤 성공한 서비스가 있다.

검색서비스라고 우기는 네이넘의 지식in인데, 사용자참여형 서비스는 맞지만, 검색서비스가 아니라 검색을 위한 컨텐츠 구축 시스템일 뿐이다.


구글(영문)에서 VOC라고 검색을 하면 다음과 같이 검색결과가 보여진다.


구글코리아의 검색결과와 달리 SearchWiki라는 것이 보인다.

구글의 SearchWiki 서비스는 크게 3가지 기능이 제공되고 있다.
  1. 검색결과 랭킹 조정
  2. 검색결과 코멘트 추가
  3. 검색결과 리스트에 추가/삭제

구글 SearchWiki

1. 검색결과 랭킹조정


검색결과 리스트에서 특정 결과의 순위를 조정하려면, 검색결과 리스트의 제목 오른쪽 ↑버튼을 클릭하면 해당 결과가 검색결과 리스트 최상위에 위치하게 되고 다음과 같은 화면이 나온다.


이 상태에서 ↓버튼을 클릭하면 결과가 한개씩 아래로 움직인다.

2. 검색결과 코멘트 추가

검색결과에서 Similar pages 옆의 말풍선 모양의 버튼을 클릭하거나 랭킹조정 버튼을 클릭하면 아래와 같이 코멘트를 추가할 수 있는 화면이 보여지고 여기에 적절한 코멘트를 남길 수 있도록 되어 있다.


3. 검색결과 추가/삭제

검색결과의 삭제는 검색결과 랭킹조정을 위한 ↑ 버튼 옆의 X버튼을 누르면 되고, 검색결과의 추가의 화면 하단에 Add a result를 누르면 URL을 등록할 수 있도록 되어 있다.



사용해보니

검색결과에 대하여 사용자들이 랭킹을 조정하거나 검색결과를 추가/삭제할 수 있도록 한 것은 자연스럽게 사용자들의 참여를 유도하게 한 것으로 보여진다.

한두사람에 의해서 검색결과가 조작될 가능성도 없지는 않지만 아마도 비정상적인 랭킹조정 시도에 대하여 적절한 대응책이 있을 것 같고, 말 그대로 사용자들에 의해 검색결과가 걸러지는 Collective Filtering이 검색서비스에 적용이 된다면 지금보다 더 정확한 결과가 제공될 것 같다.

또한, 내가 던진 VOC라는 질의어는 Voice of Customer의 약자인데, 실제로는 휘발성 유기화합물 [Volatile Organic Compounds : VOC]로 더 많이 사용되어 진다.

그래서 써치위키와 같은 서비스가 있다면 VOC와 같이 서로 다른 의미로 사용되는 질의어를 걸러내는데도 매우 효과적일 것으로 보여지고 무엇보다 개인화 검색과 이를 바탕으로 비슷한 프로파일을 가지고 있는 사람들의 검색결과를 공유하는 등의 SN 역시 가능할 것으로 보여진다.

여러번 언급했었지만, 검색이라는 것이 정보의 소비와 유통의 도구가 되어버린 지금 구글이 검색결과에 개인화와 SN까지 품게 된다면 지금보다 더 독보적인 위치를 차지할 것으로 보여진다.

아.. 물론 이런 번거로운 작업을 누가할 것인지 궁금하겠지만, 위키피디아를 보라!
내가 보기에는 이 서비스의 활성화는 시간문제인 것 같다.

SearchWiki라는 서비스명은 정말 잘 지은 것 같다.





 마루날의 雜學辭典(잡학사전)을 RSS리더로 편하게 구독해서 보세요~

신고

마루날 정보검색 검색엔진, 검색의 미래, 구글, 사용자참여형 검색서비스, 써치위키, 정보검색

  1. 검색결과의 퀄리티도 좋아진겠네여

  2. 네.. 사용자들의 참여가 더 나은 결과를 보장할 수 있는 컨셉인 것 같습니다.

2009년 검색서비스의 미래

2009.01.16 14:24
검색은 더 이상 정보를 찾는 도구가 아니다.

검색의 미래에 대해서 이야기 하기에 앞서서 컨텐츠(정보+서비스)에 대해서 먼저 정리를 해보아야 할 것 같다.

단순히 검색이라는 것은 정보를 찾는 수단이 아니라 이제는 정보를 유통하고 소비하는 방식이 된 것 같다.

한국형 통합검색이라는 괴물을 통해서 업계의 압도적인 1위가 되어버린 네이버는 항상 신뢰할 수 있는 컨텐츠의 확보에 회사의 사활을 걸었다.

그냥 검색포털이였다면 검색기술 자체에만 집중해도 되지만[각주:1], 통합검색이라는 이름을 걸고 자신들이 가지고 있는 정보와 컨텐츠의 유통/소비를 통해서 트래픽을 독점하여(나쁘다고 할 수 없다. 누구나 트래픽을 독점하고 싶을 테니까) 지금의 1등이 된 네이버에게 컨텐츠의 확보는 무엇보다 중요하다고 할 수 있다.


네이버의 방식

정보가 어디에 있다는 것은 관심 없고 사용자들이 관심을 가질 만한 컨텐츠를 쌓아야만 하는 것이 네이버의 운명이기 때문에 항상 컨텐츠의 생산 및 유통에 대하여 관심을 갖고 있었다.

그러다 보니 네이버 블로그의 펌질에 대해서 네이버가 미온적인 태도를 보이는 것은 네이버는 800만개에 달하는 네이버 블로그들의 펌질을 통하여(모든 네이버 블로그가 펌질을 한다고 할 수 없지만, 그 비율이 매우 높은 것을 사실이다.) 지식인에 이어 새로운 컨텐츠 생산, 유통단지의 역할을 하게 하려고 하는 것 같다

그리고 최근의 오픈캐스트 또한 사용자들이 자발적으로 캐스터가 되어 어쩌면 또 다른 방식의 컨텐츠 소비 및 유통방식이 되어주기를 바라는지도 모르겠다.

더 이상 검색이 정보가 어디에 있는지를 알려주는 서비스가 아니라 검색이 정보의 소비와 유통의 도구인 지금과 같은 검색만능시대에는 얼추 네이버의 시도가 소 뒷걸음질에 쥐 잡는 것 같은 형국이지만, 적절한 전략인 것 같기도 하다.


검색서비스의 미래

그렇다면 앞으로 더 나은 검색을 위해서는 정보를 잘 찾는 것이 아니라 정보의 유통과 소비를 위해서 네이버 펌로거와 오픈캐스트 발행인과 같은 개미떼가 필요한 것일까?

컨텐츠를 유통하고 소비한다는 입장에서 앞으로의 검색엔진의 변화될 모습에 대해서 생각을 해보자

정보의 위치가 아닌 정보자체를 알려주는 검색

검색결과는 아웃링크(지극히 한국적인 표현 아닌가? -_-)의 모임일 뿐이어서 원하는 컨텐츠를 찾기 위해서 사용자들은 클릭 & 브라우징을 여러 번 해야 한다.
지식in과 같은 Q&A류의 검색인 인기를 끄는 것은 컨텐츠를 소비하는 사용자들은 단지 정보가 필요한 것이 정보가 있는 곳을 가리키는 정보는(검색결과) 그다지 관심이 없다.

아마도 앞으로는 검색결과 페이지에서 해당 페이지를 직접 열어보지 않고도 해당 페이지의 주제와 요약 내용(지금처럼 단순히 질의어가 위치한 단락이 아닌)이 보여지는 형태로 발전할 것이다.

개인화와 Social Networking

그리고 개인화 부분이 가장 강력하게 작용할 수 있는 영역이 검색엔진을 통한 컨텐츠 소비가 아닐까 생각이 된다. 검색결과에서 사용자와 연관된 정보만을 제공하도록 될 것이다.

현실적으로 보았을 때 검색엔진과 Social Networking의 결합은 이미 시작되었다고 해도 과언이 아니다. 인기검색어류의 서비스가 검색엔진에서 던지는 미끼역할이 주이지만, 이 서비스는 사용자들의 관심사를 반영한다는 것에서 시작해서 질의어를 기준으로 자신과 비슷한 관심사를 가진 사람들이 클릭하여 열어본 검색결과를 일종의 Collective Filtering 형태로 조합을 할 수 있게 된다.

참고기사 : 구글, 개인 맞춤형 검색 서비스 준비중

느슨한 형태의 SN이 질의어와 검색결과를 통해서 만들어지지만, 여기에 검색결과에 대한 사용자들의 판단과 선호가 결합이 되면 말 그대로 정보를 재구성할 수 있게 되는 단계까지 가능할 것으로 보여진다.

유비쿼터스 & 모바일 검색

언제, 어디서나, 어떤 디바이스에 관계없이 정보를 소비하자면, 시공간 및 디바이스에 종속되지 않는 형태의 검색서비스는 필수적이다.

일요일 저녁마다 챙겨보는 패밀리가 떳다를 보면 최근에 재미있는 모습이 보이는데, 요리법을 찾기 위해서 모바일 검색을 한다. TV쇼에서조차 모바일 검색이 낯선 풍경이 아닌 시대가 된 것이다.

지난번에 이찬희가 사용하는 검색을 보니 구글 검색이었는데, 시공간 및 디바이스에 종속되지 않은 형태의 검색은 광고와 같은 가비지 없는 정제된 형태의 정확한 검색결과가 필요하고 지금으로서는 구글이 그나마 그 니즈에 가장 가깝지 않나 생각된다.

무엇보다 검색의 입출력 방식에 대한 새로운 시도들이 계속될 것 같은데, 예를 들면 음성 인식에 의한 질의어 입력이나 사진이나 동영상과 같은 멀티미디어 정보도 큰 어려움 없이 검색결과로 제공되어야 할 것이다.

메타검색과 전문검색

작년 한 해를 돌아보면 블로그, 동영상이나 이미지, 문서, 상품 등과 컨텐츠 별 검색이 가능하도록 포털의 검색결과를 조합해서 보여주는 메타검색이나 특정 컨텐츠에 특화된 검색서비스들이 등장하기 시작했다.

이제까지 한자리에 모든 정보를 보여주어서 편리했다면 이제는 사용자들이 선별적으로 자신이 원하는 정보만을 찾기 원하는 검색서비스를 원하는 시대로 접어든 것 같다.

단순 텍스트문서에 이미지를 거쳐 동영상에 이르기까지 다양한 형태의 컨텐츠들이 기하급수적으로 쌓여가는 인터넷 공간에서 검색의 존재는 이제 단순한 찾는 도구가 아닌 컨텐츠의 유통과 소비에 채널이 되어버렸다.

그에 비해서 국내의 검색서비스들은 갈길 이 멀어 보이기만 하다. 어쩌면 2009년도는 구글코리아의 약진이 두드러지는 한 해가 될지도 모르겠다.




 마루날의 雜學辭典(잡학사전)을 RSS리더로 편하게 구독해서 보세요~

  1. 물론 네이버가 검색기술 연구개발을 소홀히 한다고 볼 수 없다. 지금까지 확보한 인력 풀만 해도 그 인력으로 지금 수준밖에 못하는 것이 더 놀라울 뿐이다 [본문으로]
신고

마루날 정보검색 검색엔진, 검색의 미래, 구글, 네이버, 정보검색

Conversational Search, artiklz

2008.12.09 15:37
Artilklz

Conversational search라고 부르는 검색서비스이다. URL은 http://artiklz.com이다.

요즘 해외의 스타트업 홈페이지는 대부분 이렇게 단순하더라


도대체 conversational search라는 것이 무엇인지 궁금해서 홈페이지에 소개된 내용을 참고해보니, 블로그와 같은 소셜미디어를 통해서 언제, 어디서, 누가, 왜, 무엇에 대하여 이야기가 되고 있는지를 검색해주는 서비스이다.

Artiklz 소개 동영상인데, 영어라서 뛰엄 뛰엄 알아듣겠다. -_-;;



소셜미디어 검색의 미래

Artilkz는 단순히 웹문서를 검색하는 기존의 웹 검색과 달리 소셜미디어를 검색하되 소셜미디어는 사람들의 생각과 소통의 장소이기 때문에,

단순히 웹 문서만을 검색하는 것이 아니라 블로그, article, 사람에 대해서 댓글까지 검색한다는 컨셉인데, 검색이라기 보다는 일종의 모니터링 같아 보인다.

artiklz는 검색해보려고 하는 블로그, article, 사람을 설정해 놓고 변화되는 모습을 알려준다. 그런데 한글에는 적용이 안되는지 모르겠지만 결과를 볼 수가 없었다. -_-;;;

openID도 지원하기 때문에 별도의 가입없이 사용가능하다.


검색이라는 측면에서 Artiklz를 살펴보면, 앞으로 검색의 대상이 되는 정보는 정적인 형태가 아닌 동적으로 변화되는 형태가 되지 않을까 하는 생각을 해보게 된다.

블로그에 어떤 사람이 어떤 제품에 대한 이용후기를 올리면, 단순히 사람들이 찾아와서 보고 가는 것뿐만 아니라, 댓글을 남기고 트랙백을 걸면서 처음에 포스팅된 컨텐츠가 진화하여 또 다른 컨텐츠가 되어버리는 경우가 많다.

현재의 검색은 비유하자면, 스냅사진같은 검색이라고 할 수 있다. 소셜미디어를 통한 컨텐츠의 진화를 반영하지 못하고 단면만을 검색하는 것이다.

앞으로 소셜미디어를 대상으로 하는 검색은 소셜미디어를 통하여 사람들간의 소통이 만들어내는 컨텐츠의 진화된 모습을 그대로 담아낼 수 있는 동영상 같은 검색이 필요할 것 같다.

지금처럼 검색을 한다면 단순히 질의어에 대한 색인 결과(특정 문서에 키워드의 출현 위치 및 횟수를 반영한)로 문서리스트를 제공하는 것이 아니라, 검색결과에서 문서리스트와 함께 댓글과 트랙백, 조회수와 같은 context 정보도 같이 제공해야 할 것이다.

어떤 면에서는 artiklz는 지금까지 블로그 검색이 보여주지 못했던 기존 검색과의 차별화에 대한 새로운 통찰력 있는 모습이 아닌가 생각된다.



 마루날의 雜學辭典(잡학사전)을 RSS리더로 편하게 구독해서 보세요~

신고

마루날 정보검색 conversational search, social media 검색, 검색엔진, 정보검색

메타데이터 검색

2008.10.06 19:12
메타데이터

[출처 : flickr.com]

메타데이터는 데이터의 데이터라고 정의할 수 있다. 말장난 같지만 데이터를 구조화하기 위하여 필요한 정보를 메타데이터라고 부른다.

메타데이터의 정의나 포맷은 사용하는 분야에 따라서 천차만별이라고 할 수 있다. 가장 대표적인 메타데이터라고 한다면 서지정보라고 할 수 있다.

보통 서지정보는 도서명, 저자, 출판사 등의 책에 대한 기본적인 정보를 제공해 주어서 사용자들이 책의 내용을 보지 않고 우선 책의 도서명이나 저자 등의 정보를 통해서 원하는 책을 찾을 수 있도록 하는데 주로 활용된다.


동영상 검색과 메타데이터

동영상 자체를 보는 것과 메타데이터는 크게 상관이 없지만, 무수히 많은 동영상 중에서 내가 원하는 동영상을 찾으려면, 현재의 기술수준으로는 영상의 내용을 사람이 직접 보지 않으면 어떤 내용인지 알 수 없기 때문에 동영상의 메타데이터가 매우 중요한 정보가 된다.

그러나 이 메타데이터라는 것이 주로 제목, 만든 사람, 날짜 등의 정보가 대부분이어서 검색엔진 입장에서는 단지 키워드 몇 개에 불과한 정보이기 때문에 동영상의 메타데이터를 대상으로 검색을 하게 되면 검색결과의 품질이(특히, 정확도) 매우 떨어지게 된다.

왜냐하면 검색방식 중에서 가장 정확도가 떨어지는 것이 질의어로 입력된 키워드와 색인어 키워드의 매칭의 의한 검색이기 때문이다.


제대로 메타데이터를 검색하려면

결론부터 말하자면 키워드로부터 가능한 많은 정보를 뽑아내야 한다. 그러자면 질의어의 경우 질의어 확장을 해야 하고, 색인어의 경우 동의어 관리를 통해서 좀 더 많은 정보를 검색에 반영되도록 해야 한다.

질의어든 색인어든 간에 키워드가 속한 도메인 정보, 키워드의 의미, 타 키워드와의 관계 등을 통해서 키워드를 확장한 개념(?)을 질의어 처리와 색인에 반영을 해야 할 것이다.

질의어 처리와 색인 관리를 위해서는 언어자원(e.g. 사전)을 늘려야 하는데 대표적으로 시소러스나 토픽맵, 온톨로지 등을 구축해야 한다. 뭐 거창한 사전이 안되면 최소한 동의어와 관련 용어 등의 정보를 담은 사전이라도 구축해야 한다.

문제는 대규모의 언어 자원을 구축하는 이런 방법은 결국 비용이 많이 들기 때문에 현실적으로 상용화 서비스에서 구축하기 쉽지 않다는 것에 있다.


Enswer.net

동영상 검색을 위해서 몇 개 안 되는 키워드로 구성된 메타데이터를 활용하는 것은 검색 정확도 측면에서는 근본적인 한계를 갖게 된다.



그래도 Enswer.net처럼 검색결과를 비슷한 동영상끼리 클러스터링해서 제공한다면 키워드 매칭 검색결과에 의해서 만들어지는 중복 검색결과를 제거하는 효과가 있기 때문에 다소 정확해 보인다.

하지만, 이마저도 방법이 되지 못하는 것은 클러스터링을 통해서 중복데이터만을 걸러냈을 뿐 키워드 매칭이라는 근본적인 방식의 변화는 아니기 때문이다.

예를 들어서 질의어로 n개의 키워드(e.g. 이승엽 한신전 히어로 인터뷰)로 된 질의어에 대해서는 중복을 배제한다면 제대로 된 검색결과를 제공하기 쉽지 않기 때문이다.

갑자기 해답도 내기 어려운 메타데이터 검색을 이야기한 것은 지난 제7회 Demo Day 즈음부터 Enswer.net을 사용해 보면서 들었던 생각은 누구나 잘 알듯이 결국 검색성능이 향후 Enswer.net의 성공여부를 좌우할 것이기 때문이다.

한때 국가지식통합검색시스템 이나 특허정보와 같은 대규모의 메타데이터가 쌓여있는 데이터에 대한 검색에 대한 고민이 있었으나 현재는 거의 시도조차 되지 않고 있는데, 앞으로 Enswer.net에서 메타데이터 검색에 대한 획기적인 기술이 개발되기를 바란다.



 마루날의 雜學辭典(잡학사전)을 RSS리더로 편하게 구독해서 보세요~

신고

마루날 정보검색 Enswer.net, 검색엔진, 동영상 검색, 메타데이터 검색, 정보검색

  1. 마루날님. ENSWER입니다. 저희가 중복을 제거한다고 해서 메타데이터가 적어지지는 않습니다. 1개 동영상의 메타데이터 보다는 클러스터된 후의 메타데이터가 더 많아집니다. 말씀하신 '이승엽 한신전 히어로 인터뷰'의 검색결과가 안나온 이유는 현재 저희 알고리즘 업데이트 관계로 최신동영상이 인덱싱에 반영안되고 있기 때문입니다. 동영상의 경우 오히려 SPAM성 메타데이터가 많아서 이를 검색에 반영하면 결과가 더 않좋아지는 문제가 있습니다. 말씀하신대로 장면검색을 위한 연구는 멀티미디어 검색 연구자들의 꿈인데 가는 길이 간단치 않아서 문제네요. ^^ 지속적인 관심 감사드립니다.

  2. 아. 저는 중복데이터를 제거한다고 메타데이터가 적다는 이야기를 한게 아니구요(그렇게 적었나요 ^^)

    중복데이터 제거와 메타데이터를 검색하는 것은 전혀 다른 차원의 일이라는 것을 이야기하고 싶었습니다.

    중복데이터 제거를 통해서 검색결과가 좋아졌지만
    여전히 키워드 몇 개뿐인 메타데이터는 검색하기에 쉽지 않은 데이터셑이니까요.

    물론 ENSWER에서도 노력하고 계시겠죠? ^^

    아무튼, 꼭 성공해주세요 ~~

동영상검색서비스, Enswer.net

2008.09.29 10:42
Enswer.net

지난 토요일(9/27) 보라매공원 앞 KTH 대회의실에서 스마트플레이스에서 주관하고 KTH가 스폰서한 7회 데모데이 행사가 있었다. 원래 IT업계의 블로거들의 네트워킹과 이슈에 대한 토론을 위한 IT난상토론회가 새로운 모습으로 업그레이드한 행사였다.

개인적으로 검색과 SNS에 관심이 있어서 참가를 하게 되었는데, 동영상 검색에 대한 새로운 가능성과 함께 기술의 한계를 함께 느낄 수 있는 시간이었다.

이름은 Entertatiinment + search의 의미로 Enswer라고 지었다고 한다.
사용자 삽입 이미지

[엔써즈의 과거]

사용자 삽입 이미지

[엔써즈의 현재]

서버를 조립PC써서 사용하는 거 보니.. 옛날 생각난다. T.T

Enswer.net은 현재 클로즈드 베타 서비스 중이다. 신청하고 한 3일정도 있으면 컨펌메일이 오더라

구글 비디오 검색과 경쟁하겠다는 엔써즈의 인력구성을 보면서 요즘처럼 인력 구하기 힘든 시기에 정말 대단한 분들이 모였구나 하는 생각을 하게 된다.
사용자 삽입 이미지

[앤써즈 목표]

사용자 삽입 이미지

[앤써즈 ]



동영상 검색의 한계

UCC라는 것은 동영상과 동의어로 여겨질 만큼 앞으로 생산되는 컨텐츠에서 동영상이 가지고 있는 비중은 계속해서 높아질 것이다. 데이터가 쌓이면 검색을 해야 하는 것이 당연하기때문에 동영상 검색에 대한 필요성은 두말하면 잔소리이다.

이렇게 중요한 동영상 검색에도 몇 가지 치명적인 문제점이 있는데, 1)중복, 2)제목과 내용이 일치하지 않음, 3)저작권 침해 등이다.


Enswer.net의 해결방안

앤써즈의 해결방안은 한마디로 동영상 클러스터링이다.

텍스트 문서의 클러스터링과 달리 앤써즈는 동영상이라는 것이 결국 30프레임이나 10프레임 등으로 구성된 스틸이미지의 연속에 불과하기 때문에, 스틸이미지를 비교해서 중복여부를 판단한다고 한다.

기존의 이미지 비교는 원본과 사본의 차이를 구분하는 방식의 기술이 대부분이었는데, 앤써즈에서는 서로 다른 두 이미지의 유사도여부를 판단하는 식으로 기술을 개발하여서 그 정확도가 매우 높다고 한다.

위에서 언급했던 동영상 검색의 문제를 어떻게 해결했냐 하면

10초이상 겹치는 영상을 묶어서 클러스터를 만든다음 중복되거나 겹치는 동영상을 업로드된 시간을 기준으로 해서 가장 최초의 올라온 동영상을 원본으로 가정하고 나머지를 시간순으로 보여준다.

단순히 업로드된 시간 순으로만 보여지는 것이 아니라 해당 동영상의 어느 부분부터 겹치는지를 같이 제공하고 있어서 사용자에게 편리한 검색결과를 제공하고 있다.

또한, 클러스터링된 동영상의 메타 정보를 모두 활용하여 정확한 동영상 정보를 색인하여 검색결과의 정확도를 제고하고 있다.

이렇게 해서 기본적으로 중복문제를 해결 할 수 있고, 제목과 영상이 일치하지 않는 것도 걸러내기 쉽고, 무엇보다 시간순으로 정렬이 되고 장면단위로 구분이 가능하기에 저작권이 걸려있는 시리즈물에 대한 모니터링도 가능하다.


앤써즈의 수익모델은?

아직은 뚜렷한 수익모델은 없다. 동영상 검색서비스가 활성화되어 트래픽이 일어나면 이를 가지고 광고 플랫폼으로 활용하려고 하는 것이 전부인데 사용자들이 굳이 'Enswer.net'에서 동영상 검색을 해야 하는 이유가 명확하다면 그만한 트래픽을 보장하겠지만 현재까지 사용해 본 서비스에 대해서는 조금 의구심이 남아있다.


그렇다면...

우선 동영상 검색의 당장의 문제점들인 중보이나 겹치는 문제를 해결한 것은 매우 뛰어난 기술력 때문이라고 보여진다. 하지만, 동영상 검색이라고 하는 서비스의 목표를 생각해보면 검색에 대해서는 그다지 차이점을 볼 수 없었다.

1) 정확도

만약에 구글이나 네이버에서 동영상에 대한 클러스터링을 적용해서 중복 영상에 대하여 해결하면 결국은 동영상의 메타정보를 활용하는 것은 똑같은데 베타서비스를 이용해보면 검색결과를 뽑아내는 랭킹에 대한 부분은 아직 메타 정보에 최적화된 방식이라고 보여지지 않는다.

처음 사용해보면 매우 정확해 보이지만, 자꾸 사용하다보면 깔끔하기는 하지만 여전히 키워드 검색에 불과하다는 것이다.

2) 재현율?

현재 3500만건의 동영상을 색인하고 있다고 하는데, 인터넷에 올라오는 모든 동영상까지는 아니라고 해도 얼마나 많은 동영상을 색인 할 수 있을지에 대해서 의구심이 든다.

스틸이미지 자체에 대한 의미를 검색할 수 있기에는 현존하는 기술로는 상용화하기에 거의 불가능하다고 알고 있는데, 또 한번 확인했던 자리인것 같다.

그렇지만, 100대 정도의 조립 PC를 가지고 이정도의 서비스를 제공할 수 있는 앤써즈의 기술력을 높이 평가하고 앞으로는 '검색'이라는 부분도 좀 더 신경써서 더 나은 서비스가 되기를 바란다.

검색은 사용자의 Mind를 Read하는 것이라는 사장님의 말씀이 귀에 남는다. ^^



 마루날의 雜學辭典(잡학사전)을 RSS리더로 편하게 구독해서 보세요~

신고

마루날 정보검색 Demo Day, enswer, Enswer.net, 검색엔진, 데모데이, 동영상 검색, 앤써즈, 정보검색

검색되지 않는 것은 존재하지 않는 것이다.

2008.07.23 15:47
정보의 Long Tail

예전에는 사람들이 원하는 정보는 상위 20%에 몰려있다고 생각했다. 하지만, 검색엔진을 운영하면서 사용자들의 질의어를 보면 확실히 아래의 그래프(?)와 비슷한 Long Tail 형태로 정보가 소비된다.

정보의 생산이라는 측면에서 보자면 전문적인 업자들이 대부분의 정보를 만들어내겠지만, 아주 얇게 좌악 퍼져나가는 생산량은 얼마되지 않은 수 많은 정보생산자들이 존재하고 있다.
사용자 삽입 이미지

[출처 : flickr.com]


정보의 생산과 소비라는 측면에서 검색엔진은 주요한 역할을 담당하고 있다.

정보의 생산자들에게는 미지의 소비자들에게 검색엔진 검색결과를 통해서 알려진다는 의미가 있고, 정보의 소비자들에게는 자신이 원하는 정보를 검색결과에서 찾게 된다.

하지만, 실상은 Long Tail이 존재하지 않는다.


친절한 검색엔진씨

국내 검색 트래픽의 대부분의 차지하고 있는 네이버와 다음의 검색결과이다. 정보의 Long Tail이라는 측면에서는 포탈 자체의 컨텐츠 보다는 블로그와 웹 문서처럼 포탈 외부(?)의 검색결과를 확인해 보았다.

1) 네이버의 블로그와 웹 검색결과
사용자 삽입 이미지사용자 삽입 이미지

놀랍게도, 1000개의 검색결과만 보여준다. 사실 1000개 정도를 넘어서면 단순히 검색 질의어와 매칭하는 단어가 존재할 뿐 정보로서는 무의미하다고 볼 수도 있다. 하지만 정보의 유용성을 누가 판단하느냐가 문제가 된다.

친절한 네이버씨라고 생각할 수도 있지만,1000개의 검색결과만 보여주는 것은 웹의 형평성에 너무나 어긋나는 행동이다. 실제로 검색결과 12만개를 다 흝어보지는 않겠지만, 12만개 중 상위 1000개에 사용자가 원하는 모든 정보가 다 있다고 확신할 수 있나?

어차피 사용자는 자신의 정보 요구를 '질의어'로 표현하지만, 제대로 표현하지 못할 것이고 무엇보다 해당 검색시스템에 적합한 형태의 질의어가 어떤 형태인지 모르기때문에 더더욱 질의어에 대한 검색결과를 보여주는 것은 신중해야 한다.


2) 다음의 검색결과
사용자 삽입 이미지




다음의 블로그 검색결과를 보면서.. 당연히 검색은 이렇게 공정해야지 하다가 웹 문서 검색결과를 보면서 완전 당황했다. 이거 뭡니까?

아무리 불친절하고 거칠기로 유명한 다음이라지만, 네이버에 비해서 왜 이렇게 매끄럽지 못할까?  보여주려면 다 보여주든지, 아니면 친절한 네이버씨처럼 적절하게 클로징을 해야 하는데.. 이거 뭐하는 시츄에이션?

다음은 한국축구의 현실을 보여주는 듯 하다. 골문 앞에서 마무리 부족... OTL


아무튼...

트래픽이 돈이 되면서 포털사이트가 관문이 아니라 섬으로 변하게 되고, 한명의 사용자도 섬 밖으로 못나가게 하는 포털의 전략에서는 당연히 검색결과를 제한하는 것이 맞다고 보겠지만,

무엇보다 검색해서 나오지 않는 것은 존재하지 않는다고 단언할 수 있는 시대에 이렇게 무 자르듯 검색결과를 잘라내는 것은 친절한 행동이 아니라, 교묘하게 정보를 통제하는 행동이라고 밖에 볼 수 없다.

정보의 유용성 판단과 볼지 말지에 대한 판단은 사용자들 한 사람 한 사람의 몫이고 책임이다.

검색결과에 대해서 손대는 행동은 어떤 이유에서도 용납되어서는 안된다.






 마루날의 雜學辭典을 구독하세요~

신고

마루날 정보검색 검색결과 제한, 검색엔진, 네이버, 다음, 정보검색

  1. 보통 어떤 결정을 얻을때 검색해서 판단하는 것이 최선이라고 생각하지만
    내가 그 결정을 하게끔 누군가가 이미 경로를 만들어 놓은게 아닌가 생각해본적이 있습니다.
    1000개의 검색결과만이 최상의 검색임을 자신하는 포털의 근거는 무엇인지 궁금하군용..

  2. 아마 근거를 대라고 하면 검색 로그를 기반으로 한 통계데이터를 댈 것 같습니다.

    어찌되었든지 사용자들이 설령 클릭을 한번도 하지 않은 데이터도 공정하게 검색결과에 나와야 하고, 검색결과를 이용하는 것은 사용자에 의지에 의해 결정되어야 한다고 생각합니다.

    친절한 척 하지만, 결코 친절하지 않은 포털들의 모습입니다.

  3. 정보 검색 정말 어려워요...
    난 지금 포기상태...
    그래서 그나마 네이버나 구글이 존경스럽죠...
    그냥 뭔가 재밌는 꿈을 꾸었었던것 같은 느낌

  4. 사실 검색엔진 자체는 만들기가 그렇게 어렵지 않습니다.^^;;

    다만, 만들어 놓은 시스템에 여러 가지 아이디어를 반영하는 것이 쉽지 않을 뿐입니다.

    달리는 기차의 엔진을 바꾼다는 이야기가 딱 맞는 것이 검색서비스이구요. 따라서 노하우도 정말 중요합니다. ^^

    찾아주셔서 감사합니다.

evri : Search less, understand more

2008.07.22 16:27
www.evri.com

어떻게 이곳을 알게 되었는지 도무지 기억이 나지를 않는다.

처음에는 스팸인줄 알고 지우려고 하다가 내용을 보니.. 그런 메일이 아니었다 .소위 closed best service에 대한 초대장이었다.

www.evri.com에 가서 이메일을 등록하면 며칠 있다가 오니까 한번씩 사용해 보셔도 되지만, 실제로 제공되고 있는 것은 서비스 소개 형태의 데모뿐이어서 실제로 볼 내용은 이 포스팅에서 소개하는 것이 전부이다.

이 검색엔진은 click & browsing을 최소화하면서 원하는 정보를 구조화하여 보여준다. 예를 들어서 미국의 유력한 민주당 대선 후보인 버락 오바마를 클릭하면(현재는 검색결과에 대해서만 보여주고 있다. 실제로 원하는 정보를 찾을 수 있는 검색 창은 beta test에서 제공하고 있지 않다.) 다음과 같은 결과를 보여주면서 최근 버락 오바바와 관련된 정보를 연결하여 한 눈에 볼 수 있는 형태이다.

사용자 삽입 이미지

그리고 검색결과 리스트에서 내가 원하는 정보를 찾기 위해 click & browsing을 하지 않아도 될 만큼 원하는 정보를 구조화하여 보여준다.

현재 evri에서 제공되고 있는 검색서비스는 Most popular people, Most popular places, Most popular things이다.

사용자 삽입 이미지사용자 삽입 이미지


사용해보니


실제로 내용을 보게 되면 크게 도움이 되는 내용이라고 할 수 없어 보인다. 하지만, 내가 거의 모르는 분야에 대해서라면 상당히 유용한 검색결과가 될 수 있을 것 같다.

검색에 있어서 사용자가 어려워하는 것은 사용자 본인의 정보요구를 명확한 검색 질의어로 표현하는 것을 잘못한다는 것인데, 더욱이 사용자가 익숙하지 않은 분야에 대한 정보검색에 있어서는 이런 식으로 관련된 정보를 연결시켜 보여주는 것은 매우 유용해 보인다.


그렇다면...

검색엔진은 사용자가 원하는 정보를 찾아주는 것이라고 알고 있지만, 이제는 원하는 정보를 '알려'주는 것으로 변하고 있다. 이것이 '진화'인지, '변이'가 되는지는 알 수 없지만, 결국 사용자들이 원하는 정보를 '찾아'주든지, '알려'주어야 한다는 점에서는 원하는 정보에 대한 대응이라는 대명제는 변한 것이 없지만, 원하는 정보를 어떻게 제공할 것인지에 대해서는 정말 다양한 시도들이 이루어지고 있는 것 같다.

외국의 다양한 검색서비스를 살펴 보면서 항상 느끼는 것이지만 아무리 우리나라 시장이 작다고 해도 좀 더 다양한 시도들이 여러 곳에서 있었으면 좋겠다.



 마루날의 雜學辭典을 구독하세요~

신고

마루날 정보검색 evri, 검색엔진, 정보검색

야후비즈니스 검색 블로거 간담회 후기

2008.05.15 13:12
검색서비스는 Toy가 아니라 Tool이다

검색엔진이 어느 순간 사용자들의 장난감으로 전락한 것은 일정부분 이상 포털의 책임이 크다. 포털에서 검색은 단순히 여러 가지 서비스 중에서 하나이기 때문에 트래픽을 높여 주기만 한다면 어떤 식으로 사용이 되든 개의치 않는 것이 현주소이다.

대표적인 장난감이 인기검색어이다.

사실 사용자다 검색을 할 때는 어떤 정보를 찾아야 겠다는 니즈가 생기고 그 정보를 찾기 위한 검색어를 생각해서 한, 두단어의 검색어를 검색 질의어 입력창에 입력하여 검색을 사용한다.

그런데 검색에 대한 니즈가 구체화되지 않았을 때 인기검색어는 사용자들을 유인하는 도구이다. 거기에 다가 추천 검색어까지 깔아주면 정신없이 웹을 뛰어 다니게 되고 대부분의 인기검색어들이 사람들이 아주 좋아하는 가십성 검색어들인 경우가 많기 때문에 트래픽의 쏠림이 한번 시작되면 왠만해서는 막을 수가 없다.


모든 사람을 만족시킬 수 있는 검색서비스가 가능한가?

더욱이 검색만큼 백인백색의 서비스도 없다.

정확하다 편리하다는 것이 절대적으로 사람들마다 다를 수 있는 정량적으로 표현될 수 없는 정성적인 부분이기 때문이다.

쓸데 없는 이야기가 길어졌는데, 오랜만에 검색을 Toy에서 Tool로 포지셔닝하려고 하는 서비스가 나왔기 때문이다. 이미 몇번에 걸쳐서 언급했던 야후 비즈니스 검색이다.

0. 야후 검색 관계자 분들
사용자 삽입 이미지

맛있는 저녁 도시락과 편안한 분위기에 감사드린다. 너무 혼자만 질문을 해대서 죄송했었다는 말씀을 이 자리를 빌어서 전해드립니다.

1. 야후 비즈니스 검색의 배경?
사용자 삽입 이미지
사용자 삽입 이미지

검색서비스를 Tool로 사용하는 사람들이 전체 트래픽에서 차지하는 비중은 낮은 편이지만, 업무를 위해서건 학업을 위해서건 검색은 이제 필수적인 도구이다.

하지만, 국내의 검색서비스들은 도무지 제대로된 검색을 할 수가 없다. 왜냐 서두에 썰을 풀었던 Toy이기 때문이다.

장난감은 재미있는 것이기는 하지만, 쉽게 질릴 수 있다. 그래서 계속 새로운 형태의 재미를 주어야 하고 특히나 검색서비스의 경우 일방적인 공급자의 서비스를 사용하는 것에 저항감이 없도록 만들어버린다.

원하는 정보를 찾기 못해도 재미있게 사용할 수 있으니 이게 얼마나 불편하지 그런거에 별로 신경쓰지 않는 것이다. 특히나 검색어를 통제하면서 검색 서비스가 미디어와 같은 아젠다를 설정하는 기능까지 하고 있는 것을 보면 우려스럽기까지 하다.

2. 야후 비즈니스 검색은 문서중심이다. 아직까지는...
사용자 삽입 이미지

비즈니스를 위한 검색을 목표로 하다보니, 자연스럽게 비즈니스를 위해서 찾는 정보의 종류나 형태에 대한 서베이를 해보았을 것이고, 현재의 모습처럼 야후 비즈니스 검색은 신뢰할 수 있는 정보원으로부터 수집한 문서를 중심으로 검색결과를 제공하고 있다.

3. 야후 비즈니스 검색을 시작하다
사용자 삽입 이미지

확실히 업무에 필요한 정보들이 이런 형태와 종류의 정보를 원하기 때문에 매우 유용한 서비스임에 틀림었다. 하지만... 아직은 갈길이 멀다.

4. 야후 비즈니스 검색이 마주한 벽들 ㅎㅎ
사용자 삽입 이미지

입이 아프다. IT 강국 대한민국의 현실에 대해서는....


야후 비즈니스 검색을 보면서...

1. 현재의 포털 생태계를 위해서는 변화가 필요한데, 검색서비스는 원래 Tool이기 때문에 제대로 된 Tool을 제공한다면 의미있는 변화가 시작될 것이다.

2. 비즈니스를 위한 검색이라고 하지만 아직은 '시작되었다'는 것에 큰 의미가 있지만, 업무나 연구를 위해서 정보를 찾는 사용자들에게 필요한 기능을 좀 더 (솔직히 아주 많이 파격적으로) 제공한다면 충분히 경쟁력이 있을 것이다.

3. 검색 서비스를 난이도가 높은 원천기술을 바탕으로 정교한 시스템과 알고리즘을 구현하여 제공하는 서비스라고만 생각하지 않았으면 좋겠다. 검색서비스 만큼 사용자가 적극적으로 참여하고 공유하려고 하는 서비스도 없기 때문에 꼭 Social Search가 아니라도 사용자의 참여와 공유를 가능하게 하는 플랫폼으로서 검색서비스가 되기를 바란다.


[좋은 자리 마련해 주신 야후코리아 관계자 분들께 감사드립니다. 뒷풀이 참석 못하고 먼저 사라져서 너무 죄송했어요 ^^ 나중에 또 뵈었으면 좋겠습니다.]


 마루날의 雜學辭典을 구독하세요~

신고

마루날 정보검색 검색엔진, 블로거 간담회, 비즈니스 검색, 야후, 정보검색

  1. 좋은 말씀에 좋은 후기까지 올려주셔서 너무 감사드립니다. 어제 말씀 주신데로.. 끝까지 한번 가보는 끈기있는 모습 보여드리겠습니다. 감사합니다.

  2. 네 화이팅입니다. ^^

  3. Blog Icon
    영뮈리

    닉네임의 비밀이 떠오르네요.^^
    글 잘봤습니다.
    조만간 또 뵙길 바라겠습니다.

  4. 거의 이야기하지 않았는데...
    어제 그만 분위기에 말렸습니다. ^^

  5. 탁월한 식견으로 얻을 것 많은 Q&A시간 만들어주셔서 감사합니다. 많은 걸 듣고 배우고 갔습니다.^^
    앞으로 자주 만나뵐만한 기회 가졌으면 좋겠습니다. 잘부탁드립니다.

  6. 아이쿠.. 과찬의 말씀을요 ^^
    저도 자주 뵈었으면 합니다.

  7. 역시 꼼꼼하게 포스팅 하셨네요

  8. 아이고 무슨 말씀을요 ^^
    북스타일 행사에 신청하셨죠?
    그날 또 뵙겠네요 ㅎㅎ

  9. 트랙백 해주셨네요^^

  10. 아.. 네 ^^

    찾아주셔서 감사합니다.

검색과 광우병

2008.05.06 10:14
탄핵서명 100만?

드디어 MB2(영어식 표현)의 탄핵이 100만을 넘었다.

괴담 때문이라고 정부와 여당에서는 애써 그 의미를 깎아 내리려고 하지만, 집권 후 보여주던 강부자 내각 – 대운하 재개 – 강부자 수석으로 이어지는 MB2의 실정으로 인한 여론의 모습을 극명하게 보여주는 것 같다.
사용자 삽입 이미지

회사는 연휴였지만 일 때문에 나갈 수 밖에 없어서 연휴 아닌 연휴가 되었지만, 개인적으로 광우병 사태와 함께 탄핵서명의 추이가 매우 흥미로웠다.


광우병 사태에 임하는 다음과 네이버의 행태


100만명이 넘는 서명이면 당연히 아고라 메인에 올라와야 하는 내용을 다음은 메인에 보여주지도 않았고 한동안은 검색결과에도 보이지 않았다.(지금은 사이트 항목에서 ‘탄핵서명’이라는 질의어로 검색하면 나온다)

네이버는 어떤가? 한동안은 탄핵서명이나 이명박 탄핵이라고 검색해도 검색서명 URL을 알 수 없었다. 뭐 경쟁사의 서비스 URL을 알려주는 것이 거시기 했을 수도 있지만, 평소에 이슈에 대처하는 네이버의 신속한 대응에 비해 이번 사태에서는 어제(5/5)부터 보이기 시작했다.

여론의 추이를 보다가 이제 보여줘도 큰 탈 없다고 판단해서 보여준 것은 아닌가 하는 의혹이 생기기 좋은 모습이다.


검색은 단순한 온라인 서비스?

최초의 검색서비스는 사용자들에게 사용자들이 원하는 정보를 찾을 수 있도록 돕는 도구였다. 웹 검색의 최초라고 할 수 있었던 야후도 기존의 전화번호부 같은 형식의 옐로우 페이지를 웹을 옮긴 형태로 제공하였었다.

사용자들이 폭발적으로 늘어나는 웹에서 원하는 정보를 찾기 위해서 좀 더 편리하고 정확한 검색엔진을 선호하게 되었고, 인터넷 사용자가 증가함에 따라서 검색엔진 사용자와 트래픽이 폭발적으로 증가하게 되었다.

그러다 보니 검색엔진 결과에서 나오는가 또는 얼마나 상위에 나오느냐에 따라서 웹 서비스의 승패가 좌우할 정도로 영향력이 생기게 되었다.

검색엔진이 정보를 찾는 도구에서 벗어나서 정보를 보여줄지 말지를 결정하는 통제의 위치에 서게 되었고, 자연스럽게 미디어 아닌 미디어로서의 영향력을 발휘하기 시작하였다.

검색엔진의 수집이나 검색결과를 제공하는 알고리즘이 기계적으로 적용된다면 최소한의 공정성이 유지될 수 있는데, 신속한 대응이나 불건전한 정보의 필터링을 위해 사람의 손을 이용하기 시작하면서 의도했는지 의도하지 않았는지 모르지만, 정보를 통제하기 시작했다.

만약에 다음 아고라의 탄핵서명이 여러가지 요인의 복합적인 작용에 의한 결과이기 전에 검색결과에서 배제되고 있었다면 어떻게 되었을까? 사실 요 며칠의 정황을 살펴보면 의도적으로 검색이 되지 않는 것 같은 의혹이 생긴다.


검색이 왜 이슈인가?

체육관 선거를 통해서 대통령이 되었던 전두환과 5공 정부가 정부초기에 가장 먼저 시작했던 일들 중에서 하나가 언론통폐합이다. 그 당시만 해도 인터넷이라는 열린 공간(진짜 열려있는지 모르겠다)이 없었기에 신문, TV, 라디오만 통제해도 여론의 형성이나 문제 제기를 사전에 잘라낼 수 있었다.

사용자 삽입 이미지

지금과 같은 인터넷 시대에서는 어떻게 해야 할까?

검색을 통제하면 된다.

대선 기간 내내 네이버의 정치적 편향성은 이미 여러 블로그를 통해서 증명되었다. 간단히 네이버 정치나 네이버 한나라당이라고 검색해보면 여러 가지 내용들을 볼 수 있다.
[관련기사 : "정권 잡으면, 포털 너희 다 죽는다" 파문[고뉴스]]

다음은 어떠한가? 담당 실무자의 판단이라고 우길 수도 있고, 다음의 조직 특성 상 위에서 찍어 내리지 못한다고 이야기 할 수도 있겠지만, 이번 연휴기간 내내 검색을 해보면서 느낀 것은 다음도 네이버 못지 않다는 것이다.

국어사전에서 ‘미디어’를 찾아보면 ‘어떤 작용을 한쪽에서 다른 쪽으로 전달하는 역할을 하는 것’이라고 되어 있다.

정보의 전달자라고 해석할 수 있는데, 단순한 Fact의 전달과 함께 분석을 해서 Agenda를 세팅 하는 기능까지 하기 때문에 미디어의 힘이 강력하다고 할 수 있다.


검색의 미래를 좌우하는 것은 공정성이다.

21세기의 미디어로 자리 잡은 검색서비스를 단순히 인터넷을 통해서 제공되는 서비스로만 생각하는지 모르겠지만, 정보의 통제가 가능해진 지금의 검색서비스는 과거 언론의 공정성을 지키기 위해 권력에 저항했던 그 저항정신이 가장 필요로 하는 것이 아닌가 생각된다.

공정성이라는 것이 별 것 아니라고 생각할 수도 있지만, 결국 사용자 대중으로부터 나온 트래픽에서 비롯된 지금의 검색서비스의 위치와 파워를 순식간에 걷어갈 수 있는 것이 정확한 검색도 편리한 검색도 아닌 ‘공정한’ 검색이 될 수 있기 때문이다.

지금도 검색을 통해서 인터넷 비즈니스 업계의 공룡이 되어 인터넷 비즈니스 생태계 자체를 말려 죽이고 있는데, 이번 광우병 사태에서 비롯된 ‘공정성’ 시비가 공룡을 멸종시키는 단초가 되지는 않을까 기대해 본다.

생태계라는 것이 최상위 포식자가 사라진다고 생태계 자체가 없어지지는 않으니까, 네이버와 다음이 망하고 네이트와 엠파스까지 거덜나면, 파란이나 구글을 통해서 사용자들은 충분하다.

제발 검색서비스의 공정성을 지켜라



 마루날의 雜學辭典을 구독하세요~

신고

마루날 정보검색 검색엔진, 검색의 공정성, 검색의 미래, 정보검색

야후 비즈니스 검색 I - 오랫만에 안타를 쳐냈구나~

2008.04.29 07:13
야후코리아가 오랫만에 안타를 하나 쳐냈다.

개인적으로는 야후코리아가 모바일 플랫폼에서 일을 낼것으로 예상하고 있었는데, 느닷없이 '비즈니스 검색'이라는 것을 들고 나왔다.

야후코리아가 선보인 '비즈니스 검색'은 정부·기업·연구소·학회 등 각종 전문기관 홈페이지에 등재된 산업동향·금융·재테크·업무 관련 자료 등을 대량으로 검색해 일목요연하게 제공하는 서비스다.

특히 검색된 자료는 출처기관과 정보 유형·분기 및 기간·파일 유형 등으로 구분해 이용자가 필요에 따라 원하는 내용을 보다 쉽게 찾아볼 수 있도록 편의성을 높인 것이 특징이다.

[출처 : '야후코리아, 비즈니스 검색 서비스 오픈', 전자신문 2008.04.28]

예전에도 물론 파일 검색이 없었던 것은 아니지만, 어느 순간 포털 검색서비스에서 제외되더니 보이지 않았다.

사용자 삽입 이미지

사용자 삽입 이미지

검색엔진이 주로 원하는 정보를 찾기 보다는 원하는 곳을 찾는 네비게이션으로 사용되는 요즘에 이런 서비스가 아쉬워서 구글이 정확하다는 얘기를 하는 것 같다.

정말 정보를 찾는 사람들에게 검색엔진에서 제공해야 할 것은 신뢰할 수 있는 연관도가 높은 결과이다.

연관도가 검색엔진의 검색모델에 따른 연산결과니까, 열심히 연관도를 높여야 할 것이고 신뢰에 대한 부분에서 국내 1위 업체인 네이버와 네이버를 따라잡으려는 대부분의 포털 검색들이 신뢰할 수 있는 정보가 한정된 국내 상황에서

1) 사람의 손을 거쳐서 정제된 결과를 만들거나
2) 신뢰할 수 있는 소스(source)로 부터 데이터를 가져오거나

하고 있다.

야후코리아의 비즈니스 검색에서 분류/출처/유형별로 정돈된 UI와 함께 제공하는 것은 2) 어프로치라고 보여지고, 파일 검색과 연계하여 검색엔진을 장난감으로 사용하지 않고 도구로 사용하는 유저들에게 오랫만에 제대로 된 서비스를 제공하는 것 같다.

많은 검색을 해보지는 않았지만, 서비스의 유용성이나 편의성은 매우 뛰어나 보인다.

이러한 사용자 유용성과 편의성을 고려한 작은 노력들이 계속된다면, 한때 철옹성이었던 1위 야후코리아로 복귀하는 것도 어려운 일만은 아닐 것 같다.

뱀다리) 이 참에 학술검색도 하나 만들어보면 어떨까? 메타검색이랑



 마루날의 雜學辭典을 구독하세요~

신고

마루날 정보검색 검색엔진, 비즈니스 검색, 야후코리아, 정보검색

  1. 감사합니다. 안타가 단타로 끝나지 않도록 심기일전하겠습니다.

  2. 아이쿠 이렇게 방문해주셔서 감사합니다.
    네이버의 독주를 좀 막아주세요 ^^
    좀 더 사용해보고 다시 리뷰 올리겠습니다.
    그런데 트랙백을 걸 수 없는 건가요?

  3. 제가 깜빡하고 스킨을 바꾸면서 트랙백 주소를 노출하는 걸 빼먹었습니다. 지금 다시 노출 하고 있습니다. ㅡㅡ,

    날카로운 리뷰 기다리겠습니다. 감사합니다.

  4. 마루날님, 안녕하세요. 관련해서 트랙백 하나 달았습니다.
    100%를 만족시킬 수 없지만, 당초 타겟했던 user들이 모두 "신뢰할 수 있는 연관도 높은 결과"를 얻을 수 있도록 계속 노력하겠습니다.
    안타 하나 쳤으니, 도루로 2루 진루하고 후속타자 연타로 반드시 홈까지 살아 돌아오겠습니다. ^^

  5. 오랫동안 야후가 슬럼프였는데요 ^^
    슬럼프일때는 역시 기본으로 돌아가야 하는 것 같습니다.
    건투를 빕니다.

  6. 아.. 그리고 혹시
    블로거 간담회 같은 거 하면 초대해주세요 ^^

정보통신연구진흥원 자료 - 국내 포털 검색 시장 및 특허 동향

2008.04.07 11:20
주요 내용
  • 유/무선 연동검색서비스를 중심으로 시장이 확대될 것으로 예상됨
  • 해외의 경우 의미기반 검색(Semantic Search)과 멀티미디서 검색으로 새로운 시도
  • 다음 : 사용자가 검색어를 지정해서 자신이 검색 결과 내용을 연결하는 검색쇼를 선보임
  • 파란 : 입력한 문장의 의미를 분석해 해답을 찾아주는 의미기반 검색방식인 스타스(STARS : Semantic Technology based Retrieval System)을 시범 서비스 중
  • 네이버는 검색 관심도가 높은 영역별로 세분화하여 특화된 검색서비스를 준비하려고 하고 있고, KT와 음성 및 영상 검색 서비스를 공동 개발하고 있음
검색관련 특허출원이나 등록된 내용을 분석해보면, 어떤 전략으로 접근하고 있는지를 가늠해 볼 수 있다. 자세한 내용은 위의 첨부 파일을 참고하시라


파란 스타스

아직은 신문기사만을 대상으로 해서 검색서비스를 하고 있는데, 검색 질의어의 여러 의미 속성을 확장해서 검색하여 결과를 제공하고 있다.

아마도 온톨로지를 이용하는 것 같고 검색결과는 생각보다 그렇게 우수하지는 않다. -_-

주소 : http://stars.paran.com/
사용자 삽입 이미지

짜증나게도 IE에서만 제대로 동작한다. 파이어폭스에서는 화면이 깨진다.
제발 이런 거 만들때 웹 표준을 준수해서 만들어주면 안되나?
사용자 삽입 이미지

한번 쯤 경험해 보시기를...




.
신고

마루날 정보검색 검색시장 동향, 검색엔진, 정보검색, 포털 검색