 |
|
【 2009/10/09 】 【 2009/10/08 】 【 2009/10/07 】 【 2009/10/06 】 【 2009/09/24 】 |
|
|||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||
|
【gooオープンカンファレンス Vol.2】 「gooブログ検索」「ブログレンジャー」開発者が語るブログ検索技術 |
|||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||
|
gooを運営するNTTレゾナントは25日、「gooオープンカンファレンス」第2回を開催した。ブログ検索の技術をテーマとした技術者向けのセミナーで、gooのブログ検索を担当する杉崎正之氏、ブログ検索「BLOGRANGER（ブログレンジャー）」を担当する戸田浩之氏がそれぞれ講演を行なった。 ■ 1億以上のエントリーを収集。本文抽出で検索精度を高める
gooのブログ検索はすでに1億以上のエントリーを収集しており、最新約3カ月分のデータが検索できる。クロール速度は「PRのためならいくらでも短くできるが」と前置いた上で、「あまりに短時間でのクロールは、相手のサーバーに対して負荷をかけていますと言っているのも同じ」とコメント、gooでは最短3～5分に設定しているとした。 本文抽出もgooブログ検索の特徴の1つ。RSS取得後にサイドバーやヘッダー、フッター情報を除くブログのHTML本文のみを取得してデータベース化することで、より詳細な検索が可能だという。さらにサイドバーなどを含まないことで精度も高まるとした杉崎氏は「たとえば“gooブログ”と検索した場合、サイドバーも含む検索ではgooブログすべてが検索対象となってしまい、gooブログについて言及したブログの特定が難しい」と具体例を挙げて説明した。 ブログ記事で引用されているリンク先もgooではデータベース化。このデータベースを使うことでリンクに対して言及しているブログを知るというソーシャルブックマーク的な利用も可能なほか、期間を指定して話題のリンク先をランキング、「トレンドランキング」として提供している。 今後の課題としては「1億のインデックスのうち現状は3カ月分のデータしか出せていないが、できればすべてのインデックスを出し、クロールできていないブログも検索の対象としたい」。また、「Web検索でいうPageRankのような適合度もブログ検索の課題」としつつ、「適合度に関してはブログレンジャーのような技術に期待したい」とコメント、戸田氏にバトンタッチした。
■ リンク情報からブログの適合度を検索するアルゴリズム「EigenRumor」
戸田氏はブログレンジャーを提供した背景について「ブログが爆発的に普及する中、内容に関しては玉石混淆状態であり、更新日時やキーワード適合といった従来のランキングでは見つけられない情報が多く存在する」と指摘。また、最新の話題にすばやく対応する、製品やサービスに対する率直な声が存在する、ブロガーという存在を識別できるというブログのメリットを挙げた上で、「リスト検索でブログを効率的に探すことは難しい」とした。 こうした課題を解決するために、ブログレンジャーではリンク情報を利用したアルゴリズム「EigenRumor」という分析アルゴリズムを実装。「TOPページの下にブログ記事が関連づけられている」というブログの特徴を利用し、ブログそのものへのリンクと各記事へのリンクを独立して計算する。通常、ブログ記事間のリンク数は1記事あたり2つにも見たないためにスコア付けが難しいが、記事へのリンクをブログに対するリンクとしてみなすことで、検索対象として十分な精度が得られるという。 精度を高めるためのチューニングも実施。EigerRumorのアルゴリズムではブログ記事を書けば書くほどスコアが高くなる可能性があるため、一定以上記事を書いた場合はそのブログの影響力を抑えるよう設定するほか、古いリンクよりも新しいリンクのスコアを相対的に高めるという対策を行なっている。
■ 検索目的に応じて選択できる4つのブログ検索フィルタ
マルチファセットサーチによるフィルタリングの例を、戸田氏はトピックサーチを例に挙げて説明。固有表現の抽出技術と固有表現辞書を組み合わせ、トピックとして抽出する。固有名詞辞書では、オフィシャル相当へのページへリンクしているアンカーテキストから同義語を抽出することで異表記の同義語も抽出。「八景島シーパラダイス」であれば、公式サイトにリンクした「シーパラ」「シーパラダイス」という言葉も同義語として登録することで精度を高めている。 抽出されたデータはさらに「重要ラベル選択技術」で分類。検索結果の中で多すぎず少なすぎない中間程度の頻度を高い評価とし、さらに検索結果における単語の出現確率が検索データ全体の出現確率よりも向上している場合にも高評価とすることで、重要なキーワードを確定するとした。 ブログレンジャーは2005年12月に公開されたが、戸田氏は「開始当初はメディアやブログで取り上げられたが、現状ではアクセスが伸び悩んでいる」との裏話を披露。「リピーターとなって使っていただくための機能」として、4月25日に実装した機能を紹介した。EigenRumorで一定のスコアを得た最新数時間のキーワードをTOPページでタグクラウド的に表示し、カテゴリごとRSSも取得できる。戸田氏は「ブログレンジャーを毎日使いたいと思わせるような情報をこれからも提供していきたい」と語った。
■ ＵＲＬ GOC Vol.2 「ブログサーチテクノロジー講座」 －技術者向け http://arukikata.goo.ne.jp/articleSb.php?ID=393&G1=4 ■ 関連記事 ・ NTTとNTTレゾナント、4種類のフィルタを利用したブログ検索の実証実験 ・ 【CNET Japan Innovation Conference 2005 Autumn】 ブログ検索事業者が語る「ブログ検索市場の未来」 （甲斐祐樹） 2006/04/26 15:10 |
 |
|
| Broadband Watch ホームページ |
|
|
|
|
|
|
| Copyright (c) 2006 Impress Watch Corporation, an Impress Group company. All rights reserved. |