Broadband Watch logo
【 2009/10/09 】
【 2009/10/08 】
【 2009/10/07 】
【 2009/10/06 】
【 2009/09/24 】
米Yahoo!のエンジニアやエヴァンジェリストが語る検索の最新動向と課題

 検索会議の第3部「【技術動向編】」では、米Yahoo!のエンジニアが登壇。米Yahoo! Inc.検索部門エヴァンジェリストのジェレミー・ゾワドニー(Jeremy Zawodny)氏は、Yahoo!の検索に関する新技術の取り組みについて紹介した。


米Yahoo!の取り組む検索新技術の数々が披露

米Yahoo! Inc.検索部門エヴァンジェリストのジェレミー・ゾワドニー氏
 はじめにジェレミー氏が紹介したのは、画像検索「Yahoo! Image Search」と動画検索「Yahoo! Video Search」。ジェレミー氏は、「Yahoo! Image Searchは非常にシンプルなインターフェイスながらインデックス数が15億と業界で最も多く、『black and white pictures of flowers』といった自然文での検索や、ファイルサイズを指定した画像検索も可能。Yahoo! Video Searchは動画の長さやファイル形式も指定できるほか、RSSフィードにも対応している」と紹介した。

 「Yahoo! Desktop Search」は、自分のPCに保存されているファイルを検索できるサービス。PC内の200以上のファイルの種類をインデックス化し、ファイルを開かず中身を確認できるプレビューにも対応する。ジェレミー氏は「無料で利用できる点も特徴の1つ」とした上で、「今後はPC内のメールとYahoo! Mailのように、Yahoo!の他のサービスとも連携させていきたい」と語った。

 2005年2月にサービスが開始されたばかりの「Y!Q」も紹介。Y!Qのタグが埋め込まれたサイトのテキスト情報からキーワードを抽出し、ユーザーが自分でキーワードを設定することなく検索できる。また、検索結果の保存や他ユーザーとの共有が可能なパーソナルサーチ「My Yahoo! Search」も紹介された。

 Yahoo!の各種サービスを利用できるAPIも、専用サイト「Yahoo! Search Developer Network(YSDN)」から提供する。ジェレミー氏は最後に、Yahoo!の新技術やベータサービスなどの情報を提供するサイト「Yahoo! Next」を紹介、新技術に関して議論やユーザーからのフィードバックなどを積極的に受けているとした。

□関連記事:米Yahoo!、画像サーチのインデックス数が15億を超えGoogleを抜く[INTERNET Watch]
http://internet.watch.impress.co.jp/cda/news/2005/02/24/6584.html
□関連記事:米Yahoo!が動画検索のベータ版開始、独自RSS規格による新サービスも視野に[INTERNET Watch]
http://internet.watch.impress.co.jp/cda/news/2004/12/16/5839.html
□関連記事:米Yahoo!、キーワード入力が不要な検索ツール「Y!Q」ベータ版を公開[INTERNET Watch]http://internet.watch.impress.co.jp/cda/news/2005/02/04/6352.html
□関連記事:米Yahoo!、「My Yahoo! Search」でついにパーソナルサーチ分野に参入[INTERNET Watch]http://internet.watch.impress.co.jp/cda/news/2004/10/06/4871.html
□関連記事:米Yahoo!がWebサービスAPIを公開~日本語アプリ開発も可能[INTERNET Watch]
http://internet.watch.impress.co.jp/cda/news/2005/03/02/6661.html


検索エンジンが抱える4つの大きな課題

Yahoo! Inc.のインターナショナルサーチディレクターであるヨンドン・ウォン氏
 ジェレミー氏に続いて、Yahoo! Inc.のインターナショナルサーチディレクターであるヨンドン・ウォン(Yongdong Wang)が登場。「Inside A Search Engine」と題して、検索エンジンを開発する際の課題について講演した。

 検索エンジンの課題に入る前に、ヨンドン氏は検索エンジンの構造を説明。「基本的な検索エンジンは、サイト情報を収集するCrawlers、Crawlersの情報を検索できるようにインデックス化するIndexers、情報を蓄積するSearch Databases、ユーザーへ最適な答えを提供するSearch Engineに分かれる」。ヨンドン氏は「単にページをクロールしてインデックスするだけのシンプルな検索エンジンであれば、開発は難しくないと思われるかもしれないが、Yahoo!の検索エンジンは、何百人という人数で構築し、日々改善していかなければならない」との現状を語った。

 ヨンドン氏は、良い検索エンジンを作るための課題として「スケールの問題」「ユーザーのクエリーに適した情報を見つけること」「情報をいかにランキングするか」「スパム」の4点を挙げ、具体例をそれぞれ説明していった。

 ヨンドン氏によれば、インターネット上には現在100億単位から1,000億単位のWebサイトが存在し、その数は1~2年で2倍のペースで増えているという。ヨンドン氏は「Yahoo!の登録ユーザーは世界規模で何十億と存在しており、インターネットを利用するユーザーのほとんどが検索も利用する」と前置いた上で、「その規模の大きさが問題になる」と指摘した。

 スケールの大きさによる問題を、ヨンドン氏は具体例を挙げて説明。「100億のドキュメントを検索する場合、1つのドキュメントが平均20KBならばその情報を1回蓄積するのに200TBものストレージが必要になる。情報の鮮度を保つために1日1回クロールするならば、1秒につき20GBの容量が必要。また、1つのマシンに100万ドキュメントを蓄積すればマシン数は1万台にも達する。しかも検索結果は100ミリ秒で反応しなければならない」とし、「問題はシンプルではないことがわかるだろう」と語った。

 クエリーとのマッチングについては、国際的な観点から「エンコード」「言語」の2つを課題として指摘。「エンコードは日本だけで考えてもEUCやShift-JISなど複数存在している状態。また、世界規模ではさまざまな言語もサポートしなければならない」。ヨンドン氏は言語ごとの課題として、欧州言語のアクサンテギュや、アジア圏の言語にはスペースが入らない点などを挙げた。

 クエリーとマッチングした情報を見つけた後も、本文やタイトル、URLなどの要素を踏まえていかに検索結果をランキングするかも重要だとヨンドン氏は語る。「地域も重要な要素。英語1つを取っても、オーストラリアや南アフリカなどさまざまな地域で用いられており、ユーザーがどの地域に住んでいるかもランキングを決定する重要な要素」。このほか、キーワードスパムやリンクスパムといったスパムの対策も重要な課題とした。


ボケを検索すると突っ込んでくれる「Yahoo!なんでやねん」が優秀賞に

 イベントの最後は、参加者全員で「Yahoo!の有する膨大なインデックス情報と(   )という情報を活用し、他の人と一緒に(   )を実現できるサービス(   )」という課題に挑戦。グループ賞には、ボケを検索すると適切に突っ込んでくれる「Yahoo!なんでやねん」、専門医療機関のカルテとSNSを活用し、患者の病気克服をサポートする「病も気から」が選ばれ、会場投票の結果「Yahoo!なんでやねん」が優秀賞に選ばれた。

 また、個人賞には「フジテレビ VS ライブドア」といったテーマについての肯定・否定意見をグルーピングし、視覚的に議論できる「Yahoo!Discussion」が選ばれ、検索企画室の井上俊一室長は「検索を使うことに加えて、他の人と比べられる、視覚化できるといった要素をうまく取り込んだ例」と評価した。


関連情報

URL
  検索会議【技術動向編】
  http://blog.academedia.jp/?eid=92039
  関連記事:Yahoo!の検索ビジネス戦略を探る「第6回:米国Yahoo! Inc.の検索エンジンと「Yahoo! Search Blog」の裏側」
  http://internet.watch.impress.co.jp/static/column/yst/2004/12/22/

関連記事
検索の鉄人が「社会人になる前に覚えておきたい検索技」を伝授
国内最大の検索シェアを誇るYahoo! JAPANのマーケティング最新動向


(甲斐祐樹)
2005/03/07 14:09
Broadband Watch ホームページ
Copyright (c) 2005 Impress Corporation, an Impress Group company. All rights reserved.