Webページを自動的に格付け,分類する新世代サーチエンジンの開発
【研究分野】情報システム学(含情報図書館学)
【研究キーワード】
WWW / 情報検索 / 自動分類 / Webページ / サーチエンジン / 自動格付け
【研究成果の概要】
WWWは,従来の情報メディアとは異なった異なった数々の特徴を持っており,本研究は,Webページ総量の推定や標本抽出などの基礎的調査を行う一方,情報源として役立つWebページを自動的に判断し自動分類を行う方法を考案し,次世代サーチエンジンの基礎研究を行うものである。
第一年度は,収集したWebページ群がら情報源となりうる分類されたページ群を取り出すまでの手順のうち,ページタイプの自動判定,情報源として有用なページの自動判定を行った。WWWの表現と機能としての特性から,Webページタイプとして標準,表紙,目次,掲示板,チャット,リンク集,日記,入力フォームを設定,各ページタイプの出現頻度を調査した後,標本集合を用いてWebページから得られる量的な指標やHTMLタグの出現頻度の主成分分析により,タイプ分けのアルゴリズムを考案した。126種の判定ルールとその重みを設定した。標準タイプの識別に関しては75%以上の再現率・精度を得ることができた。一方,テキスト中の語の出現状況を調べ,「よい情報源である」の判定で高得点を得たページの形態素解析を行い,語の出現状況をもとに,有用な情報源の自動判定を試みた。その結果,語の出現頻度によって約80%の有用なページを自動判定することができた。
第二年度は,Webページの総量の推定を行った。2001年9月現在のWebページ総量の32億ページであることが判明した。次に,第一年度に行った調査を拡大し,ページ判定,格付けそれに分類ずみの3000ページの標本ページを作成し,これをもとに,自動分類を行うとともにページタイプの自動判定,情報源として有用なページの自動判定のアルゴリズムを改良した。これを検索システムに組み込み,国立情報学研究所の第2回NTCIRワークショップWebタスクに参加した。
【研究代表者】
【研究分担者】 |
| 渡邊 道子 | 鉄道技術研究所 | 技術支援部 | 技師 |
| 久野 高志 | 作新学院大学 | 女子短期大学部 | 専任講師 | (Kakenデータベース) |
| 安形 輝 | 亜細亜大学 | 国際関係学部 | 専任講師 | (Kakenデータベース) |
|
【研究種目】基盤研究(B)
【研究期間】2000 - 2001
【配分額】5,600千円 (直接経費: 5,600千円)