| 1 はじめに | |
| 2 意味属性を用いたベクトル空間法 | |
| 3 最小単語意味属性の組の決定 | |
| 3.1 意味ベクトルの元の汎化 | |
| 3.2 最適化な組の決定手順 | |
| 4 実験と評価 | |
| 4.1 最適な意味属性の組の決定 | |
| 4.2 検索対象文書数の影響 | |
| 5 おわりに | |
| 参考文献 |
従来の検索技術として、 文書中の単語などを元とし たベクトル空間モデルで文書の内容を表し、 ベクトル の距離で類似性を判定し、 検索するベクトル空間法が ある。単語をベクトルの元とした場合では、 元が多く なるため、類似度の計算量が多くなる。 これに対して、 ベクトルの元に単語意味属性(2700 種) を用いる検索 法[1] が提案されているが、 この方法でも、ベクトルが スパースになり類似性が判定できなくなること、 類似 度の計算量が多いことが問題点となっている。 スパー ス性と計算量の問題点を解決するために、 本研究では 単語意味属性相互の意味的関係[2] に着目し、最適な検 索のための最小単語意味属性の組を決定する。
本手法は検索要求として文書を与え、検索要求と検 索対象の文書を単語の意味によるベクトル空間モデル で表わし、 ベクトルの距離で類似性を判定し、 検索要 求に類似した文書を検索する意味的検索法である。
(1) 文と文書の意味の表現
ベクトル空間法では文の意味を文中の単語などを元 とする意味ベクトルに重みを与えて文の意味を表す。 本手法では、 文の意味の多くは文中の名詞から判断で きるため、 意味ベクトルの元は名詞の意味に相当する 一般名詞意味属性を用いる。 単語のそのものを用いる のではなく、 意味属性を意味ベクトルの元とすること で、同義語・ 類議語を含む文に対して、同一の意味を表 すことが可能になる。文書は文の集合であるから、 文 書の意味は文書中の文の意味ベクトルの和で表す。
| 文書A の意味ベクトルvA ＝ | Σ | vAi | |
| i | |||
| vAi : 文書A中の文i の意味ベクトル | |||
(2) 意味ベクトルの元の値
意味ベクトルの元の値には文の意味に対して、 より 特徴的な元に大きな重みを与えることで文の意味を表 現する。 そこで、 文中に多く出現する単語は特徴的で あると思われるため、 文中の名詞に与えられる意味属 性i の出現頻度mi をa重みとし、意味ベクトルの絶対 値が1 となるように正規化した値を意味ベクトルの元 i の値pi とする。
| pi ＝ | mi | |||
| ----------------------- | ||||
| √ | �� | mi ・mi | ||
| i | ||||
(3) 文書の類似度の判定法
ベクトル空間法では、 文書の意味ベクトル間の距離 が近いほど類似している文書とする。 そこで本手法で は、 検索要求文書と検索対象文書との類似度は各文書 の意味ベクトルの内積をとり、 cosin の値とする。
| 検索要求文書と検索対象文書の類似度 : sim ＝ va ・vb | |
| va : 検索要求文書の意味ベクトル | |
| vb : 検素対象文書の意味ベクトル |
従来の検索技術として、 文書中の単語などを基底と したベクトル空間モデルで文書の内の単語意味属性を 用いることで意味的な検索が可能になったが、 ベクト ル空間法では、 ベクトルのスパース性により類似性が 得られない場合があることと類似度計算量の多さが問 題となっている。 そこで、 意味属性の意味的関係に着 目して、 意味属性を汎化することで、 最適な検索のた めの最小意味属性の組を決定する。
(1) 意味ベクトルの元の意味的関係
単語意味属性とは対象を概念化する際の視点であ る。 そして、意味属性間には上位-下位、全体-部分の意 味的関係が存在し、意味属性全体は最大12 段のツリー で構成されている。 この意味的関係を利用すれば、 下 位の意味属性を上位の意味属性で代表することが可能 である。
(2) 意味ベクトルの元の汎化方法
意味ベクトルの元の汎化とは、意味ベクトルの元と なる意味属性のうち、 下位の頻度の少ない意味属性を ボトムアップし、上位属性を下位属性の代表として、意 味ベクトルの元とすることである。 しかし、 最上位の 意味属性を意味ベクトルの元として、 頻度の多い意味 属性を細分化して、 トップダウンで意味ベクトルの元 を選択しても同様の結果が得られる。今回、 比較的上 位の意味属性で最適な組は構成されるとの予想から計 算上、 効率の良いトップダウンの方法を用いる。 意味 属性の細分化は以下の手順で行う。
| 1. | 新聞記事100 件中の名詞に付与される意味属性を4段目まで縮退させる. | |
| 2. | 意味属性の頻度統計をとる。 | |
| 3. | 意味属性の頻度m が2 ≦ m ≦ l(l ＝ 100, 50, 20, 10) になるまで意味属性を細分化する。 |
(1. はALT-JAWS により形態素解析を行い、プログラムにより自 動的に名詞を抽出して、意味辞書を参照し、意味属性を付与して、4 段目まで縮退させる. )
以上の手順で細分化した意味属性を意味ベクトルの元 として選択し、選択されなかった下位属性zj の元の値 pij は、 属性zj を代表する属性zi の値pi に吸収する。
| pi ＝ pi + | Σ | pij | |
| j |
さらに、 下位属性の元の値を上位属性の元の値へ伝搬 することで、 意味ベクトルの元の汎化を行う。 しかし、 下位属性の元の値をそのまま上位属性の元の値へ伝搬 させると、 下位属性の特徴がぼけるので値の一部を伝 搬させることにする。意味属性zj から親ノードの意味 属性zi ヘ伝搬する値p (zi ,zj ) は以下に示す。
| p (zi ,zj ) ＝ | zj の元の値 | |
| ------------------------------------------------ | ||
| zi の子ノードの意味属性の総数 |
(1) 意味属性の組の選択手順
最適な意味属性の組の決定は意味ベクトルの元を汎 化して、検索実験を行い検索精度を評価して快定する。 手順を以下に示す。
| 1. | 4 段目(21 種) の意味属性を意味ベクトルの元とする。 | |
| 2. | 検索実験を行い、 検索精度を評価。 | |
| 3. | 検索楕度が最大ならば、 量適な意味属性の組が決定。 | |
| 4. | 意味ベクトルの元を汎化し、2 ヘ戻る。 |
(2) 検索精度の評価の方法
(1) で最適な意味属性の組を求める際に、 検索の精 度を評価する必要がある。 そこで、 検索精度の評価パ ラメータとして適合率・ 再現率の積を用いる。
| 適合率P ＝ | 正しく検索した文書数 | |
| -------------------------------- | ||
| 検索した文書の総数 | ||
| 再現率R ＝ | 正しく検索した文書数 | |
| -------------------------------- | ||
| 類似した文書の総数 | ||
| 検索精度＝ P × R | ||
ここで、 類似した文書とする判定は人それぞれの着目 点により異なる。 そこで本研究では文書情報として新 聞記事を扱い、類似とする基準を新聞記事に対して、3 段階の類似度で定義する。
| 類似度A 同一内容の記事 | |
| 類似度B 関連する内容の記事 | |
| 類似度C 同類内容の記事 |
類似度A とは、 ある出来事に対するA新聞者の記事 に対して、 同じ出来事について、 同じ内容のB 新聞社 の記事が相当する。 また、 類似度B はある出来事の記 事のその後の展開、 批評などが相当する。類似度C に 関しては、 ある出来事に対し、 日時・ 場所・ 当事者は異 なるが、 同じ様な出来事についての記事が相当する。
(1) 実験の条件
検索要求はランダムに、選んだ24 件の新聞記事、 検 索対象は検索要求記事を含む150 件の新聞記事を用い た。 また、 同様の出来事を含む記事の方が客観的に見 て類似していることから、 検索要求に対する正解記事 は類似度A と類似度B の類似記事とした。
(2) 結果と考察
実験結果は図1 に示す。 図1 から検索精度は約200 〜 300 の意味属性を元とした時、 ほぼ最大となること がわかる。
|
|
検果対象を150 件とした場合、200 〜 300 の意味属 性の組を意味ベクトルの元とすることで検索精度は限 界に達したが、 通常、 検索対象となる文書は膨大な量 である。 ここでは、検索対象を1000件まで増やし、検 索精度と意味属性の組との関係を調べた。 実験結果を 図2 に示す。 実験結果より、検索精度が限界に連する には、 より多くの意味属性の組が必要となる。 また、 検索精度は0.6 以上から0.5 程度まで下がる。 このよ うに、 大量の記事から検索する場合は、 より多くの意 味属性の組が必要かもしれない。 しかし、500 種程度 の意味属性の組のとき、 検索精度はほぼ限界に達する ので、 計算量を考意すれば、 最適な検索のための最小 意味属性数は500 程度といえる。
|
本論文では、 単語意味属性を用いた意味的検索を最 適化するために、意味属性の意味的関係を利用し、意味 属性の汎化を行った。 汎化により、 約500 種の意味属 性の組で最適な検索を実現できることがわかった。 ま た、 検索精度も0.5 以上であり従来のキーワード検索 (0.2 〜 0.5) に比べて、 本手法の有効であることがわ かった。 今後は、 約500 種の意味属性の組をベースと して、 意味ベクトルの元の値にtf*idf などの適用、 動 詞の名詞化などにより検索精度の向上を目指す。