| 池原 悟* | 中園 薫** | 白井 諭* | ||
| Satoru IKEHARA | Kaoru NAKAZONO | Satoshi SHIRAI |
キーワード自動抽出システム(INDEXER)のキーワード抽出方式を述べる． 本システムではまず原文筆者の表現対象の取り上げ方が主体的表現に直接現れる事に着目して， 日本文の特性を考えた高速で精度良い選択的名詞抽出法を提案する． また，この方法を基本として， 統制キーワード方式と自由キーワード方式を融合した選択的キーワード方式を提案する． 本方式はキーワード辞書の無いときは自由キーワード方式として働き， キーワード辞書が整備されるにつれて統制キーワード方式として働くもので， 自由キーワード方式として動作する場合でも 選択的名詞抽出法によって必要性の高い名詞が狙い打ちされて抽出されているため， 従来の自由キーワード方式に比べて不要な名詞の数が大幅に減少するなどの特徴をもつ．
本システムはDEMOS-Eサービス内に組み込まれており， ファイルを媒介とした簡単で標準的な入出力インタフェースで 文献データベースの作成に使用できる．
This paper describes an automatic keyword extraction system (INDEXER). Selective keyword method is proposed in this system. With no keyword dictionaries, INDEXER works as a controlled keyword system, and, with keyword dictionaries, it works also as a free keyword system. This method is based on the selective noun extraction technique. Important nouns are extracted in high speed from Japanese text by the theory of epistemology. This system was implemented as one of DEMOS-E services which provide a wide variety of computing services in Japan.
| 1 まえがき | |
| 2 キーワード抽出方式 | |
| 2.1 従来方式の問題 | |
| 2.2 本システムの基本方式 | |
| 2.2.1 選択的名詞抽出法 | |
| 2.2.2 自由キーワード方式と統制キーワード方式の方式的融合 | |
| 2.3 その他の方式上の特徴 | |
| 3 システム構成 | |
| 4 むすび | |
| 謝辞 | |
| 文献 |
文献データベースは， 大量の情報の中から必要な情報を必要な時に取り出すことのできる手段として， 社会・経済活動，学術研究，国民生活の発展・向上を図るためにますます重要となってきている． 利用者がこのような文献情報の中から希望する文献を検索するためには， 文献の内容をあらわしたキーワードを索引語としてもちいる方法が 有効である(1)． 従来は，インデクサと呼ばれる専門家が， 文中からキーワードを抽出する作業をおこなっていたが 多大の労力を必要とするほか抽出されるキーワードに作業者の主観が入り， 均一な品質を保つことが困難であるなどの問題があった． このような問題を解決するため， 与えられた文章からキーワードを抽出するキーワード自動抽出システムを作成した．
従来，キーワード自動抽出の研究は英文を中心に古くから進められ， 日本においてもすでにいくつかの実用システムが 稼働している(2)(3)が， 欧米語を対象として開発された方式を特性の異なる日本語に適用しているなどのため その品質に問題があり，特に自由キーワード方式が用いられているシステムでは 膨大な数の不要語まで取り出してしまう欠点があった．
本システムでは，日本語における発想法を捉える立場から 筆者の主体的認識が文中の主体的表現(4)に表わされることに 着目して重要と思われる名詞を能率良く取り出す選択的名詞抽出法を提案した． また，これを基盤とする選択的キーワード方式を実現した． 選択的キーワード方式はキーワード辞書の有無に応じて， 統制キーワード方式から自由キーワード方式に連続的に変化する方式であり， キーワード辞書の作成にも使える能力をもつ． また，本方式の実現に当っては， 新しくキーワード抽出に適した複合語解析法などを提案することにより， 高速で品質のよいシステムを実現した(5)．
キーワード抽出方式として従来以下の2種類の方式が用いられて 来た(6)．
� ー�由キーワード方式： キーワードとして抽出する語を予かじめ指定せず文中から不要と思われる語を取り除いて， 残った語をキーワードとする方式で辞書未登録語の抽出もれが防がれる代りに， 不要な語が多数残ってしまう．
�◆‥�制キーワード方式： キーワードとなり得る語をあらかじめキーワード辞書として登録しておき， それを手がかりに原文からキーワードを抽出するもので， 不要なキーワードの抽出が防止される反面，必要なキーワードにもれが生じる．
これらの方式はいずれも欧米語を対象として提案されたものであるが， 日本語にもそのまま適用されてきた． 日本語は文の特性が欧米語と大きく異なるため， 上記方式をそのまま適用するのは適切でないと考えられる． 以下，上記方式と日本語に適用する場合の問題点について述べる．
(1) 日本語の発想法
欧米語は行動論理的で客観話法が好んで用いられるのに対して， 日本語は状況論理的で共感話法が多用される(7)． これは，話者が対象を捉えるときの観点の違いを言ったもので， 英語は視点を固定化し対象を実体化して「もの」として捉える傾向が強いのに対して， 日本語は対象の変化に追随して視点を移動し， 対象のあり方を「こと」としてまとめる傾向をもつことを言ったものである． 従って欧米語では名詞に話者の意図が凝縮される傾向があり， 従来の名詞をキーワードとする発想はこの性質に立脚したものである． これに対して日本語は個々の対象に対する話者の視点が 用言を介して助詞に集約される傾向をもつため， 名詞をひろうとしても主体的表現との関係で選択する事が必要となると思われる．
(2) 膠着語としての特徴
書き言葉では密度の高い表現が行われる傾向がある(8)． このため欧米語では話言葉で動詞を用いる部分も名詞化する傾向がある． これに対して日本語は膠着語の特徴として，接頭語，接尾語などを含む複合語を多用する． このうちよく使用される複合語は次第に一単語とみなされるようになるため， キーワードとして抽出する単語の境界が次第にあいまいになる傾向があり， 英語の場合のように抽出すべき単語が単純には取り出せない．
(3) 語の出現頻度の問題
抽出した名詞の中で重要な語を判断する基準として 従来「重要語は繰り返し用いられる」ことを仮定した例が多い． 確かに英語では段落の主題文に続く文で，主題展開のため同一語， 同義語などが繰り返して用いられることが多い(9)． これに対して日本語は重複や繰り返しを極力避けるのが普通であり， 重複や繰り返しの多い文章はできの悪い文章として嫌われる傾向がある． 従って日本語では出現頻度に依存した重要語の判断は必ずしも適切とは言えないと考えられる．
本システムでは以下に述べる基本目標を前提に， 上述の問題を解決するため，日本文の特徴に着目して， 原文中から話者が重要と判断していると見られる語を直接拾い出す選択的名詞抽出法と それに立脚した選択的キーワード方式を提案する．
本方式は言語過程説の立場から話者の認識と表現の対応関係に着目して， 文中から話者が重要と判断していると思われる名詞を直接ひろい出すものである． 従って従来の自由キーワード方式のように助詞， 助動詞などを除去し残った名詞をとり出すタイプの消去法ではなく， 逆に従来不要と見られていた助詞や助動詞などに着目して 重要な名詞を選択的に抽出するところに特徴がある． 以下，基本的考え方について述べる．
(1) 索引語候補の判定ルール
新聞などの書き言葉では，文章の重要な意味を担う体言や 用言の語幹のような詞は漢字やカタカナや英数字で表記されることが多く， 付属語などの辞や活用語尾のように詞を繋ぎ文章を完成させる働きを持つ語は ひらがなで表記される． 従って，漢字等で構成される文字列を取り出せば， キーワードとして必要な名詞はその殆どが含まれている．
長尾らはこのことに着目し，漢字等で構成される文字列の次の文字を見て それが名詞に接続する助詞等となるひらがな（約30種）であるか名詞の後に来るような 記号類であればその漢字列を名詞と判定するという方法を 提案している(10)． また，こうして取り出した名詞を対象に統計処理を行って名詞の重要度を評価している．
これに対して，本方式では筆者の認識を考え，着目する助詞を以下に述べる方法で6種に限定した． このことにより不要な名詞の抽出が大幅に減少するが，必要な名詞はほぼもれなく抽出できる．
(2) 係助詞の重要性
「は」は係助詞と副助詞とがあるが，係助詞の方が重要である．
ただし，両者の識別は困難であるので，本システムでは同等に扱っている．
係助詞と副助詞との差は，次のようなものである．
例えば，
A. 彼は外国人だ．
において，この言わんとするところの意味によって，
B. 彼自身が外国人である．→係助詞
C. 彼となんらかの関係がある人（妻・友など）が外国人である．→副助詞
となる．
Bは「彼」の普遍的性質を示すのにたいして，Cは「彼」の他と比べての特殊性を示す．
従って，Cの意味であればAでは省略されている「何々」がの部分が重要と言える．
「も」は観念的な前提における判断と文の判断とがまったく一致するか， あるいは実現することによって一致する性質の場合に用いられる． 前提とする事柄は「は」による普遍判断か「が」による個別判断として示されると考えられるので， それらとの同等を示す「も」も重要と考えられる． このほかの係助詞も重要なものが多いと思われるが，使用頻度が少ないので， 無理に拾わなくても実害はない．
(3) 重要度の高い格助詞
「が」は一般に主語を示すのではなく，「水 ガ 飲みたい／水 ヲ 飲みたい」 「私 ガ わかること／私 ニ わかること」などの対比から分かるように， 事物を個別的に取りあげる働きをもつ． このため，動詞に対しては誰または何の動作かを示すためにいわゆる主格として働き， 感情の形容詞に対しては感情を持つのは話し手に決まっているところから 感情の対象を示すいわゆる対象格として働く． 個別に取りあげるということは話し手の認識が強く働いたということであるから重要度は高い．
「を」は動作が向けられる対象を示すというだけでなく， ほかでもないそのものなのだという主体的な意味合いも兼ねるので重要である． また，移動の自動詞に使われる場合は実体と属性との動的な目標としての関係付けであり， 省略できない要素であるだけにやはり重要である．
「に」は実体と属性との静的な目標としての関係付けを行う． また，「へ」は移動行為の指向場所や方向を示す． 索引語ということでは，目標を示すこの2つは重要であると言える． なお，「に」はいわゆる形容動詞の連用形活用語尾として働くこともあるが， 索引語検定の際に捨てられるので大きな問題とはならない．
(4) 句読点
名詞の次に句読点が来るのは体言止めの場合である． 強調することが多いのでこのような名詞も抽出する．
(5) 補充規則
「の」は，いくつかの名詞の間になんらかの関係があることを示す． 具体的にどんな関係であるかは使われている名詞の意味によって暗示されるので， 本システムでは「の」の連鎖の最後に出て来る名詞の取捨に従うことにした．
「や」は複数の名詞を並列的に取り上げるもので， 最後の名詞だけ取捨を判断したのでは不足である． そのため，この場合も「や」連鎖の最後の名詞の取捨に従うことにした．
(6) 重要度の低い格助詞の削除
「で」は対象範囲の限度を示す． 動作に必要な道具を示すときは重要な場合も考えられるが， 名詞述語に使われる助動詞「で」の使用頻度が高く キーワードの適合率を下げる要因となると思われるのであえて捨てることにした．
「と」は属性を色々な角度から立体的に示す働きをする． 「と」の付く名詞は，いくつかのうちの1つという位置付けであるため， 個別に取り上げる「が」などに比べると重要度は低いと考えられる．
これらを無条件に捨てるのは「では，でも，での，とは，とも，とが，とを」のような 助詞の連鎖があるとき，この「で」「と」を「漢字＋ひらがな1文字」のひらがな1文字に 該当してしまうのを避けるためである． このほかの格助詞には，基準の「より」，起点の「から」，限界点の「まで」があるが， いずれもキーワードとなるような5W1Hの要素とはなりにくい．
以上の考えによりキーワードになり易い名詞を選択的に抽出する．
この方法によればキーワードとなる語の抽出もれを防ぎながら， キーワードとならない不要な語の抽出を大幅に減少させる事ができる． 実験ではキーワードを文中に出現した語に限る場合（文中に無い語の生成を考えないとき）， 再現率98％を得ている． また，不要な語の抽出量は長尾方式に比べて約1/2に減少している．
自由キーワード方式は多数の不要語をキーワードとしてとり出してしまうため， 後の選択作業が容易でない． また，キーワードが原文中のみから抽出されるため， 原文中に無いより適切な語をキーワードとすることができない． 特に日本語を対象とする場合は 抽出された名詞に対する重要語の判定が困難であるなどの欠点をもつ． これに対して統制キーワード方式はキーワードの選択規準としてキーワード辞書をもつため， 規準が明確であり，不要語の抽出量をかなり減らすことができる． また，原文中にない重要語についても，原文中の語を手がかりに， シソーラスを用いることにより抽出することが可能である． 従って，抽出するキーワードの品質を考えると統制キーワード方式の方が優れている．
しかし，統制キーワード方式を実現するには， 品質の良いキーワード辞書を作成することが必要であり，この作業は簡単でない． そこで本方式では統制キーワード方式と自由キーワード方式を融合し， キーワード辞書の存在する語の範囲では統制キーワード方式として働き， キーワード辞書の無い範囲では自由キーワード方式として働く選択的キーワード方式を提案した． この方式を用いれば キーワード辞書の完備した条件下では品質の良いキーワードが抽出されるのはもちろん， キーワード辞書の無い場合でも自由キーワードが抽出される． 従ってキーワード辞書の無い場合は 抽出された自由キーワードを取捨選択してキーワード辞書に登録していけば， 順次統制キーワード方式に切り替わっていく． このプロセスを支援するため本システムでは 後に述べるキーワード辞書創成用のプログラムが用意されている．
なお，本方式は既に述べたように選択的名詞抽出法を前提として成り立っているもので 自由キーワード方式として働く場合も従来の自由キーワード方式に比べて 不用な語をキーワードとして抽出する割合は大幅に減少する点に特徴がある．
(1) 複合語内名詞抽出
選択的名詞抽出法においては着目する助詞の前の漢字列（カタカナ部分も含む）が 名詞として取り出される． 現実の文ではこの漢字列は複合語となることが多く， そのままではキーワードとならないものが多い． そこでこの複合語の中からキーワードとなりそうな語を抽出することが必要となる．
従来，複合語の解析では高精度の技術が開発されている(11)が 処理負荷が大きい． キーワード抽出では数％の差は誤差と考えられるので， ここでは複合語の性質を考慮した高速な手法を提案した．
さて，複合語の成り立ちを考えてみると，次の2つが基本形として挙げられる．
� ―ぞ�語＋被修飾語
�◆ー臑蠍譟椽匕貪�名詞
索引語としての重要度ということであれば，
�，任枠鐔ぞ�語が，�△任麓臑蠍譴�それぞれ高いと言える．
従って，先頭からまたは末尾からの部分マッチによる検定で
複合名詞の中に埋もれた索引語が抽出できる可能性がある．
多少複雑な複合語の構成としては，
�� 主題語＋修飾語＋被修飾語
�ぁ―ぞ�語＋主題語＋述語的名詞
のような場合がある．
��は先頭および末尾からの部分マッチで抽出できるが，�い話蟒佻海譴箸覆襦�
以上から本システムでは先頭および末尾からの部分マッチにより 複合名詞の解析を行うこととした． 中日新聞1984年6月1日〜14日の記事要約文を用いた 実験(12)では 本方式の複合語内キーワード抽出のもれは10％以下であり， 十分実用的精度が得られる事が示された． 抽出もれの例を以下に示す．
米国防予算政府案 イラン・イラク戦争 中曽根首相記者会見
(2) 類義語の解析
本システムではキーワード辞書の1つとしてシソーラスを用いており，
キーワード候補として原文中から抽出された名詞はシソーラスと照合される．
シソーラスには類語，同義語，上位／下位語が格納されており，
� 仝曲犬北気じ譴任盻斗廚文譴�抽出できる．
�◆‘欝糎譴砲弔い特蟒个気譴襯�ーワードの標準化が図れる．
などの効果が得られる．
(3) 分析不能語とストップワード辞書の照合
選択的名詞抽出方によって抽出された名詞は 複合語解析や類義語解析を受けてその中からキーワード候補が抽出されていくが， そのあとに残された名詞はキーワード候補とすべきか否かの判断が保留され 分析不能語扱いとなる． 分析不能語の中には重要な語でありながら キーワード辞書の不備等でキーワード候補とならなかったものが含まれる． そこで，今度は消去法によって分析不能語の中から不要と判断できる語を削除して 残された分析不能語をまとめて出力する． 不要語の判定にはキーワード候補選定で使用した接辞辞書のほか， ストップワード辞書を用いる． 接辞辞書によって分析不能語のうちの複合語は接頭辞，接尾辞をとり除かれる他， 接辞語からその語のもつ属性（人名，企業名等）が判定される場合は 分析不能語に対してその属性が付与される． ストップワード辞書は形容動詞の語幹や 出現頻度は高くてもキーワードになりにくい名詞（「昨日」，「場合」，「中」など）を 登録したものである．
以上の方法で出力される分析不能語は自由キーワード方式で言うところの 自由キーワードに相当する． キーワード辞書の無い状態では 選択的名詞抽出法で抽出された名詞のすべてが分析不能語扱いとなり， 接辞処理，ストップワード処理を受けて キーワード候補選択の判断を保留された語として出力される．
キーワード自動抽出システム(INDEXER)は図1に示すようにKWESTとKDICから成り立つ． このうちKWESTは，本システムの中核となるプログラムで，入力された文書の中から， あらかじめ指定されたキーワード辞書と一致した語を抽出する機能を持つのに対して KDICは，本システムで使用するキーワード辞書の作成をおこなうプログラムで， いずれもDEMOS-E上の一括処理専用ライブラリ・プログラムの形で提供される． キーワード辞書は，人間によるキーワード抽出作業の際に用いられる専門的知識の蓄積であり， 対象とする文書の種類やデータ・ベースの目的によって個々に作成する必要がある． すでにこのキーワード辞書を持っている場合は，これをマシン・コード化し， KDICの指定する単純なフォーマットのファイルに入力すれば， KWESTで扱う内部辞書にまで編成しなおすことができる． また，このような辞書が全くなく，最初から作りはじめる場合も， この作業を支援する機能を持っている． さらに，辞書に項目を新たに追加したり削除したり， 内容を変更したりすることも可能である． 図2に処理結果の例を示す．
|
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
キーワード候補は，一般に必要とされるよりも多く抽出されるため， 絞り込みや，編集などの後修正をおこなう必要がある． この方法としては，(1)リストに出力して人手で修正する方法， (2)マンマシン・インタラクションによって修正する方法， (3)なんらかの評価アルゴリズムをもちいて自動絞り込みをおこなう方法などが考えられる．
KWESTおよびKDICの各人出力ファイルは，単純な形式でユーザに開放される． したがって，このインタフェースの形式変換部分をユーザ側でコーディングすることにより， 入力原文をキーワード辞書が，どのような形式でも容易にこのシステムに組み込むことができる． 同様に出力ファイルの変換によって任意のデータベースと接続することができる．
選択的キーワード方式を提案し， これを基本方式とするキーワード自動抽出システムINDEXERを実現した． 本システムでは選択的キーワード方式を構成する要素技術として選択的名詞抽出法， 複合語解析法などを考案し， 実用上十分な速度と精度をもったキーワード自動抽出システムを実現することができた．
選択的名詞抽出法では，助詞の働きに着目し， きわめて単純な処理で重要度の高い語だけを抽出することが可能となった． 複合語解析では，複合語化した名詞を堀りだすとともに， 辞書に登録されていない語についても，抽出できるようになった．
評価精度のうち，再現率は，後処理のひとつである自動絞りこみに依存してくる． 今後さらに適合率を下げないよう，不要な語だけを捨てるような方法が必要となるわけだが， これについては 検討中である(13)〜(15)。
おわりに実験において新聞記事原文およびシソーラスをお貸し頂いた日経新聞社， 中日新聞社の各社殿に深謝する．
 |
池原 悟 情報通信処理研究所主幹研究員 昭和44年入社． 主に数式処理の研究，待ち行列理論の研究に従事． 現在，各種自然言語処理の研究に従事． 昭和42年大阪大学基礎工学部電気工学科卒業． 44年同大学院物理系電気修士課程修了． 58年工学博士（大阪大学）． 電子情報通信学会・情報処理学会・ACM会員． 昭和57年情報処理学会論文賞受賞． |
 |
中園 薫 基礎研究所情報科学研究部研究主任 昭和57年入社． 主に自然言語・処理の研究に従事． 現在，言語理解及び機械翻訳の基礎研究に従事． 昭和55年大阪大学基礎工学部生物工学科卒業． 57年同大学院基礎工学研究科物理系生物工学分野修士課程修了． 電子情報通信学会・情報処理学会会員． |
 |
白井 諭 情報通信処理研究所主任研究員 昭和55年入社．主に自然言語処理（特に日本語処理）の研究に従事． 現在，日英翻訳技術の研究に従事． 昭和53年大阪大学工学部通信工学科卒業． 55年同大学院工学研究科通信工学専攻修士課程修了． 電子情報通信学会・情報処理学会会員． |