概要

本研究では格フレーム辞書を用いた語句抽出と文生成を行なうことによって要約文を生成する手法を提案する. 本システムは, 一文〜複数文の要約文を生成することが可能であり、 一文要約の場合は、語句単位の要約を行なうことによって従来の文単位抽出以上に要約率の高い一文要約の自動生成が可能である. 本研究では, この手法による要約システムALTLINEを実装した. また, システムの要約結果の評価基準を作成し, これに則った被験者要約実験を行なった. これらの実験結果と評価基準によってALTLINEの比較評価を行なった結果, 被験者と比べて遜色のない結果が得られた.

キーワード

自動要約    単語抽出    自然言語処理

Abstract

In this paper, we propose a new summarization method which uses a case frame dictionary to extract important words and phrases from a newspaper article. Because we extract only the important elements, our summarization system ALTLINE can produce a very short summary. We designed all evaluation criterion for summarization systems, ALTLINE achieves results comparable with human summarization.

Keywords

Automatic text summarization    extraction    Natural Language Processing

INDEX

膨大な情報が溢れている現在, 真に必要とする情報を的確に選択することは量的にも, 質的にも因難になっている. また携帯端末の普及により, 情報をよりコンパクトにまとめる技術が必要とされている. これらのことから, 文章の自動要約の必要性が高まっている.

これまで様々な要約研究が行なわれてきたが[1], 原文から重要と判断される文, 段落, 等をそのまま抽出し, それを要約と見なすextractタイプが主流である. これには, テキスト中の出現頻度によって単語に重み付けを行ない重要文を選定する手法[2,3], 文間関係を利用した手法[4]などがあるが, 文単位の抽出では不必要な情報が多く含まれるため, 必要最低限の情報を得る要約には不適切である. また, 句単位で原文の重要箇所を抽出する手法[5]も見られるが, 文を生成しないため, 抽出された結果に整合性がとれないという問題がある. 一方, 原文をそのまま抽出するのではなく原文に現れる幾つかの概念を上位概念に置き換える[6]ような, abstractの手法も見られる. しかし, このように人に近い言い替えや概念の統合を行なうには膨大な知識が必要となる.

これらの問題を解決するために, 文単位の抽出にこだわらない語句単位の抽出を行ない, それを用いて文生成を行なうことを方針とする. これによって, 必要最低限の情報を得ることができる. また, 文としての整合性を考るため, 語句抽出は最低でも述語と必須格要素を取得することを考える. また, 現在利用可能な知識で文を新たに生成するために, 日英機械翻訳システムALT-J/E[7]の格フレーム辞書[8]を用いて重要語句の抽出を行なう.

この方針の元に, 本研究では, 新聞記事を要約するシステムALTLINEを試作した. ALTLINEは一文〜複数文の要約文を生成することができ, 生成文数を変化させることによって, indicativeな要約からinformativeな要約へ連続的に変化させることが可能である. 語句単位の要約を行なうことによって要約率を高めることができるため, 一文要約の自動生成が実現した.

また, 本論文では, 被験者を用いた要約実験を行ない, 実験結果からALTLINEとの評価基準を設定した. 評価基準により比較評価を行ない, 結果を考察した.

語句抽出による要約システムを考える場合, 基本要素は次の2点で構成される.

    要約システム = 語句抽出 + 文生成

さらに語句抽出を考える上で, 重要語句には次の2点の観点がある.

	語句抽出 =		{		重要度の高いキーワード		(A)
					文生成に必要な語		(B)

(A)重要度の高いキーワードとは, 記事の内容を端的に特徴付ける語であり, 従来のキーワード抽出はこれに相当すると考えられる. しかし, (B)文生成に必要な語とは, 内容の特徴を表すキーワードとは限らず, 文の構成に必要な機能語も必要となってくる.

本研究では, 要約のために文生成を行なうことを目的とするため, (B)の語句抽出について議論を行なう.

本研究で構築した自動要約システムALTLINEは, 新聞記事の本文から重更語句を抜きだし, 要約文を生成するシステムである.

例えば, 図1の新聞記事を入力すると, 各文に対して一文要約を行ない, 図2の要約文を生成した後, 文の重要度を元に1文目の要約文を記事全体の要約文として出力する. 文末の数字は文に対する重要度を表す.

郵政省は９日、２０００年末にＢＳ（放送衛星）デジタル放送とともに始まるＢＳデータ放送に ＮＴＴグループの参入を認める方針を決めた。 ＢＳデータ放送会社への３分の１未満の資本参加をＮＴＴグループ会社に認め、 ＮＴＴドコモなどが３０％出資する新会社を放送事業者に認定する。 通信事業が中心のＮＴＴグループが放送事業に踏み出す足がかりとなり、通信と放送の本格的な融合が進むとみられる。

1: 郵政省はＢＳデータ放送にＮＴＴグループの参入を認める。 (30) 2: 通信事業が進むとみられる。 (20) 3: 新会社を放送事業者に認定する。 (10)

indicativeな要約を考えた場合, 最も文重要度の高い1文目の要約だけを出力するが, 文重要度の高い複数の要約文を出力することにより, 記事全体の内容をカバーするinformativeな要約を生成することが可能である.

以下では, 最重要文のみを対象として議論を行なう.

要約は以下の手順で処理を行なう[9].

1) 文の重要度

要約部では, 形態素, 係り受け解析を行ったあと, 重要文を選定する. 各文に対して, 位置情報や手がかり語, 文の長さといった情報から文の重要度を判定し得点をつけ, 最も得点の高い文を最重要文とする.

2) 主動詞の特定

一文の中から更に重要情報を抽出するが, まず, 主動詞を特定する. 通常1文の中には複数の動詞が記述されており, 複文で形成されている文も少なくない. その中で最も重要な意味を持つ動詞を特定し, 抽出しなければならない.

新聞記事によく見られる表現として, 以下のようなものがある.

    「〜する(した)ことを明らかにした。」
    「〜する見通しになった(だ)。」
    「〜する(した)と発表した。」

表層的に見た場合, 下線部が述語の動詞となるが, 文の意味を考えると実質的に意味のある動詞, つまり要約として残したい主動詞は「〜する(した)」の部分であることが分かる. 本論文ではこのような主動詞にならない述語動詞を広義の意味で様相的表現と呼ぶが, 本システムでは, このような様相的表現を判断し, 文中から主動詞を特定する.

3) 重要語句の抽出

格フレーム情報を用いてその他の情報を抽出する. ALT-J/Eの格フレーム辞書によって動詞の必須格とその条件が分かる. この情報を利用して, 主動詞に対する必須格を文中から探しだし, 抽出する.

図1の1文目の例では, 「認める方針を決めた。」の「方針を決めた」部分が様相表現的動詞であるため, 「認める」を主動詞として特定する. 次に, 抽出する語句を「認める」の格要素を用いて特定する. 「認める」の格フレームは,

    [主体] が / [行為] を / 認める

なので, 本文中から“主体”に相当するガ格「郵政省は」, “行為”に相当するヲ格「参入を」を取得する. 同時に, 構文解析の結果と要約ルールにより, 「ＢＳデータ放送に」「ＮＴＴグループの」を取得し, 一文を生成する.

その他, 文選択, 主語の抽出, 目的語の選定基準などの詳細な分析は[9]による.

ALTLINEの要約結果の評価を行なうため, 評価基準にのっとって被験者を用いた要約実験を行ない, 評価を行なうための正解データを定義した.

本節では要約実験の手法と実験結果について説明し, 次節4でALTLINEとの比較を行なう. 以降, 13人の被験者をそれぞれ被験者S_i (i = 1, ..., 13) と呼ぶ.

被験者に新開記事を要約してもらう実験を行なった. 人が行なう要約は, 本文に記述されている言葉を幾つかまとめて概念にし, 本文に使用されていない語句への置き換えも行ないながら文章を形成していると考えられる. しかし, 今回の被験者実験は, ALTLINEとの比較を行なうための正解データを作成することを目的としているため, 本文に使用されている語句のみで一文を生成することを制約とした.

被験者には, 機械要約の正解データを作成するという目的は具体的には示していないが, 機械要約を行なう上での参考として使用するという目的内容を示した. また, 正解や, 理想的な解答がある問題ではないことを説明した. 被験者は, 普段新聞記事を読み慣れていることを予想して社会人に限定し, 規模は13人とした. 被験者に課した問題は, 各記事につき課題A,B(節3.3で詳しく述ベる)の2問, 1記事につき10-20分程度で解いてもらうが, 解答順序は問わず, 好きな記事から問いて良いことにした.

被験者には「問題用新聞記事」(節3.2.1)とともに「回答用単語リスト」(節3.2.2)を提示し, 単語リストの中の語句のみを使って文章を作ることを制約とした.

要約対象となる新開記事は, 毎日新聞1998年版CD-ROMを使用した. 毎日新聞の各記事には, 1面, 2面, 社会, 経済, ・・・, などのカテゴリータグがあらかじめ付与されているが, 今回は分野を限定しないように, 1面からランダムに100記事を選出することとした. ただし, 文章だけの記事に限定し, グラフや写真説明のある記事は除外した.

問題用新聞記事では, コーパスにある記事見出しは削除し, 元の段落が分からないように, 1文ずつ改行した. (付録A参照).

各記事については, 1記事における文数は, 最小4文, 最大19文, 100記事の平均文数は9.64文/記事, 1記事における文節数は, 最小49文節, 最大244文節, 100記事の平均文節数は119.34文節/記事であった.

日英機械翻訳システムALT-J/E[7]の形態素解析部ALT-JAWSによって, 形態素解析, 文節切りを行なった後, 解析誤りを人手で修正した単語リストに対し, 全ての助詞と, 伝聞(〜そうだ), 様相(〜らしい, 〜ようだ)にあたる助動詞を削除, それ以外の助動詞に( )をつけた単語リストを作成した. (付録B参照).

被験者には, 要約を行なう際は, 必ずこの単語リストにある語句のみを使用し, 助詞, 助動詞は好きなように活用したり削除して良い旨を伝えた.

単語リストには同義語が多く含まれているが, それらに関しては, 実験後, 単一化を行なった.

1つ目の課題では, 記事の中で, 重要だと思う単語の番号を単語リストの中から選び, 順位を付けてもらった.

その際の教示は以下のようである.

• 1記事について, 15〜20単語選ぶ.
• 選択した単語に対し, 順位(重要度)をつける.
• 同じ順位に複数の単語を並べても良い.
• 順位は, 2位以上, 何位までつけても構わない.
• 単語は, 記事全体の中から選ぶ.
• 単語を選ぶ時は, 元記事に出てくる位置や順序を無視して構わない.
• 助詞は, 無視すること.

この課題Aは1節で述べた“重要度の高いキーワード”を抽出する役割が期待される.

2つ目の課題では, 記事の要約文を作るために必要な単語を, 単語リストの中から選び, 1文の要約文を作ってもらった.

その際の教示は以下のようである.

• この記事が最も伝えたいことを1文(最小の要約文)に要約にする.
• 最小の要約文」を作るために必要な単語を選ぶ.
• 単語は, 記事全体の中から選ぶ.
• 単語を選ぶ際, 元記事に出てくる位置や順序を考慮する必要はない.
• ( )内の助詞は, 適当に活用, 削除, 補助して構わない.
• 課題Aで選ばなかった単語を使用しても良い.
• 課題Aの解答の順位を考慮しなくても良い.

語句抽出の対象として, A, Bの観点で実験を行なっているが, 本論文では文生成を優先することから, 課題Aについての議論は今後の課題とし, ここでは課題Bの結果について議論を行なう.

実験結果の例として, 付録A, Bに示す記事に対する被験者(S_i )の回答を示す(表1). ( )内の番号は文節番号をあらわし, 重複している語句の単一化を行なっている.

各被験者の回答使用文節数の100記事での平均は, 最小の被験者で4.17文節, 最大の被験者で7.6文節, 全体S_i (i = 1, ..., 13) の平均文節数は5.49文節であった.

S1: 大田昌秀知事は、米軍海上ヘリポート建設問題に反対を明言した。 (2,6,14,15). S4: 沖縄県の大田昌秀知事は米軍海上へリポート建設問題について代替案を検討している。(1,2,6,26,123). S9: 沖縄県大田知事は名護市沖米軍海上ヘリポート建設問題反対を橋本首相に述べ、代替案を提言。(1,2,4,6,14,12,26,30).

ALTLINE の要約結果と比較, 考察を行なった.

ALTLINEに対し, 被験者実験に用いた問題用新聞記事(3.2.1)と同様の記事を入力として要約文を自動生成した後, その結果を回答用単語リスト(3.2.2)の区切りと照合させた. これをALTLINEの要約結果とする.

付録A, Bの記事に対するALTLINEの要約は, 「沖縄県の大田昌秀知事は反対を明言した。」であった. 他の具体例については付録Fに示す.

以降, ALTLlNEを S₀ と呼ぶ. ただし, 表中においては A と表記する.

100記事での平均使用文節数をみると, ALTLINEは3.62文節というように, S_i (i = 1, ..., 13) が5.49文節であるのに対し, かなり小さい値になっている. (S_i (i = 0, ..., 13) の平均使用文節数5.35文節)

ALTLINEおよび13人の要約結果を評価基準とした. 以下, 正解集合と呼ぶ.

記事 k (k = 1, ..., 100), 被験者S_i (i = 0, ..., 13), 記事 k の総文節数 J_k , 記事 k における各文節 j (j = 1, ..., J_k) とするとき, 記事 k における被験者 S_i の回答使用文節を B_kji で表し, 次のような値を与える.

	Bkji		=		{		1 (回答に使用した文節)
							0 (回答に使用しなかった文節)

記事 k における被験者 S_i の回答使用文節数は W_ki = Σ^Jk_j=1 B_kji で表すことができる.

このとき, 記事 k の第 j 文節の重要度 SCORE_kj を以下のように定義する.

	SCOREkj		=		13	Bkji
					Σ	──
					i = 0	Wki

ある閾値 TH_k を決めたとき, SCORE_kj > TH_k を満たす文節 j の集合を, その記事 k における正解集合 ASET_k とする.

     ASET_k = { j | SCORE_kj > TH_k }

それぞれの被験者 S_i について, recall, precision, F値の結果を以下に示す.

	R =		被験者 Si の回答 ∩ 正解集合
			──────────────
			正解集合

	P =		被験者 Si の回答 ∩ 正解集合
			──────────────
			被験者 Si の回答

	P =		2 R P
			───
			R + P

ここでは,100記事での平均値を示し, 閾値は正解集合の平均文節数が被験者全体の平均文節数に近くなるよう TH_k = 1.0 に設定した. このとき, 正解集合の平均文節数は4.81文節であった.

順位	Si	F	R	P	平均文節数
1	S7	0.728	0.692	0.769	4.52
2	S12	0.709	0.713	0.705	5.23
3	S13	0.708	0.855	0.604	7.39
4	S1	0.683	0.651	0.718	4.45
5	S5	0.668	0.744	0.607	6.57
6	S11	0.652	0.790	0.555	7.55
7	S4	0.650	0.748	0.575	6.67
8	S8	0.647	0.664	0.631	5.42
9	S2	0.602	0.573	0.635	4.46
10	A	0.586	0.508	0.693	3.62
11	S9	0.579	0.637	0.530	6.24
12	S10	0.571	0.553	0.590	4.70
13	S3	0.558	0.599	0.523	5.88
14	S6	0.549	0.504	0.602	4.17

このように, ALTLINE S₀ の結果は, F値で10位, recallで13位, precisionで4位というように, 他被験者と比較しても遜色のない結果が得られた. ALTLINEはもともとの出力文節数が各被験者に比べかなり小さいため, recallが悪くなる傾向がある. しかしこれによって, precisionは好結果が得られている.

前節では, 全被験者(ALTLINEを含む)によって正解集合を作成した. ここでは, 被験者集団を2つに分け, S_iを含まない被験者集団で正解集合を作成し, 各被験者についてF値を測った.

100記事での平均値を示し, 閾値は正解集合の平均文節数が被験者全体の平均文節数に近くなるよう TH_k = 0.48 に設定した.

順位 Si F 1 S13 0.681 2 S12 0.649 3 S7 0.641 4 S5 0.637 5 S11 0.617 6 S1 0.616 7 S4 0.597

順位 Si F 8 S8 0.588 9 S2 0.546 10 S9 0.537 11 S3 0.519 12 A 0.504 13 S10 0.502 14 S6 0.478

このように, F値の平均で12位という結果が得られた. この場合も, recallが低い代わりに, precisionが高いという結果を得ている.

ALTLINEはもともとの出力文節数が各被験者に比べかなり小さいため, recallが悪くなる傾向がある. これは, 格フレームを文生成に使用しているため, 必要最低限の格要素が抽出語句の特定の手がかりになるためである. 本システムの要約ルールでは, 格要素を中心に修飾語句を抽出しているが, ルールがカバーできていない部分がまだあるということで, これについては今後の課題となる. しかし, precisionが高いことから, 精度が良く, かつ要約率を最高(要約文を最小)にすることを課題設定とした場合, 現行のシステムでも十分有効であると言える.

その他の要因は, 主動詞特定の失敗と, 構文解析誤りの影響があげられる. 節2.2の方式により主動詞を特定しているが, 様相表現的動詞があるのに主動詞を正しく特定出来なかった場合, 様相表現的動詞を元に格要素の抽出を行なうため, 論点が異なった文を生成してしまう. 例えば, 原文が「米銀行３位の銀行持ち株会社のネーションズバンクと同５位のバンカメリカは１３日、 今年１０〜１２月に対等合併することで合意した、と発表した。」の場合, ALTLINEの生成結果は「ネーションズバンクと同５位のバンカメリカは発表した。」であった. 主動詞の正しい特定は今後の課題となる. また, 構文解析誤りの場合も, 格要素を正しく柚出できないため, 悪影響が出る. 付録Fの最後の例などはそれである.

本論文では, ALT-J/Eの格フレーム辞書を用いた語句の抽出と文生成を行なうことによって要約文を生成するシステムALTLINEを試作し, 語句単位の要約を行なうことによって要約率の高い一文要約を生成できることを示した. また, システムの要約結果の評価基準を設定するために被験者を用いた要約実験を行ない, これらの結果とALTLINEの結果を用いて評価基準を作成した. これによりALTLINEの比較評価を行なった結果, 人間間に入っても遜色のない結果が得られることを示した.

今後の課題としては, 生成文としての評価, 課題Aについての評価, 課題A(キーワード)と課題B(文構成語)の関連についての考察, 記事毎のばらつき, 記事の特性による影響, 各記事に対する各被験者の回答の類似性などを考察する. また, 現システムの改良点が考察出来たことから, 今後要約ルールの改良を行なっていく.

[1]

奥村学, 難波英嗣: テキスト自動要約に関する研究動向(巻頭言に代えて). 自然言語処理, Vol.6, No.6, pp1-26, (1999).

[2]

Edmundson, H.P.: New methods in automatic abstracting, Journal of the ACM, Vol.16, No.2 (1969).

[3]

Luhn, H.P.: The automatic creation of literature abstracts. IBM Journal of Research and Development, Vol.2, No.2 (1958).

[4]

Marcu, D.: From discourse structures to text summaries. In Proc. of the ACL Workshop on Intelligent Scalable Text Summarization (1997).

[5]

岡満美子, 小山剛弘, 上田良寛.: 句表現要約の句合成手法. IPS, NL129-15, pp101-108,(1999).

[6]

Hovy, H., Lin, C.Y.: Automated Text Summarization in SUMMARIST. In Proc. of the ACL Workshop on Intelligent Scalable Text SummarIzation (1997).

[7]

Ikehara, S., Shirai, S., Ogura, K., Yokoo, A., Nakaiwa, H. and Kawaoka, K.: ALT-J/E, a Japanese to English Machine Translation for Communication with Translation. In Proc. of IFlP 13th World Computer Congress, Vol.2, pp.80-85.

[8]

NTT コミュニケーション科学基礎研究所監修, 日本語語集大系, 岩波書店 (1999).

[9]

畑山満美子, 松尾義博, 大山芳史, 白井諭.: 日本語記事の重要情報に基づく英文ヘッドライン生成法. 言語処理学会第5 回年次大会 (1999).

A 問題用新聞記事

沖縄県の大田昌秀知事は１４日、名護市沖が候補地の米軍海上ヘリポート建設問題について、 毎日新聞記者らに「建設反対は当初から考えていたこと」と述べ、初めて反対を明言した。 そのうえで「橋本首相が困るような結論は言いたくない。何かオプションはないかと考えている」と語り、 代替案がないかどうかなどを模索し、橋本龍太郎首相に提言する考えを示した。 正式な反対表明の時期は、現在空席の吉元政矩前副知事の後任を決めた後としており、 早ければ今月末にも首相に表明する見通しになった。 知事は同日夕の県幹部研修で「苦しいが、いい沖縄をつくれるようにしたい」とあいさつ。 この後、記者の質問に対し、１３日に開かれたヘリポート問題を話し合う県部局長会議について 「（建設に）反対したら（政府の沖縄）振興策がうまくいかなくなるかもしれないとの問いに、 それでもいいという答えが大半だったという」と説明した。 さらに米軍基地について「（海上ヘリポート建設を）認めたら今後１００年基地があることになる。 私自身は当初から反対だった。 橋本首相にはよく沖縄のことをやっていただいているが、だからと言って政府の言う通りには出来ない」と述べた。 具体的な代替案に関しては「米国がもともと求めていたのは毎時１０ノット程度で移動できる自走式の基地だった」と語り、 問題の根源にある県内移設を打開するため県でさまざまな方法を検討し、首相に伝える意向を明らかにした。