| 1. まえがき | |
| 2. 従来の方法とその間題点 | |
| 3. 連鎮型共起表現の抽出法 | |
| 3.1 重なる文字列の扱い | |
| 3.2 文字列抽出アルゴリズム | |
| 4. 共起表現の抽出実験 | |
| 5. あとがき | |
| 参考文献 |
最近、自然言語処理において、大量のコーパスや用例の重要性が指摘され、 それを分析する技術の必要性が増大している。 言語データの中から、使用頻度の高いフレーズや表現のパターンを抽出する方法としては、 2単語の結びつきの強度に着目した方法(1)や 単語間の距離に着目した方法(2)、 結合単語数と出現回数を考慮した 方法(3,4) など(5)が提案されている。 しかし、大量の言語データを対象とするとき、計算量の問題から、任意の長さで、 出現頻度の高い表現を自動的に発見して、抽出することは困難であった。
これに対して、最近、大量の言語データを対象に、 任意のnに対するn-gram統計を高速に実行する方法が 提案された(6)。 この方法を用いれば、原文中に使用された文字列を、 その長さ(文字数)の順かつ出現頻度の順に集計することが出来る。 しかし、抽出する文字列間の相互関係が無視されているため、 既に抽出された文字列の部分文字列が重複して抽出される。 従って、抽出された文字列には、文法的、意味的にまとまりのない断片的な文字列が多数を占め、 独立した表現の単位となるような文字列を選択する作業が大変であった。
本論文では、この問題を解決する方法として、言語データの中から、 文字列を、それらが部分文字列として相互の重複のあるものは対象外とすると言う条件下で、 文字数の多い順、かつ使用頻度の高い順に、漏れなく、自動的に抽出し、集計する方法を提案する。
(1) 文字列抽出の条件
自然言語表現に共起する表現としては、 連語やフレーズのように連続した文字列を構成するもの(連鎖型共起表現)と、 係り結び、呼応関係、特定の動詞と特定の名詞の組などのように、 2種以上の文字列が、文中の離れた位置に現れるもの(離散型共起表現)がある。 本報告では、前者の文字列を以下の条件で抽出することとする。
| 第1 | の条件: 一致文字数の多い順に抽出する。 |
| 第2 | の条件: 出現頻度の高い順に抽出する。 |
| 第3 | の条件: ある文字列が抽出されたとき、その文字列内に含まれる部分文字列は、 既に抽出済みと考え、それ以降は抽出の対象としない。 |
(2) 長尾・森の方法とその間題点
日本語文章データから、出現頻度の高い連続した文字列を抽出する 長尾・森の方法(4)を要約すると以下の通りである。
[長尾・森の方法] 先頭文字から順に、0文字、1文字、2文字、 ・・・N-1文字を削除したN個の部分文字列(文字列単語と呼ぶ)に対して、 各部分文字列の順に対応するN個のレコードを持った原文番地ファイルを作成し、 文字列コード順にソートしたあと、前後の文字列の先頭からの一致文字数をカウントする方法で、 以下の手順で構成される。
| 手順1: 原文番地ファイルの作成 | |
| 手順2: 汎用ソートファイルの作成 | |
| 手順3: 一致文字数のカウント | |
| 手順4: 文字列の抽出とカウント |
この方法により、第1、第2の条件は満足されるが、目標とする第3の条件は満足されない。 抽出された文字列の出現回数に対して、 より長い文字列に含まれていた部分文字列の出現回数を差し引くなど、 次数の異なる複数のn-gram集計表を組み合わせて計算する方法が考えられるが、 集計表の生成された時点では、抽出された文字列の原文中での相互関係の情報が失われているため、 計算は不可能である*2。
n-gram文字列とm-gram文字列の抽出を考えたとき、問題となるのは、 図1に示すように、両者に何らかのオーバーラップがあるときである。
|
|
(1) 一方が他方を内包する場合
この場合は、さらに3つの場合に分けられるが、いずれの場合も、 m-gram部分はn-gramとして抽出された文字列の部分に内包されるので、抽出の対象とならない。 従って、n-gram文字列を抽出するとき、n-gram文字列として抽出した文字列の部分は、 後の処理でm-gram文字列の対象としないよう 「汎用ソートファイル」の該当レコードを無効化する必要がある。
(2) 互いに部分を共用する場合
この場合は、さらに2つの場合に分けられるが、いずれの場合も、 m-gram文字列とn-gram文字列は、原文上互いにその一部を共有するだけであるので、 抽出対象文字列である。
(1) アルゴリズム
前章の議論をふまえ、原文データから、 2回以上の出現回数を持つ固定的な(連続した)表現を文字列として、 文字数の多い順に、かつ、重複なしに抽出するアルゴリズムを提案する。
＜前準備＞
まず、長尾等の方法で使用された「汎用ソートファイル」を拡張し、 その各レコードに、「抽出文字数」の機「を設ける(図2参照)。
＜文字列抽出アルゴリズム＞
手順1: 手順2: 手順3: 長尾等の方法と同じ
手順4: 「抽出文字数の記入」
上記で得た「拡張汎用ソートファイル」上の「抽出文字数」の欄に、 自分のレコードの先頭から何文字までが抽出対象となっているかを記入する。 具体的には、各レコードの抽出対象文字数の値を順に見て、自分のレコードの値が、 直前のレコードと同一の数字か、それより大きい数字の場合は、一致文字数をコピーし、 逆に、自分の値が直前のレコードの一致文字数より小さいときは、 直前のレコードの値をコピーすればよい。
手順5: 「拡張原文番地ファイルの作成」
手順4で得られた拡張汎用ソートファイルを原文番号順に再ソートしたあと、 各レコードに「採否表示」の欄を設け、それを「拡張原文番地ファイル」とする。
手順6: 「有効無効判定処理」
拡張原文ファイル上で、以下の方法で、先頭レコードから順に、 各レコードの無効判定を行い、その結果を、「採否表示」欄に記人する。
すなわち、先頭レコードから「抽出文字数」の値を調べ、 iレコード目で、始めて0でない値nを発見したとする。 そのとき、i番目のレコードの採否表示は「〇(採用)」とし、 それに続くi+1、i+2、・・・、j+(n-1)のレコードの抽出文字数の値を調ベる。 それらの値が、それぞれ、n-1、n-2、・・・、1以下であるレコード採否表示を 「×(不採用)」とし、それ以外のレコードの無効表示は「〇」とする。 次に、新たに「○」と判定されたレコードの番号をiとして、同様の処理を繰り返す。 「〇」と判定されたレコードのないときは、i+nのレコードまで進む。 そのレコードの「抽出文字数」0の時は、はじめと同様、 0出ない値を持つレコードまで進み、同様の手順を繰り返す。
手順7: 「再拡張汎用ソートファイルの作成」
上記で得られた「拡張原文番地ファイル」を再度、 「汎用ソートファイル」レコード順にソートし、「再拡張汎用ソートファイル」を作成する。
手順8: 「抽出文字列集計処理」
「再拡張汎用ソートファイル」を参照して、以下の手順で、抽出する文字列を決定し、 同時に、その出現回数を求める。
| �� | 採否表示が「〇」となっているレコードを調べ、抽出文字数の最大のレコードを探す。 そのレコードの一致文字数をnとする。 |
| �� | 抽出文字数の値がnの最初のレコードの番号をi1とすると、 i1からから始まって、後方のレコードを見たとき、 抽出文字数が速続してnとなるレコードの数が、そのn字の文字列の出現回数であるから、 文字列と出現回数(但し、出現回数2以上)を集計表に記録する。 次に現れた、抽出文字数がnのレコードi2に対して、 前と同様にして文字列と出現回数を集計表に記録する。 |
| �� | n＝n-1とし、�△亮蟒腓魴�り返す。n＝0になったら処理は終了する。 |
(2) 例題検討
以上のアルゴリズムの適用例を図2に示す。 この例では、従来のアルゴリズムで抽出される文字列の種類が24種類で、 延べ抽出文字列数が72件であったのに対して、本論文の方法では、6種類、12件に紋られる。
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
日経産業新聞記事3月分(892万字)を対象に、連鎖型共起文字列の抽出実験を行った。 その結果を、表1〜4に示す。 使用した計算機は、XEROX ARGOSS 5270(SUN OS4.1.3)で、使用したメモリ量は、最大48MBである。
|
本論文の方法 | 長尾・森の方法 | |||||||||
| 文字列の種類数 | 延べ出現回数 | 文字列の種類数 | 延べ出現回数 | ||||||||
| 2文字以上 | 970,203 | 2,613,704 | 4,374,141 | 31、178,897 | |||||||
| 5文字以上 | 591,901 | 1,476,922 | 2,960,487 | 10,808,458 | |||||||
| 10文字以上 | 52,214 | 114,270 | 673,601 | 1,550,817 | |||||||
| 20文字以上 | 1,792 | 3,692 | 177,298 | 359,810 | |||||||
|
本論文の方法 | 長尾・森の方法 | |||||||||
| 文字列種類数 | 延べ出現回数 | 文字列の種類数 | 延べ出現回数 | ||||||||
| 2回以上 | 970,203 | 2,613,704 | 4,377,087 | 39,588,291 | |||||||
| 5回以上 | 67,321 | 551,441 | 882,217 | 31,288,701 | |||||||
| 10回以上 | 12,351 | 217,934 | 372,291 | 28,050,199 | |||||||
| 20回以上 | 2,288 | 92,804 | 169,375 | 25,871,964 | |||||||
| 50回以上 | 285 | 37,850 | 62,991 | 22,209,875 | |||||||
| 100回以上 | 76 | 24,167 | 30,316 | 19,961,961 | |||||||
| 200回以上 | 20 | 16,771 | 14,363 | 17,759,432 | |||||||
| 本論文の方法 | 長尾・森の方法 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
延べ47,336回]
|
延べ345,232回]
|
| 高頻度 文字列 |
これらの表から、以下のことが分かる。
| �� | 従来の方法に比べて、本論文の方法では、 抽出される文字列の種類、出現回数共に大幅に抑制される。 |
| 例えば、2文字以上、2回以上の文字列では、抽出される種類が5分の1、 延べ出現回数も約10分の1に抑制される。 この効果は、文字数の大きい文字列ほど大きく、 20文字以上の場合では、100分の1にもなる。 | |
| �� | 本論文の方法で抽出された文字列は、文法的、意味的に表現の単位になるものが多く、 断片的な文字列の抽出は大幅に抑制される。 |
処理時間では、最初の文字列単語のソート(汎用ソートファイルの作成)に、 最も多くの時間(数十時間)がかかったが、 その後の処理は、それに比べて短時間(約1〜2時間)であった。
言語コーパスなどの膨大な言語データから、使用頻度の高い表現を自動的に、 長い順かつ頻度の高い順に、漏れなく発見し、集計する方法を提案した。
約890万字の新聞記事データに適用した例によれば、従来の方法に比べて、 断片的な文字列の抽出が仰制され、抽出される文字列の種類は20〜1%に、 またそれらの述べ出現回数は14〜1%程度に削減されることが分かった。
このように、文法的、意味的な表現の単位としての連鎖型共起表現が得られるようになったため、 これを応用すれば、離散型共起表現も自動的に抽出することが可能となった。 それについては、別稿で述べる。
なお、本論文では、日本語文字列への適用例を示したが、 単語列や形態素解析結果への適用も同様である。