| 1. はじめに | |
| 2. 離散型共起抽出の問題点 | |
| 3. 抑制型離散共起抽出の方法 | |
| 4. 実験結果 | |
| 参考文献 |
機械翻訳などの自然言語処理において、固定的な言い回しの表現を収集するため、 大規模な言語データベースから共起表現を収集する方法が期待されている。 共起表現には、いくつかの単語が連続したタイプ(1) （連鎖型共起表現）と、2種類以上の表現が文中の離れた位置に共起するタイプ （離散型共起表現）があるが、 自然言語の文型を収集する場合は、後者のタイプが特に有用と考えられる。
最近、大規模な言語データから、 このような離散型共起表現を自動的に発見して抽出する方法が 提案された)2)。 しかし、この方法では、1文中に同じ文型が複数出現するような場合、 文型とみなせないような表現の組を多数抽出してしまう問題がある。 そこで、本論文では、この問題を解決する方法を提案する。
提案されている方法は、着目する複数の表現について、 それが一文中に離れて出現する組のすべてをファイルに吐き出し、ソートした後、 同一の組の頻度を求めるものである。 この方法では、同一文中に同一の表現の組が複数回出現するような場合、 文型とはみなせないような表現の組が多数抽出される。
| 文頭 | 文末 | � 瓠崚豬弌� | |
|
�◆瓠崚戮鮹羶瓦箸垢詒招臓� | ||
| 抽出したい表現要素の組 | � 椨◆椨�＝3回 | ��＝「キロの海域」 | |
例えば上図のケースでは、組み合わせる表現要素の数k＝3の場合、 文型情報として抽出の期待される離散型共起は、� 椨◆椨�の表現で、その頻度は3であるが、 従来の方法では、� き◆き�のすべて組み見合わせ27通り（出現回数合計84回）が抽出される。 通常、kが増すにつれて抽出される表現の組の数が坤大するため、急速に計算困難となるが、 kがある程度大きくなると、逆に、計算量は減少する。
| 新聞記事データ（約1,000万字）の例では、表現要素数3〜4種の場合、 ファイルサイズが最大になり、それ以上の表現要素数では、組の数、 出現回数共に次節に減少し、要素数10余りで、収束する。 |
従来の無抑制型の抽出方式に対して、以下の条件での離散型表現抽出を考え、 条件1に従う抽出（弱抑制型抽出方式）と、 条件1、条件2を共に満足するような抽出（強抑制型抽出方式）を提案する。 これらの方法によれば、前例の場合、表1に示すように、表現の不要な組は大幅に絞り込まれる。
| 離散型共起表現を構成する要素はお互いにすべて異なるものとする。 すなわち、同一の種類の要素を2つ以上含む離散型共起は抽出しない。 | |||
| 条件2＝ | 原文中、離散型共起表現を構成する先頭の要素と末尾の要素の間に、 着目する要素が2回以上現れてはならない。 |
|
無 | 弱 | 強 | |||||||
| � 椨 椨� | 1 | |||||||||
| � 椨 椨� | 4 | |||||||||
| � 椨 椨� | 4 | |||||||||
| � 椨◆椨� | 4 | |||||||||
| � 椨◆椨� | 4 | |||||||||
| � 椨◆椨� | 10 | 10 | 3 | |||||||
| � 椨�＋�� | 4 | |||||||||
| � 椨�＋�� | 4 | 4 | ||||||||
| � 椨�＋�� | 4 | |||||||||
| �◆椨 椨� | 1 | |||||||||
| �◆椨 椨� | 4 | |||||||||
| �◆椨 椨� | 4 | 4 | ||||||||
| �◆椨◆椨� | 1 | |||||||||
| �◆椨◆椨� | 1 | |||||||||
| �◆椨◆椨� | 4 | |||||||||
| �◆椨�＋�� | 4 | 4 | 2 | |||||||
| �◆椨�＋�� | 4 | |||||||||
| �◆椨�＋�� | 4 | |||||||||
| ��＋� 椨� | 1 | |||||||||
| ��＋� 椨� | 4 | 4 | 2 | |||||||
| ��＋� 椨� | 4 | |||||||||
| ��＋�◆椨� | 1 | 4 | ||||||||
| ��＋�◆椨� | 1 | |||||||||
| ��＋�◆椨� | 4 | |||||||||
| ��＋��＋�� | 1 | |||||||||
| ��＋��＋�� | 1 | |||||||||
| ��＋��＋�� | 1 | |||||||||
| 合 計 | 84 | 27 | 7 | |||||||
日経産業新聞3ケ月分(972万字)の中に現れた、 度数2以上の連鎖型の共起表現(異なり97万件、延べ261万件)を要素とする 離散型共起表現の組を提案した方法で求め、その結果を表2に示す。 実験結果から、以下のことが分かった。
| (1) | 無抑制型と弱抑制は大差ないが、 強抑制では不要な表現の絞り込みの効果は大いく、 足切りなしで、任意の数の表現の組まで計算できる。 |
| (2) | 標本量が増加すれば、計算量も増加するが、 その分、組合せ要素として使用する連鎖型共起表現の度数の足切りを 行えば(標本量がn倍の時、n度数以下を足切りするなど)、計算は可能となる。 |
| 集計項目 ＼ タイプ | 2要素の組 | 3要素の組 | 4要素の組 | |
| 無抑制型 | 延べ組数 | 61.2万組 | 664万組 | 計算不能 |
| 異なり組数 | 26.6万組 | 259万組 | ||
| 吐出ファイル量 | 461MB | 276MB | ||
| 弱抑制型 | 延べ組数 | 60.6万組 | 651万組 | 計算不能 |
| 異なり組数 | 26.5万組 | 256万組 | ||
| 吐出ファイル量 | 461MB | 269MB | ||
| 強抑制型 | 延べ組数 | 39.8万組 | 38.8万組 | 135万組 |
| 異なり組数 | 17,2万組 | 16.0万組 | 55.1万組 | |
| 吐出ファイル量 | 459MB | 116MB | 322MB | |
| ファイル量＝ 表現の組の吐き出しに使用したファイル量のこと。 ソーティングのためにはこの数倍のワークファイルを使用している。 |