| 1 はじめに | |
| 2 多段解析法による形態素解析の概要 | |
| 3 形態素解析の精度 | |
| 3.1 実験の条件 | |
| 3.2 解析精度 | |
| 4 今後の課題 | |
| 4.1 解析誤りの分析 | |
| 4.2 改良の可能性 | |
| 5 おわりに | |
| ＜謝辞＞ | |
| ＜参考文献＞ |
形態素解析は自然言語処理において最も基本となる技術であり， 日本語の形態素解析の誤り率は新聞記事などの一般テキストに対し 単語単位で現状１〜３％と言われている[長尾94]。 実用上は誤り率を一桁程度は減少させたいところであるが， 精度向上のための具体的方策は必ずしも明らかではない。
筆者らが研究中の日英翻訳システムには， 先に提案した多段解析法[宮崎86]による形態素解析処理が組み込まれている。 そこで，新聞記事に対する形態素解析処理の走行実験を行ない， 解析精度を測定するとともに問題点の分析を行なったので，その結果について報告する。
多段解析法は，解析精度と処理能力を両立させるため， 局所的総当たり法による形態素解析をベースとし， 構文や意味の情報が有効となる複合語解析や同形語判別などには， 部分的に深く解析することを特徴とする[宮崎86]。 処理の概要を以下に述べる。
�＿省言甼�界の設定
字種の変化点（ひらがな→漢字・カタカナ等， 句読点→非句読点）に着目して仮文節境界を設定する。 仮文節は局所的総当たり法による単語認定を行なうための処理単位である。
��単語候補の抽出
単語意味辞書[池原93]を検索し，仮文節内の単語候補を抽出する。 仮文節境界を挟んで交ぜ書き語が位置すれば，仮文節境界を補正する。
| （例） | ┃ | 売 | り | ┃ | 出 | し | を | け | ん | ┃ | 制 | す | る | ┃ | （┃は仮文節境界） | ||||||||
| ｜ | ↓ | ／ | │ | ||||||||||||||||||||
| ｜ | ←─────→ | ←───→ | │ | （交ぜ書き語抽出） | |||||||||||||||||||
| ↓ | × | ／ | ↓ | ||||||||||||||||||||
| ┃ | 売 | り | 出 | し | を | ┃ | け | ん | 制 | す | る | ┃ | （仮文節境界補正） | ||||||||||
��ひらがな列分割パターンの抽出
仮文節内のひらがな列に対する単語候補が連接可能かどうかを文法的に検定し， ひらがな列分割パターンとして可能なものをすべて生成する。
�い劼蕕�な列分割パターンの絞り込み
単語意味辞書記載の単語の優先・非優先の指定と 仮文節内の自立語数・付属語数を総合的に評価して，ひらがな列分割パターンを一意化する。
�ゴ岨�列分割パターンの抽出
仮文節内の漢字列に対する単語候補が接続可能かどうかを文法的に検定し， 漢字列分割パターンとして可能なものをすべて生成する。
�Π嫐Ｅ�係り受け関係の解析
漢字列分割パターンのそれぞれに対し， 格関係・副詞修飾等の構文的関係や意味属性による単語間の意味的関係を 解析する[宮崎84][宮崎93]。
�Т岨�列分割パターンの絞り込み
漢字列分割パターンに対して，分割数最小法を基本とし， 意味的関係や単語の優先・非優先の指定を加味し評価が高いものを 選択する[宮崎84]。
| （例） | 分割パターン | 単語数 | 関係数 | 評価値 | 採否 | |||||||||||||||||
| ４ | １ | ３ | × | ||||||||||||||||||
| ５ | ２ | ３ | × | ||||||||||||||||||
| ５ | ０ | ５ | × | ||||||||||||||||||
| ５ | ３ | ２ | ○ | ||||||||||||||||||
| ５ | １ | ３ | × | ||||||||||||||||||
��単語列分割パターンの抽出
漢字列分割パターンとひらがな列分割パターンとの文法的な相互制約により， 仮文節内の単語分割列パターンを絞り込む。
��単語列分割パターンの決定
文節境界の設定，同形語の多義の絞り込みなどを行ない，形態素解析の最終結果とする。
本形態素解析で使用する単語意味辞書[池原93]には， 一般語12万語のほか，人名・地名・企業名などの固有名詞20万語，専門用語５万語など， 合計40万語が収録されている。 また，各単語には， 3,000項目の意味属性体系に基づく一般名詞意味属性・固有名詞意味属性のほか， 約300項目の品詞等の文法情報，上記�きГ濃藩僂垢詬ダ茵θ麝ダ茲両霾鵝� �Δ旅淑古�情報が付与されている。 固有名詞には一般語やその組み合わせたものと同形の語（例えば，平野，八戸）が多いため， 上述のような情報が必要となる。
本稿では，日経産業新聞・リード文965文（情報欄，311記事）を試験文とした。 また，試験文中に現れた会社名・人名・商品名のうちの180語に限り利用者辞書に登録した。 試験文の概要を以下に示す。
| 字数 | 〜10 | 〜20 | 〜30 | 〜40 | 〜50 | 〜60 | 〜70 | 〜80 | 〜90 | 91〜 | 計 |
| 文数 | 26 | 76 | 147 | 160 | 168 | 155 | 119 | 54 | 32 | 28 | 965 |
| 個数 | 〜 5 | 〜10 | 〜15 | 〜20 | 〜25 | 〜30 | 〜35 | 〜40 | 〜45 | 〜50 | 〜51 | 計 |
| 文数 | 22 | 81 | 157 | 204 | 172 | 141 | 101 | 57 | 17 | 4 | 9 | 965 |
|
表３ 文あたり文節数
(平均8.59文節/文)
|
| ||||||||||||||||||||||||||||||
本稿では，試験文における本来の形態素境界と 解析処理により設定された形態素境界とに着目して解析精度を評価する。 前節で述べた条件下で形態素解析を走行させた結果に含まれる誤りを種類別に集計すると 次のようになる。
| 誤りの タイプ | 形態素境界 | 文節境界 | 品詞 | ||
| 切断 | 不切 | 切断 | 不切 | ||
| 件数 | 28 | 41 | 31 | 21 | 40 |
この結果，以下に示す評価値が得られる。
| (A) | 形態素境界の設定 | ||||
| （形態素単位） | |||||
| ・境界設定再現率 | ＝ | 20,297／20,338 | ＝ | 99.80% | |
| ・境界設定適合率 | ＝ | 20,297／20,325 | ＝ | 99.86% | |
| （文字単位） | |||||
| ・境界設定正解率 | ＝ | 43,519／43,579 | ＝ | 99.86% | |
| (B) | 文節境界の設定 | ||||
| ・境界設定再現率 | ＝ | 7,296／7,317 | ＝ | 99.71% | |
| ・境界設定適合率 | ＝ | 7,296／7,327 | ＝ | 99.58% | |
| (C) | 品詞の設定（正しく解析された形態素に対して） | ||||
| ・品詞正解率 | ＝ | 21,194／21,234 | ＝ | 99.81% | |
以上から，本形態素解析処理の精度は，品詞の設定を含めると， 形態素単位で99.5%程度とみられる。
例えば「現代/用語」が「現/代用/語」と分割されると 形態素切断誤り２件と形態素不切誤り１件が含まれるが， 関連があるため，１件の誤り要因に集約できる。 こうして集約した要因101件を２節の処理ステップ別に集計すると次のようになる。
| |||||||||||||||||||||||||||||||
|
（注）/ は形態素境界, | は形態素境界かつ文節境界 | ||||||||||||||||||||||||||||||
表５の問題点は，辞書との連携（�◆法な�割パターン抽出・絞り込みルール（���きキЛ┃�）， 意味的関係解析ルール（�А砲裡骸鑪爐紡臺未気譴襦� 現在，改良作業を実施中であるが， 表５の代表例など60件程度はルールの改良により解決される見込みであり， 最終的な解析精度は形態素単位で99.8%をクリアできると考えている。 また，残る誤りに対しても誤り回復のメカニズムも 構築中であり[白井94]，実用上十分な精度が得られる見通しである。
多段解析法による形態素解析の精度は，形態素単位で現状99.5%であり， 改良により99.8%が達成できる見込みであることを報告した。 現在進めている改良の結果については別の機会に報告する。
本検討にご協力くださった梅田美砂子氏を始めとするＮＴＴソフトウエアの各位， 並びに，日本語単語意味辞書の構築・改良にご協力くださった阿部さつき氏， 矢部孝幸氏を始めとするＮＴＴアドバンステクノロジの各位に感謝する。