| １． はじめに | |
| ２． 漢字かな変換に占める位置 | |
| ３． 分かち書き処理方式 | |
| ４． 分かち書き辞書 | |
| ５． 実験 | |
| ６． おわりに | |
| 参考文献 |
日本語には，英語のように単語を区切って書く分かち書きの習慣がないため， 機械処理を行う上で大きな障害となっている。 現在，漢字かな混り日本文の音声化出力を狙いとして， 音声化に要求される漢字かな変換の検討を進めているが， 本稿ではこの漢字かな変換に用いる分かち書きについて報告する。 本分かち書きに用いた方法自体は既存のものであるが，それらをうまく組合わせることにより， 現代国語の書きことばを対象とできるという見直しを得た。
漢字かな変換(1)では， 基本的には漢字を含む単語毎に辞書引きを行いかなに変換する。 このため，漢字を含む語を正しく切断することが必要となるが， 分かち書きでは主としてひらがな部分を分析することにより形態論的な単語に分割し， 長い漢字列の分析は複合語分割で行うこととした（図１）。
|
|
字種の情報を用いた処理と，辞書引き処理を併用して， 処理自体の汎用化を狙うと共に，辞書のデータ量増大を防ぐ。 地理の概要を以下に示す（図２参照）。
|
�ー�書の読み込み： 語彙を与える辞書（�きキГ濃藩僉砲叛楝灰襦璽襪鰺燭┐觴�書（�┐濃藩僉砲鯑氷�む。 語彙辞書は１文字ずつ木構造に展開してコンパクト化し， インコアに持つことを可能にすると共に辞書引きの効率化を図る。
�∧犬瞭�力： 分かち書きを行う文を１文入力する。 入力が尽きれば処理を終了させる。
�Ｊ言畧擇�： 句読点と字種の変化点（ひらがな→漢字，カタカナ）に注目して文を切断する。 このようにして設定した文節は文法上の「文節」を基準にみると， 「文節」の境界で字種の変化がない場合切断きれず， また，単語の途中で字種が変化する（ひらがな→漢字）場合切断される。 前者は単語認定が正しく行えればあまり問題ではないので救済しないが， 後者は直接分かち書き失敗の原因となるため処理�い乃澪僂垢襦�
�ず�ぜ書き語抽出： 混ぜ書き語辞書と最長一致した項目に固定処理を施し， かつ必要に応じて文節の境界を修正する。
�ハ�語抽出： 連語辞書と最長一致した項目に固定処理を施す。 連語とは，様相や時制などを表す一定のひらがな列で，複数の単語から成っているものを云う。
�Ψ疎崛巴蟒丕鼻塀萢�）： 文節内の漢字またはカタカナから成る部分を切出し， 名詞，用言語幹（形容詞，形容動詞，動詞＝五段・上一段・下一段活用）として形態素候補にする。 これにより，漢字またはカタカナのみで書かれる自立語は 辞書として持たない状態のままで分かち書きが行える。
�Х疎崛巴蟒�II（辞書引き）： 形態素語彙辞書を引き，文節内に含まれる形態素となりうるものを全て抽出し列挙する。
�┯贏辰寮楝蓋…�： 処理�ぁ銑Г巴蟒个気譴晋贏辰紡个靴董� 連続する２つがその文法情報からみて接続可能か否か判定し，繋がるものを順次繋いで行く。 そして，文節が語彙の連鎖によって再構成できれば， その連鎖パターンを文節の語彙分割パターンとする。 なお，接続ルールは接続辞書にあるものを用いる。
語彙を与える辞書としては，混ぜ書き語辞書，連語辞書， 形態素語彙辞書（付属語辞書，活用語尾辞書，ひらがな自立語辞書， 漢字ひらがな自立語辞書）を用いる。 これらの語彙辞書ではなるべく長い形を扱って語彙抽出の曖昧さ減少を狙う。 接続辞書は，上記語彙を与える辞書及び処理�Δ農言�される形態素を 接続の仕方に応じて79グループに分類し， それぞれのグループ毎にその接続ルールを与えるものである。 接続ルールは，品詞，品詞の小分類（名詞，助詞，助動詞）， 活用型・活用形（動詞，形容詞，形容動詞，助動詞），活用行（動詞）を用いて整理した。
| 辞書名 | 内 容 | 項目数 | |
| 混 ぜ 書 き 語 | 語の途中に「ひらがな→漢字」の変化点を持つ語 | 作成中 | |
| 連 語 | 様相などを表わす一定のひらがな列 | 1251 | |
| 形 態 素 辞 書 |
付 属 語 | 助詞・助動詞の全活用形・接頭語・接尾語 | 223 |
| 活 用 語 尾 | 動詞・形容詞・形容動詞の全活用語尾 | 217 | |
| ひ ら が な 自 立 語 | ひらがな書きされる体言・用言語幹など | 877 | |
| 漢字ひらがな自立語 | 「漢字＋ひらがな」型の体言・用言語幹など | 203 | |
| 接 続 | 語彙の直前に来うる語彙の品詞・活用情報 | 79 | |
以上のようにして作成した分かち書き処理（PL／�橘�1500steps＋Fortran約200steps）に対して， 現在新聞データを用いた分かち書き実験を行っている。 新聞データは，現代国語の書きことばの代表としてとりあげたもので， 具体的には読売新聞昭和56年３月17日の紙面１日分（見出し，要約，広告は除く）である。
実験結果を表２に示す。 ここで多義度とは，分割された語彙への品詞付けが複数個生じた場合か， 少数ではあるが，ひらがな列の語彙分割パターンが複数個生じた場合を云う。 失敗とは，処理�┐諒言瓩虜胴柔�が成功しなかった場合を云う。
失敗の原因としては，(i)形態素語彙辞書の語彙不足， (ii)連語の固定処理に起因するもの，(iii)混ぜ書き語に関するもの， (iv)その他（特殊な表記＝「逝（い）った」，文語の引用＝編集手帳爛など）がある。 例えば，第１面の記事（約7700年）1417文節に対する失敗92文節の内訳は， (i)＝51，(ii)＝6，(iii)＝29，(iv)＝6であった。 即ち，(iv)以外は辞書への追加／修正により容易に解決できる（(iv)は今後の課題）。
また，多義性の多くは処理�Δ鉾爾辰独�生するもので， 一般自立語辞書を持たない方式としてはやむを得ないものであうが， 漢字を含む語の分割は一意に行われているたの， 複合語分割や漢字かな変換には影響はないと考えられる。
| 項目 | １文節当たりの多義度（新聞１日分，約13万字） | 失敗 | 合計 | |||||||||
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | |||
| 度数 （文節） | 13856 | 4579 | 803 | 1086 | 86 | 53 | 8 | 10 | 2 | 15 | 2011 | 22519 |
実験結果から，本方式により現代国語の書きことばを十分扱えると判断される。 今後は，新聞を用いた分かち書き実験を繰返し行って辞書を整備する予定である。
最後に，国語辞書（新明解国語辞典第２版）の計算機上での使用を許可してくださった 三省堂の関係各位に深謝します。 また，本分かち書きの原形となったプログラムを提供してくださった 京都大学の長尾教授に深謝します。