| １． はじめに | |
| ２． 訂正候補抽出の考え方 | |
| ３． 訂正文字列候補の抽出 | |
| ３．１ 文字候補の順位づけ | |
| ３．２ 実験結果 | |
| ４． 訂正文字列候補の抽出 | |
| ４．１ 訂正文字候補の抽出 | |
| ４．２ 候補文字連接距離による絞り込み | |
| ４．３ 実験結果 | |
| （参考文献） |
日本語処理の解析精度の向上に伴い， 日本文の誤字の検出と訂正の自動化が現実の課題となって来た。 誤字を自動訂正するには，まず誤字を検出すること， 次に検出された誤字に代る訂正候補を抽出すること， 最後に訂正候補の中から正字を選択することが必要である。 このうち， 誤字の検出と正字の選択では形態素レベルの解析技術を応用した日本文チェッカが提案され， 訂正候補の抽出では二次マルコフモデルが提案されている(1)。 しかし二次マルコフモデルでは品質の良い訂正候補が得られないため 訂正率を向上させるのは困難である。 そこで，本論文では二次と三次のマルコフモデルを併用した精度良い訂正候補の抽出法を提案する。
ＯＣＲで読み取った日本文の読み誤りには棄却文字と誤読文字がある。 前者はＯＣＲによってその位置が特定されているのに対して， 後者はその存在すら不明であり，日本文チェッカでまず検出する必要がある。 しかし現状では誤字の位置まで正確に決定するのは困難であるので， ある狭い文字区間( 数文字） 内に誤字があることが判明したとし， それを訂正する為の訂正候補の抽出を考える。 以上から本論文では，棄却文字に対しては「訂正文字候補｣の抽出， 誤読文字に対しては｢訂正文字列候補｣の抽出を考える。
＜訂正候補の確率的評価＞
┌ n
│ P(X1ΠP(Xi|Xi-1) [２次]
P(X)= ┤ i=2
│ n
│ P(X1P(X2|X1)ΠP(Xi|Xi-2Xi-1) [３次]
└ i=3
|
以上から，Z が与えられたとき X を確率的に推定するには， 種々の X を仮定して P(X|Z) の最大となる X を選べば良い。 P(Z|X) は装置の特性に依存するが， ここでは装置の雑音はランダムな雑音であると仮定し， P(X) によって X を評価する。 なお，P(Z) はこの場合一定である。
誤字と誤字の前後各２文字を含む５文字の文字列を考え， 誤字に対する訂正候補として，誤字の�〜以�２文字， ��後方の２文字， �Ａ鯵藤永源�に連接する確率の高い文字を確率順にそれぞれM個抽出する。 但し，３文字連接の条件付き確率が２文字連接の条件付き確率より小さいときは， �，紡紊┐�(イ)前方１文字，�△紡紊┐�(ロ)後方１文字への連接により候補を抽出する。
上記で得た訂正文字候補 Xi* を含む文字列 X*=Xi-2Xi-1Xi*Xi+1Xi+2 を考える。 すべての Xi* に対して(3M個以下) P(X*)=P(Xi-2)P(Xi-1|Xi-2)P( Xi*|Xi-2Xi-1)P(Xi+1|Xi-1Xi*)P(Xi+2|Xi*Xi+1)を求め，この値の高い順にM個のXi*を並べる。 但し，P(X*)の評価ではk=i,i+1,i+2に対して P(Xk|Xk-2Xk-1)≦P(Xk|Xk-1) のときは P(Xk|Xk-2Xk-1)に代えて P(Xk|Xk-1)を用いる。
P(Xi|Xi-1) と P(Xi|Xi-2Xi-1) の値は 新聞記事それぞれ100万字，150万字を対象に統計的に求めた。 誤字標本は上記の記事以外の記事から５文字連鎖2000組をランダムに選び， 第３番目の文字をＪＩＳ第２水準以下の漢字もしくはかな文字にランダムに置き換えて作成した。 図１に得られた訂正候補の順位と正解率の和（累積正解率）の関係を示す。
この図から従来の二次マルコフモデルに比べて 前節で示した２次３次混合型モデルでは精度良い訂正候補が得られることが分る。 特に，上位の候補の正解率が大幅に向上しているが，これは後の正字の選定に有利である。
|
|
誤字を含む文字列 Z (=Z1Z2…ZL) に対する 訂正文字列候補を抽出する。 Z内に含まれる誤字の数と位置は不明とする。
文字列 Z の前後各２文字を含む文字列をとり， Z 内の各文字に対する訂正候補を3.1節の方法でM位まで抽出すると 訂正文字列候補はM×Lの行列となる。 各要素の組み合せ(ML通り)が訂正文字列候補である。
文字列 Z 内の文字 Zi に対するＭ個の訂正文字候補それぞれを X(mi)i (mi=1,2,…,M) で表わす。 ３次マルコフモデルで訂正文字列候補を得るには， 下式で示される E(X*) の値の大きい順に文字列 X(=X1X2…XL)を抽出すると良い。 この両辺の対数をとって負号をつけると下式の通りとなるから， E(X*) を最大にするには -ln E(X*)を最小にすれば良い。 そこで訂正候補 X(mk-1)k-1 と X(mk)k との距離を Xk-2* の選び方に依存させ， -lnP(X(mk)k|X(mk-2)k-2X(mk-1)k-1 で定義すると，X-1 から始めて X1X2…XL の各文字に対する候補文字のパスの距離の短い順にM個のパスを求める問題に帰着する。
L+2
E(X*)=Π P(X(mk)k|X(mk-2)k-2X(mk-1)k-1) ，但し，k=-1,0,L+1,L+2 では X(mk)k=Xk
k=1
L+2
-ln E(X*)= - Σ ln P(X(mk)k|X(mk-2)k-2X(mk-1)k-1)
k=1
|
計算量を減少させるため，Z 内の誤字数の最大値 n(≦L)が与えられたものとして， L=9 の場合について評価結果を示すと図２を得る。 図でneは実際に Z 内に含まれる誤字の数を示す。 図から誤字の数が１の場合（位置は不明）は 棄却文字（位置が既知）の場合と比べて遜色のない訂正候補が得られること， 誤字の数が増すにつれて訂正候補の品質は低下することなどが分る。
|