Satoru Ikehara, Satoshi Shirai & Akihiro Kannari, 1983 Fall IEICE Meeting, September 12-14, 1983

日本文の誤字に対する訂正候補の抽出について

池原　悟		白井　諭		神成明宏
（横須賀電気通信研究所）				（長岡技術科学大学）

[ 昭和58年電子情報通信学会情報・システム部門全国大会, Vol.2, p.218 (1983.9). ]
[ In Proceedings of 1983 Fall IEICE Meeting, Vol.2, p.218 (September, 1983). ]

INDEX

	１．序
	２．訂正候補の字種推定
	３．誤字分布関数の合成
	４．訂正文字候補の抽出
	５．訂正文字列候補の生成
	６．実験結果
	７．あとがき

	文献１

１．序

誤字検出実験（文献１）で検出された日本文の誤字に対して，二次マルコフモデルを用いた訂正候補抽出実験を行なった。候補抽出の仕組みと抽出された候補の評価結果を示す。

２．訂正候補の字種推定

誤字検出実験では解析レベルによって検出能力に違いがあるため，この違いを利用して正解文字の字種を確率的に推定する。まず，漢字(C)からひらがな(K)への誤りに対する誤字検出率を Q_CK とする。同様 Q_KC，Q_KK，Q_CC を定義する。また，検出された誤字が漢字のとき正解文字がかなの確率を γ_CK とする。同様 γ_KC，γ_KK，γ_CC を定義する。誤字検出ではこれら４種の誤字の型に対して同数の誤字標本を用いているため，検出された誤字から正解候補を推定する場合は γ は下式で評価される。その結果を表１に示す。

γ_CC＝ Q_CC 　，　γ_CK＝ Q_KC 　，　γ_KC＝ Q_CK 　，　γ_KK＝ Q_KK

---------------- ---------------- ---------------- ----------------

Q_CC＋Q_KC Q_CC＋Q_KC Q_CK＋Q_KK Q_CK＋Q_KK

表１　訂正候補の字種推定

＼	レベル
	----	＼
γ

かな列
解析レベル

漢字列
解析レベル

γ_CC

0.051

0.655

γ_CK

0.949

0.345

γ_KC

0.428

0.252

γ_KK

0.572

0.748

３．誤字分布関数の合成

誤字検出実験では誤字の位置は特定できず，誤字の存在する区域と同区域内文字の誤字確率が誤字分布関数 φ_CC(n)，φ_CK(n)，φ_KK(n)，φ_KC(n) で与えられる。従がって誤字の字種(C,K)からみた誤字分布関数 φ_C^*(n)，φ_K^*(n) は下式で合成される。

φ_C^*(n)＝γ_CKφ_KC(n)＋γ_CCφ_CC(n) ，　φ_K^*(n)＝γ_KCφ_CK(n)＋γ_KKφ_KK(n)　　　（nは誤字の位置を示す）

４．訂正文字候補の抽出

一般の正しい日本文の部分文字列 X_i-1X_iX_i+1 において，X_i に対する X_i+1 の（後方）接続確率を P(X_i|X_i+1)，逆に X_i に対する X_i-1 の（前方）接続確率を P(X_i|X_i-1) とする。実験では新聞５日分の記事（約60万字）から統計的に求めた値を使用する。さて，部分文字列 X_i-1Z_iX_i+1 において Z_i が誤字であるとき，これに対する正解文字 X_i の候補 X_i^* を抽出する。X_i の字種は不明であるから，かな候補と漢字候補に分け，P(X_i-1|X_i^*)，P(X_i+1|X_i^*) の大きい順に各15文字（合計60万字）を訂正候補 {X_i^*} とする。次に，部分文字列 X_i-1X_c^*X_i+1 を下記の評価関数 E(X_i^*) で評価し，訂正候補を上位15文字に絞る。但し，同一候補文字が複数あるときは，

　　E(X_i^*)＝γ_αβP(X_i-1|X_i^*)P(X_i+1|X_i^*)　：　αは Z_i の字種，βは X_i^* の字種

一つを残して他方を捨て，重複した候補の選択をさける。

５．訂正文字列候補の生成

誤字の存在する文字区間を i_MIN≦i≦i_MAX とする。この区間の文字 Z_i に対して訂正文字候補 X_i^* を前項の方法で抽出し，訂正文字列候補 X^*＝X_{i_MIN}…X_i^*…X_{i_MAX} を作成する。この文字列 X^* を

E(X^*)＝φ_α^*(k) _{i_MAX} P(X_i|X_i+1)

Π

^i=i_MIN-1

　　（但し，kは X_i^* の位置，αは誤字検出位置の文字の字種を示す。）

によって評価し，上位15候補に絞り込む。

６．実験結果

誤字検出実験で検出された1200件余りの誤字標本に対する訂正候補抽出実験の結果を図１に示す。図では，誤字の位置が既知の場合もあわせて示した。この図から以下のことが分る。 ①上位10候補に正解文字が50%以上含まれる。 ②誤字の位置が正しく定まると正解含有率は，10～25%向上する。 ③かな列解析レベルの検出誤りの方が正解含有率の高い候補が得られる。

このうち③は解析レベルによる字種推定効果を示すものと考えられる。

７．あとがき

日本文に含まれる誤字を対象に二次マルコフモデルを用いた訂正候補抽出方式を提案したが，漢字ＯＣＲの入力誤りには誤字（誤読）の他にリジェクト文字がある。リジェクト文字は文字の位置が分っているため，上記の結果から見て誤読文字に比べ，確率モデルの適用性が高い。今後，ＯＣＲやＷＰの入力誤りの自動訂正など，巾広い応用が期待される。

文献１: 白井，神成「日本文における誤字の自動検出について」信学情処部門全国大会 S58

γ_CC＝	Q_CC	，　γ_CK＝	Q_KC	，　γ_KC＝	Q_CK	，　γ_KK＝	Q_KK
	----------------		----------------		----------------		----------------
	Q_CC＋Q_KC		Q_CC＋Q_KC		Q_CK＋Q_KK		Q_CK＋Q_KK

INDEX

１． 序

２． 訂正候補の字種推定

３． 誤字分布関数の合成

４． 訂正文字候補の抽出

５． 訂正文字列候補の生成

６． 実験結果

７． あとがき