本篇論文提出一種以電腦視覺為基礎的手寫軌跡注音符號組合辨識系統，此系統以網路攝影機作為輸入裝置，偵測使用者手寫指尖軌跡，結合單純貝氏分類器(Naive Bayes classifier ) 及隱藏式馬可夫模型 (Hidden Markov model) 用於辨識連續手寫、不含聲調、由注音符號所組成的國語拼音。 一開始我們透過攝影機錄製使用者以指尖在全黑背景下手寫的連續注音符號影片。計算使用者手部的重心點，並假設距離其最遠的一點為使用者的指尖後，紀錄以時間序列排序之指尖軌跡點座標；接下來由本論文所提出之方法，框出一個包含大部分實筆軌跡的方框，去除方框外被視為是提筆以及收筆的軌跡後，將剩餘軌跡轉成八方向鏈碼 （8-chain code），最後再去除剩餘的提筆、收筆，以及筆畫的抖動所形成的軌跡，並尋找出筆畫之間的轉折點。擷取八方向鍊碼 (8-chain code) 中的特徵，由單純貝氏分類器（Naive Bayes classifier）訓練及分類，計算出該筆資料是由單注音符號、雙注音符號、或是三注音符號所組成的機率。接下來我們用隱藏式馬可夫模型（Hidden Markov model）訓練並建立了ㄅ至ㄦ共37個注音符號的模型。我們分別假設該筆八方向鍊碼的資料可能為單、雙、三個注音符號，嘗試將連續注音符號分割為單一個注音符號，再將分割完後的部分八方向鍊碼作為輸入。由隱藏式馬可夫模型（Hidden Markov model）計算出每一筆分割後的八方向鍊碼Log-likelihood值，並將他們交互加總，再取單純貝式分類器所得之機率倒數作為權重，進行注音符號組合之分類以及辨識。 本論文中，我們提出一種手寫軌跡注音符號組合辨識系統，該系統能夠去除指尖手寫注音符號軌跡中的提筆收筆，並對不含聲調的手寫國語拼音之注音符號數量進行分類，將注音符號組合分割成單一注音符號後，進行辨識。 This paper proposes a vision-based handwritten Mandarin phonetic symbols 1(MPS1, Bopomofo) combinations recognition system. This system uses web camera as the input device to detect the trajectory of user’s fingertip in order to recognize user’s handwritten Mandarin phonetic symbols combinations. First, the system locates the fingertip by considering the farthest point from center of palm and records every frame to form the fingertip trajectory. Second, we remove partial entering strokes and leaving strokes by using a bounding box which we propose in this paper. Afterwards, the preprocessed trajectory is encoded by 8-chain codes. Then we remove the rest of entering strokes, leaving strokes, and jitter strokes, and find the turning point of 8-chain codes. Third, we extract features to classify the number of MPS1 combinations by using a Naive Bayes classifier. Afterwards, we separate the MPS1 combinations into single MPS1 symbols and use Hidden Markov models (HMM) to recognize each single MPS1 symbol in the combinations. Finally, we combine the above HMM results with the Naive Bayes classifier’s result to recognize these MPS1symbol combinations.
