n-gram的應用

關於文字探勘(Text mining)的應用還很多，Datamining for the masses一書只講到Clustering而已，但是其中有提到n-gram，因此，我最近在網路上找到這個部落客的文章，提供給各位參考!!

摘自Ease, of Something, n-gram

n-gram，語言，與其他符號

n-gram, the final frontier, 喔，不是，更正：是一種統計模型，源自於夏農（Claude  Shannon）的資訊理論（information theory），而主要應用在「自然語言處理」（natural language processing）跟「基因序列分析」（genetic sequence analysis）的研究上
。

拿「天氣」當作例子，不過這次講的是「天」跟「氣」的關係：當「天」這個字出現的時候，後面接著是「氣」這個字的機率是多少？相信說到這裏，有用過各種中文輸入法的人，大概都已經知道關於這種「關係」的知識應用到生活中的哪些地方了。而這種知識的基礎，「字頻」跟「詞頻」，也是構成 n-gram 模型的基礎。

中文的「字」是文字的最小單位，也就是 n=1 的狀況，稱作 unigram （uni 即「單一」），一種語言的「字頻」也就是該語言的 unigram model。從馬可夫鏈的角度來看，因為前後的關係項為零，這是一種「0 階馬可夫鏈」。

然後是「二字詞」，就像前面說的「天氣」，「天」後面接著各種字的機率，構成了 n=2 的狀況，bigram（bi 是「二」的字首），這也是一種一階馬可夫鏈：前一個狀態跟下一個狀態的關係。依此類推，我們可以進一步去建立 n=3,4,5... 的統計模型，而這些模型的集合，就是所謂的 n-gram 模型。

希望能找到更多用Rapidminer做出來的實例

RapidMiner教材

由於這學期要教授Datamining課程，我遍尋簡單又好上手的教材，但無奈台灣使用RapidMiner的人實在太少了，對岸有一些參考資料，但多半是一些影片而不是完整的教材，倒是有搜尋到徵教Rapidminer的人，酬勞還不少呢!也許將來教材做好之後還可以拿來賣錢(旁白：想太多)。不過後來在RapidMiner官網上看到一絲希望，Dr. North針對Rapidminer寫了一本書，書名叫Datamining for the Masses，正合我意。Amazon有賣，但是無奈國內也沒有中文書，但好在內容真的是淺顯易懂啊，還附上資料檔，可以直接按步驟操作，有沒有那麼容易啊，不懂Datamining的演算法也可以跑出資料，這真是太神奇了!!

Amazon的介紹在此，一本書$39.9元。書中的參考範例檔放在Google雲端硬碟上，隨時可以下載使用
(範例檔網址)


由於RapidMiner是一個開放源碼的軟體，因此，我推薦本書給想要學習Datamining，但又不想花錢購買軟體的使用者。

關於作者的簡歷，由於無暇翻譯，提供Amazon上的介紹給大家參考
Dr. Matthew North is Associate Professor of Computing and Information Studies at Washington & Jefferson College in Washington, Pennsylvania, USA. He has taught data management and data mining for more than a decade, and previously worked in industry as a data miner, most recently at eBay.com. He continues to consult with various organizations on data mining projects as well. Dr. North holds a Bachelor of Arts degree in Latin American History and Portuguese from Brigham Young University; a Master of Science in Business Information Systems from Utah State University; and a Doctorate in Technology Education from West Virginia University. He is the author of the book Life Lessons & Leadership (Agami Press, 2011), and numerous papers and articles on technology and pedagogy. His dissertation, on the topic of teaching models and learning styles in introductory data mining courses, earned him a New Faculty Fellows award from the Center for Advancement of Scholarship on Engineering Education (CASEE); and in 2010, he was awarded the Ben Bauman Award for Excellence by the International Association for Computer Information Systems (IACIS). He lives with his wife, Joanne, and their three daughters in southwestern Pennsylvania.