Data Mining Final Project

YAN TING LIN

Data Source• Apple Daily• http://www.appledaily.com.tw• Apple Daily is the most popular public platform of news and

mainstream media in Taiwan.

Classification Problem: Ads or News• Input: news • String (This is a book….)

• Output: News or Ads • Boolean (1 / 0) or Probability (0 - 1) or (0 – 100%)

How To Do • First, I label each news with its type (Ads or News) in training and test

dataset selecting from database.

• Second, I will take the training dataset with labels as input to feed in LSTM model.

• Third, compiling model and training model.

• Final, evaluating model with test dataset and improving its result.

What I have done 1 - Preprocessing• 一般人都知道，香港有數不完的都市美景，但大部分人都忽略了，香港也有值得一看的自然風光喔！香港國家地質公園於 2011年，被聯合國教科文組織正式列入世界地質公園名錄，並正式命名為「香港世界地質公園」。搭船出海賞景，夏季可前往西貢東部，眺望高聳的火山岩地形；冬季受季風影響，建議至新界東北探訪沉積岩景觀。<span

style=“height:30px;display:block;”></span>為了找尋傳說中的小台灣，愛玩哥此行選擇了西貢島嶼路線，從西貢新公眾碼頭往東出發，經過一段平靜水域後，首先映入眼簾的風景是萬宜水庫西壩。萬宜水庫是香港最大水庫，據說從當地有個爛泥灣村，因「爛泥」不好聽而改為「萬宜」村，所以水庫中文名也沿用萬宜之名囉！<span style=“height:30px;display:block;”></span>船行經過糧船灣，岸上的地貌也漸漸精彩起來，呈六角形的火山岩柱狀節理，約在 1億 4千萬年前形成，至花山一帶，火山岩柱群更是壯觀，每支柱體平均直徑在 1公尺以上，高度最高可達 100公尺，像一面宏偉的屏風佇立海上。與我們在澎湖或濟州島看到的深色玄武岩不同，香港的六角形岩柱顏色偏淺、或紅或黃，導覽人員解釋，這是因火山岩中多了二氧化矽的成分所致，這也是香港火山岩最大特色。<span style=“height:30px;display:block;”></span>遊艇返航時經過橫洲，我終於見到期待已久的小台灣！這處位於橫洲的海蝕洞，正式名稱為「橫洲角洞」，外型像極了台灣島形狀，不過模樣剛好左右顛倒，如果想瞧瞧正面版，可乘小艇穿過洞身到對面觀看，相似度百分百呀！……

• 一般人都知道，香港有數不完的都市美景，但大部分人都忽略了，香港也有值得一看的自然風光喔！香港國家地質公園於 2011年，被聯合國教科文組織正式列入世界地質公園名錄，並正式命名為「香港世界地質公園」。搭船出海賞景，夏季可前往西貢東部，眺望高聳的火山岩地形；冬季受季風影響，建議至新界東北探訪沉積岩景觀。為了找尋傳說中的小台灣，愛玩哥此行選擇了西貢島嶼路線，從西貢新公眾碼頭往東出發，經過一段平靜水域後，首先映入眼簾的風景是萬宜水庫西壩。萬宜水庫是香港最大水庫，據說從當地有個爛泥灣村，因「爛泥」不好聽而改為「萬宜」村，所以水庫中文名也沿用萬宜之名囉！船行經過糧船灣，岸上的地貌也漸漸精彩起來，呈六角形的火山岩柱狀節理，約在 1億 4千萬年前形成，至花山一帶，火山岩柱群更是壯觀，每支柱體平均直徑在 1公尺以上，高度最高可達 100公尺，像一面宏偉的屏風佇立海上。與我們在澎湖或濟州島看到的深色玄武岩不同，香港的六角形岩柱顏色偏淺、或紅或黃，導覽人員解釋，這是因火山岩中多了二氧化矽的成分所致，這也是香港火山岩最大特色。遊艇返航時經過橫洲，我終於見到期待已久的小台灣！這處位於橫洲的海蝕洞，正式名稱為「橫洲角洞」，外型像極了台灣島形狀，不過模樣剛好左右顛倒，如果想瞧瞧正面版，可乘小艇穿過洞身到對面觀看，相似度百分百呀！相關資訊：香港東北地質遊行程 (綠恆生態旅遊 )http://www.ecotravel.hk/tourEL_01__b5.html 更多資訊請看吃喝玩樂蘋果花粉絲團想知道更多親子遊去處，請參加蘋果花客製親子遊社團

PHPA powerful tool to manipulate web data

What I have done 2 - Label • Manual labelling• Automated html-tag removing

PHP script

Issues• News Duplication : I guess it is time that PHP crawler got the next

page and authors published their newer articles. The newer articles make the original previous page fetched by the crawler move to the next page when the crawler was ready to get the next page.

• Null Content : Most of unofficial submissions have null content fetched by the crawler. However the original website looks right. It is caused by the wrong HTML format.

Data Insight• Now I have labelled 300 news is an ad or not in total 1500 news.• Result : Ad 30 ; Not Ad 270• Excel Analysis: • Category table in the 30 news labelled “ad” 副刊 論壇 娛樂 社會 國際 財經 生活 政治 體育 地產 壹週刊 時尚 動物 3C

6 0 4 0 0 6 2 0 1 6 1 2 0 2

副刊 論壇 娛樂 社會 國際 財經 生活 政治 體育 地產 壹週刊 時尚 動物 3C0

12

34

56

7廣告總類分佈

97%

3%

News View CountAd View Count

News View Ad View Total

View4052573 106967 4159540

副刊 27674

論壇 11287

娛樂 1135197

社會 1343247

國際 205347

財經 182514

生活 336945

政治 589146

體育 192941

地產 77588

壹週刊 11385

時尚 20556

動物 87603C 16953

10

200000

400000

600000

800000

1000000

1200000

1400000

1600000

副刊 論壇

娛樂 社會

國際 財經

生活 政治

體育 地產

壹週刊 時尚

動物 3C

What I have done 3 – Word Cut Demo • Example: • 一般人都知道，香港有數不完的都市美景，但大部分人都忽略了，香港也有值得一看的自然風光喔！香港國家地質公園於2011年，被聯合國教科文組織正式列入世界地質公園名錄，並正式命名為「香港世界地質公園」。搭船出海賞景，夏季可前往西貢東部，眺望高聳的火山岩地形；冬季受季風影響，建議至新界東北探訪沉積岩景觀。為了找尋傳說中的小台灣，愛玩哥此行選擇了西貢島嶼路線，從西貢新公眾碼頭往東出發，經過一段平靜水域後，首先映入眼簾的風景是萬宜水庫西壩。萬宜水庫是香港最大水庫，據說從當地有個爛泥灣村，因「爛泥」不好聽而改為「萬宜」村，所以水庫中文名也沿用萬宜之名囉！船行經過糧船灣，岸上的地貌也漸漸精彩起來，呈六角形的火山岩柱狀節理，約在 1億4千萬年前形成，至花山一帶，火山岩柱群更是壯觀，每支柱體平均直徑在1公尺以上，高度最高可達100公尺，像一面宏偉的屏風佇立海上。與我們在澎湖或濟州島看到的深色玄武岩不同，香港的六角形岩柱顏色偏淺、或紅或黃，導覽人員解釋，這是因火山岩中多了二氧化矽的成分所致，這也是香港火山岩最大特色。遊艇返航時經過橫洲，我終於見到期待已久的小台灣！這處位於橫洲的海蝕洞，正式名稱為「橫洲角洞」，外型像極了台灣島形狀，不過模樣剛好左右顛倒，如果想瞧瞧正面版，可乘小艇穿過洞身到對面觀看，相似度百分百呀！相關資訊：香港東北地質遊行程 (綠恆生態旅遊 )http://www.ecotravel.hk/tourEL_01__b5.html 更多資訊請看吃喝玩樂蘋果花粉絲團想知道更多親子遊去處，請參加蘋果花客製親子遊社團

PHP Word Cut With Jieba

Open Data• https://plotdb.com/dataset/5576/

Thanks for reading.The end.