一種新聞關鍵信息的提取算法
大?。?/span>0.87 MB 人氣: 2017-12-13 需要積分:0
標簽:提取算法(6816)
針對網(wǎng)頁正文提取算法缺乏通用性,以及對新聞網(wǎng)頁的提取缺乏標題、時間、來源信息的問題,提出一種新聞關鍵信息的提取算法newsExtractor。該算法首先通過預處理將網(wǎng)頁轉(zhuǎn)換成行號和文本的集合,然后根據(jù)字數(shù)最長的一句話出現(xiàn)在新聞正文的概率極高的特點,從正文中間開始向兩端尋找正文的起點和終點提取新聞正文,根據(jù)最長公共子串算法提取標題,構(gòu)造正則表達式并以行號輔助判斷提取時間,根據(jù)來源的格式特點并輔以行號提取來源;最后構(gòu)造了數(shù)據(jù)集與國外開源軟件newsPaper進行提取準確率的對比實驗。實驗結(jié)果表明,newsExtractor在正文、標題、時間、來源的平均提取準確率上均優(yōu)于newsPaper,具有通用性和魯棒性。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%