企業(yè)網(wǎng)站設計預處理模塊的構(gòu)成
日期 : 2019-10-09 16:01:53
預處理模塊的構(gòu)成。預處理模塊由三個子模塊構(gòu)成, 分別是頁面抓取、文本內(nèi)容提取、關(guān)鍵字提取。頁面抓取的主要功用是讀取用戶信息庫中儲存的行為信息, 分析用戶興趣所在, 抓取相對應的頁面。文本內(nèi)容提取, 其主要功能是將抓取到的頁面信息進行過濾, 去除不相關(guān)的信息, 提取與頁面主題相關(guān)聯(lián)的內(nèi)容, 并將其以文本文件的形式保存至數(shù)據(jù)庫, 便于用戶觀看與查找。關(guān)鍵字提取, 該項子功能模塊會將用戶行為信息進行分詞, 將文本中的內(nèi)容以詞條形式顯示, 并計算每個詞條的重要性, 依此排序, 選出與詞條相關(guān)的內(nèi)容。