個性化電子商務系統(tǒng)中的自適應過濾算法探究

[摘要]電子商務的飛速發(fā)展在方便顧客的同時也帶來了一個題目：產(chǎn)品過多致使顧客不能有效選擇其所需產(chǎn)品。為滿足顧客的個性化電子商務需求，文章提出一個新的基于向量空間模型的自適應過濾算法。該算法首先采用特征向量和偽反饋并借助練習算法來選取初始過濾輪廓和閩值，然后運用用戶反饋通過過濾算法對輪廓和閾值進行修正。該算法具備兩個優(yōu)點：一是能夠進行自我學習來進步精確度；二是過濾過程無需大量的初始文本。將其用于電子商務并進行測試，測試結(jié)果證實它是有效的。
　　[關鍵詞]個性化電子商務；自適應過濾算法；閩值優(yōu)化算法；精確度；特征選擇
　　
　　
　　電子商務伴隨著互聯(lián)網(wǎng)飛速發(fā)展，同時也為企業(yè)和顧客帶來了一個新局面：企業(yè)發(fā)現(xiàn)競爭日益激烈，生存日益艱難；顧客發(fā)現(xiàn)產(chǎn)品日益增多，但信息處理負擔日益加重，選擇自己所需的產(chǎn)品日益困難。因此，亟需新的市場戰(zhàn)略，如一對一的銷售、客戶關系治理等。學術界和實踐者已夸大了這一緊迫性。而個性化推薦，即為每個客戶推薦一個產(chǎn)品清單供其選擇，就是實施這些新戰(zhàn)略的方案之一。
　　目前已經(jīng)有很多推薦技術，其中協(xié)同過濾技術是當前最為成功和廣泛使用的個性化推薦技術。它被廣泛應用于網(wǎng)頁、電影、文章和產(chǎn)品的推薦，作用原理是先識別出具有相似產(chǎn)品需求的顧客群，然后為這一顧客群推薦產(chǎn)品。然而，盡管這些推薦技術業(yè)已成功，但仍暴露出一些廣為人知的可能導致不良推薦的局限性，如算法的可擴展性、評價數(shù)據(jù)的稀疏性和初始資源推薦題目。
　　鑒于此，筆者提出一個新的基于向量空間模型的自適應過濾算法。該算法改進了傳統(tǒng)算法，并將自適應反饋研究機制引進智能控制中，因此具備兩個優(yōu)點：一是能夠進行自我學習來進步精確度；二是過濾過程無需大量的初始文本。
　　
　　一、自適應過濾算法結(jié)構(gòu)
　　
　　基于向量空間模型的自適應過濾算法分為兩步：練習階段和自適應過濾階段。
　　練習階段的任務是獲取初始過濾輪廓并設置初始閾值。
　　自適應過濾階段的主要任務是對輪廓和閾值進行適應性修改。因主題和文檔均由向量空間模型展示，所以每個主題和文檔都轉(zhuǎn)化為特征向量。
　　
　　(一)練習階段的結(jié)構(gòu)
　　
　　圖1顯示的是練習階段的結(jié)構(gòu)。首先從正文檔和偽正文檔中提取出特征向量。偽正文檔即練習集里的那些具有與正文檔非常相似的主題卻未能標識成正文檔的文檔。它們可以由多種方式獲得，可以通過偽反饋獲得，或者通過種類分級結(jié)構(gòu)獲得：一個主題的偽正文檔之高級種類與練習集提供的高級種類相同。
　　為得到特征向量，首先剔除禁用詞，接著對剩余的詞進行形態(tài)分析，然后根據(jù)公式(1)計算詞語與主題之間的對數(shù)交互信息：
　　logMI(w_i，T_j)=log(p(w_i/T_j/p(w_i)) 　　(1)
　　上述公式中，w_i是第i個詞語，T_j是第j個主題。對數(shù)交互信息越高，w_i和T_j相關性越高。p(w_i/T_j)和p(w_i)由最大可能性方法估計出。
　　對于每個主題，選取那些對數(shù)交互信息高于3.0而且在有關文檔中出現(xiàn)不止一次的詞語。對數(shù)交互信息不僅被用作選擇標準，而且被用作特征詞的權重。 得到正文檔和偽正文檔的特征向量之后，將其合并到初始輪廓中。初始輪廓是正文檔和偽正文檔的特征向量之加權和。然后根據(jù)練習集里每個文檔的相似性為每個主題設置初始閾值。輪廓與練習文檔之間的相似性由如下余弦公式(2)計算出：
　　p_j是第j個主題的輪廓向量，d_i是第i個文檔的向量，d_ik是d_i中第k個詞語的權重，由下列公式(3)計算得出：
　　
　　d_ik=1 log(tf_ikavdlIdl)　　(3)
　　此公式中，如是第i個文檔中第k個詞語的條件頻率，dl是形態(tài)處理和禁用詞剔除之后通過文檔標志計數(shù)得到的文檔長度，avdl是從練習集得到的均勻文檔長度。根據(jù)練習文檔的相似性設置每一個初始閾值以達到最高過濾性能。
　　
　　(二)自適應性算法的結(jié)構(gòu)
　　自適應過濾是自適應過濾算法的一個非常重要的階段。我們從練習階段得到了初始輪廓和閾值。當過濾輸進文檔時，主題輪廓和閾值則依據(jù)各種不同信息，如：用戶反饋、輸進文檔的向量等進行自適應更新。
　　
　　圖2顯示了適應性過濾的結(jié)構(gòu)。當一個文檔到達時，其與主題的相似性即被計算出。假如該相似性高于當前閾值，則這個文檔被找回，用戶的相關性判定也由此得出。假如該文檔真正與主題相關，則其被以為是正實例，反之則是負實例。正實例和負實例的向量根據(jù)公式(4)被用于主題輪廓的修改。
　　p'_j=p_i αp_j(pos) βp_j(neg)　　(4)
　　p'_j是修改后的主題輪廓，p_j修改前的主題輪廓，p_j(cos)是更新階段得到的正實例的向量，p_j(neg)是更新階段得到的負實例的向量；α和β分別是正向量和負向量的權重。
　　
　　(三)閾值優(yōu)化算法
　　筆者提出一個新的閾值優(yōu)化算法。定義該算法使用下列符號：
　　t：文檔編號，可以看作是時問，由于文檔是按照時間順序處理的；
　　n(f)：被處理的文檔的數(shù)目；
　　n_R(f)：找回的相關文檔；
　　n_N(f)：找回的不相關文檔；
　　T(t)：在t時刻的閾值；
　　S(t_k，t_{k 1}t)：在(t_k，t_{k 1})時間段中被拒盡的文檔的均勻相似性；
　　P(t_k t_{k 1})：在(t_k，t_{k 1})時間段中過濾的精確度，并且p(t_k，t_{k 1})=n_R(t_{k 1}-n_R(t_k/n(t_k ))-n(t_k)　　(5)
　假如我們憑直覺處理，精確度太低就應該進步閾值，很少文檔被找回則降低閾值。我們使用S(t_k，t_{k 1})和P(t_k，t_{k 1})來決定是進步閾值抑或降低閾值。
　　調(diào)整閾值的算法如下所示：
　　IF p(t_k，t_{k 1})≤EP(tt_{k 1})　THEN
　　T(t_{k 1})=T(t_k) α(t_{k 1})(1-T(t_k))
　　ELSEIF S(tt_k，t_{k 1})＜T(t_k)r　THEN
　　T(t_{k 1})=T(t_k)Dt₁ S(t_k，t_{k 1})Dt₂
　　ELSE
　　T(t_{k 1})=T(t_k)Dt₁ S(t_k，t_{k 1})Dt₂
　　α(t_{k 1})是閾值進步系數(shù)，β(t_{k 1})是閾值降低系數(shù)，它們也可以被看作是關于n_R(t)的函數(shù)。在試驗中，我們采用n_R(t)的線性函數(shù)，該函數(shù)如公式(6)、公式(7)所示：
　　
　　α_o是初始進步系數(shù)，β是初始降低系數(shù)，參數(shù)u代表應該用于調(diào)整閾值、修改輪廓的正文檔的最大數(shù)目。我們設置α_o=0.02，u=0.1，(應該是β_o吧)μ=300。從以上等式可以看出，隨著時間推移，n_R(t_k)將逐漸增大，α(t_k)和β(t_k)將逐漸減小。這也反映出過濾將越來越好，調(diào)整步階將越來越小這一趨勢。
　　參數(shù)r表示：假如s(t_{k 1}，t_k)低于T(t_{k 1})r，閾值應該由系數(shù)D1和D2來降低。在試驗中，我們設置r=0.1，=0.8，=0.2。
　　EP(t _1k)表示我們所期看的過濾應該在t_k時刻達到的精確度。我們首先將其作為常數(shù)，嘗試不同的值來觀察過濾性能，但是結(jié)果不盡如人意。我們意識到在過濾初期就希看達到終極期看精確度是不正確的，因而采用了一個逐漸上升的函數(shù)，該函數(shù)如公式(8)所示：
　　EP(t_{k 1})=P (P_final-P₀)n_R(t_{k 1})IU
　　(8)
　　P₀和Pt_final分別是過濾初期和過濾末期我們所�？催^濾達到的精確度。
　　n_R(t_{k 1})-n_R(t_k)的值決定著過濾對閾值的調(diào)整頻率，其越小表明過濾對閾值的調(diào)整越頻繁。在我們的適應性過濾中，我們將其設為1，即意味著過濾只在找回一個正實例之后才調(diào)整閾值。
　　
　　二、試驗
　　
　　根據(jù)研究，我們將個性化服務系統(tǒng)的合作項目與社區(qū)結(jié)合起來。筆者構(gòu)建了一個基于為特定社區(qū)服務的電子商務的個性化推薦系統(tǒng)網(wǎng)站。為得到對比試驗結(jié)果，傳統(tǒng)的過濾批次算法和自適應過濾算法被分別應用于個性化社團過濾模塊中。試驗數(shù)據(jù)從上面提及的電子商務網(wǎng)站得到，并劃分成兩個集合：練習實例(5062個社區(qū))和測試實例(4028個社區(qū))。64個主題也被用于該試驗。試驗結(jié)果如圖3所示。x軸是64個主題按照精確度從高到低排列，Y軸是傳統(tǒng)批次過濾和自適應過濾對于每個種類的精確度。傳統(tǒng)批次過濾為每個主題提供了12個相關社團，適應性過濾則提供了3個。此外，每個種類只有3個相關社團。
　　從圖3可以看出，批次過濾算法的性能下降不快，兩條曲線非常接近。事實上，兩個均勻值分別是30.9％和25.8％，范圍只降低了16.3％。但是，大多數(shù)種類的精確度在不使用適應性過濾算法的情況下下降很多，均勻精確度是17.6％，下降45.2％。這就完整揭示了自適應功能。
　　
　　
　　三、結(jié)論
　　
　　綜上所述，筆者提出一個新的基于向量空間模型的用于電子商務的自適應過濾算法。將該算法應用于基于電子商務的個性化服務系統(tǒng)中進行測試，測試結(jié)果證實它是有效可行的。�？幢疚哪転槠渌�研究者提供一定的參考價值。

【個性化電子商務系統(tǒng)中的自適應過濾算法探究】相關文章：

非理想信道條件下MIMO系統(tǒng)中的自適應調(diào)制算法研究03-07

基于3GPP LTE 系統(tǒng)的HARQ 算法探究03-03

OFDMA系統(tǒng)中功率分配算法研究03-07

MCMC算法在MIMO系統(tǒng)檢測中的應用03-07

Tunstall編碼與自適應編碼算法03-07

EPON系統(tǒng)中的FEC譯碼算法實現(xiàn)比較03-07

網(wǎng)頁消重中多維布隆過濾器算法的運用11-18

新型的OFDM自適應調(diào)制算法研究03-07

MIMO系統(tǒng)中ZF及MMSE檢測算法的研究03-07