從小學(xué)、初中、高中到大學(xué)乃至工作，大家總免不了要接觸或使用論文吧，借助論文可以達到探討問題進行學(xué)術(shù)研究的目的。你知道論文怎樣才能寫的好嗎？下面是小編整理的搜索引擎的研究與實現(xiàn)ASP+SQL論文，希望能夠幫助到大家。

　　目 錄

　　1、搜索引擎概述 1

　　1.1 搜索引擎的實現(xiàn)原理 1

　　1.1.1 從互聯(lián)網(wǎng)上抓取網(wǎng)頁 1

　　1.1.2 建立索引數(shù)據(jù)庫 1

　　1.1.3 在索引數(shù)據(jù)庫中搜索 1

　　1.1.4 對搜索結(jié)果進行處理排序 1

　　1.2 重要中文搜索策略－中文分詞 2

　　1.2.1 什么是中文分詞 2

　　1.2.2 中文分詞技術(shù) 3

　　1.2.3 分詞中的難題 4

　　1.2.4 中文分詞的應(yīng)用 5

　　2、網(wǎng)絡(luò)蜘蛛基本原理 6

　　2.1 網(wǎng)站與網(wǎng)絡(luò)蜘蛛 6

　　2.2 內(nèi)容提取 7

　　2.3 更新周期 8

　　3、總體設(shè)計 10

　　3.1 需求分析 10

　　3.2 問題定義 10

　　3.3 總體設(shè)計 11

　　3.3.1 管理員部分實現(xiàn) 11

　　3.3.2 戶部分實現(xiàn) 11

　　3.3.3 幾個具體流程圖 12

　　4、數(shù)據(jù)庫設(shè)計 15

　　4.1 數(shù)據(jù)庫設(shè)計概述 15

　　4.2 創(chuàng)建sql server 2000數(shù)據(jù)庫 15

　　4.3 數(shù)據(jù)庫連接 15

　　4.3.1 建立數(shù)據(jù)庫的連接 15

　　4.3.2 執(zhí)行SQL語句 15

　　4.4 數(shù)據(jù)表的設(shè)計 15

　　4.5 E-R圖設(shè)計 16

　　4.5.1 用戶界面全局E-R圖 16

　　良好的網(wǎng)站地圖導(dǎo)航可在一定程度上彌補網(wǎng)絡(luò)爬蟲無法識別圖片和動態(tài)網(wǎng)頁造成頁面不可見的情況，下面是小編搜集整理的一篇關(guān)于網(wǎng)絡(luò)爬蟲企業(yè)網(wǎng)站優(yōu)化策略探討的論文范文，供大家閱讀查看。

面向網(wǎng)絡(luò)爬蟲的企業(yè)網(wǎng)站搜索引擎優(yōu)化

　　網(wǎng)絡(luò)爬蟲作為搜索引擎技術(shù)的核心技術(shù)，是按一定遍歷策略，以網(wǎng)頁之間的鏈接為路徑，抓取網(wǎng)頁必要信息，并將其下載到本地存儲設(shè)備上，以便進行信息預(yù)處理的程序或腳本。隨著互聯(lián)網(wǎng)的普及與搜索引擎技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)爬蟲技術(shù)作為搜索引擎的核心技術(shù)，已被越來越多的企業(yè)重視。面向網(wǎng)絡(luò)爬蟲的企業(yè)網(wǎng)站，優(yōu)化策略研究成為企業(yè)網(wǎng)站優(yōu)化推廣眾多手段中最節(jié)約成本且效果最好的方法。

　　一、面向網(wǎng)絡(luò)爬蟲的企業(yè)網(wǎng)站優(yōu)化策略

　　(一)網(wǎng)站導(dǎo)航

　　結(jié)構(gòu)清晰的網(wǎng)站導(dǎo)航為網(wǎng)絡(luò)爬蟲層層深入訪問網(wǎng)站提供了很大便利，是網(wǎng)絡(luò)爬蟲比較重視的內(nèi)容之一�？蓮囊韵聨追矫鎸�網(wǎng)站導(dǎo)航進行優(yōu)化設(shè)置，以便網(wǎng)絡(luò)爬蟲更好地抓取收錄網(wǎng)站。

　　1. 用文字鏈接設(shè)置導(dǎo)航

　　基于目前的技術(shù)水平，網(wǎng)絡(luò)爬蟲能夠識別的內(nèi)容大多是文字內(nèi)容，而無法識別 flash 和 JS 等，因此，用文字鏈接設(shè)置導(dǎo)航對網(wǎng)絡(luò)爬蟲來說比較合適。

　　2. 導(dǎo)航關(guān)鍵詞的設(shè)置

　　導(dǎo)航關(guān)鍵詞一般選用目標(biāo)關(guān)鍵詞的長尾詞，避免和首頁目標(biāo)關(guān)鍵詞沖突。導(dǎo)航上的錨文字也可看做是一些很有價值的關(guān)鍵詞，可按照從左至右，重要性依次降低的方法進行設(shè)置。此外，盡量避免使用一些沒有實際作用的欄目。

　　3. 網(wǎng)站地圖的設(shè)置

　　學(xué)會檢索文獻也是比較重要的，通過以上的搜索引擎進行檢索，這也是不少留學(xué)生與老師常用的，對于搜索引擎而言，當(dāng)然，谷歌檢索是比較完善的。下面是小編搜集整理的留學(xué)生畢業(yè)論文寫作時可以利用哪些學(xué)術(shù)搜索引擎檢索文獻？，歡迎大家閱讀參考。

　　搜索引擎檢索文獻：Google學(xué)術(shù)搜索

　　在國際有不少先生以為Google學(xué)術(shù)搜索運用不方便，尤其是與百度比擬。次要還是國際打不開Google形成的，之前曾經(jīng)詳細解說如何在國際翻開google的方式，而這次次要是針對留先生論文參考學(xué)術(shù)搜索的成績。先生們可以本人試試。Google學(xué)術(shù)搜索濾掉了普通搜索后果中少量的渣滓信息，陳列出文章的不同版本以及被其它文章的援用次數(shù)。在國際搜索出來的，前幾頁能夠大局部爲(wèi)中文的.一些期刊的文章。

　　搜索引擎檢索文獻：百度學(xué)術(shù)搜索

　　收錄國際外學(xué)術(shù)站點超越70萬家,如中文學(xué)術(shù)站點知網(wǎng)、萬方、維普,外文學(xué)術(shù)站點acm、IEEE、springer等,合計收錄中外文學(xué)術(shù)資源總量逾2億,中文超1.5億,外文超1億。不過和谷歌一樣，只是后果出現(xiàn)，大局部無法下載。

　　搜索引擎檢索文獻：讀秀學(xué)術(shù)搜索

　　讀秀學(xué)術(shù)搜索是全球最大的中文文獻資源效勞平臺。它集文獻搜索、試讀、文獻傳遞、參考征詢等多種功用爲(wèi)一體，爲(wèi)用戶提供切入目錄和全文的深度檢索，以及局部文獻的全文試讀。

　　搜索引擎檢索文獻： Find articles

　　一個檢索收費paper的好工具。進入網(wǎng)頁當(dāng)前，可以看到他有三個功用，driectory web article ，其中article對我們很有協(xié)助，你可以嘗試輸出你要找的文章，會有很多發(fā)現(xiàn)的，提供多種頂極刊物的上千萬篇論文。

　　論文寫作之前，至少應(yīng)當(dāng)占有如下5個方面的材料：

　　第1，第1手資料。第1手資料包括與論題直接有關(guān)的文字材料、數(shù)字材料(包括圖表)，譬如：統(tǒng)計材料、典型案例、經(jīng)驗總結(jié)等等，還包括自己在親自實踐中取得的感性材料。這是論文中提出論點、主張的基本依據(jù)。沒有這些資料，撰寫的畢業(yè)論文就只能成為毫無實際價值的空談。對第1手資料要注意及早收集，同時要注意其真實性、典型性、新穎性和準(zhǔn)確性。

　　第2，他人的研究成果。這是指國內(nèi)外對有關(guān)該課題學(xué)術(shù)研究的最新動態(tài)。撰寫畢業(yè)論文不是憑空進行的，而是在他人研究成果的基礎(chǔ)上進行的，因此，對于他人已經(jīng)解決了的問題就可以不必再花力氣重復(fù)進行研究，人們可以以此作為出發(fā)點，并可以從中得到有益的啟發(fā)、借鑒和指導(dǎo)。對于他人未解決的，或解決不圓滿的問題，則可以在他人研究的基礎(chǔ)上再繼續(xù)研究和探索。切忌只顧埋頭寫，不管他人研究，否則，撰寫的畢業(yè)論文的理性認(rèn)識會遠遠低于前人已達到的水平。

　　第 3，邊緣學(xué)科的材料。當(dāng)今時代是信息時代，人類的知識體系•呈現(xiàn)出大分化大融合的狀態(tài)，傳統(tǒng)學(xué)科的鴻溝分界逐漸被打破了，出現(xiàn)了令人眼花繚亂的分支學(xué)科及邊緣學(xué)科。努力掌握邊緣學(xué)科的材料，對于所要進行的學(xué)科研究，課題研究大有好處。它可以使我們研究的視野更開闊，分析的'方法更多樣。譬如研究經(jīng)濟學(xué)的有關(guān)課題，就必須用上管理學(xué)、社會學(xué)、心理學(xué)、人口學(xué)等學(xué)科的知識。大量研究工作的實踐表明，不懂1些邊緣學(xué)科知識，不掌握1些邊緣學(xué)科的材料，知識面和思路狹窄是很難撰寫出高質(zhì)量的論文的。

　　[1] 王�，�. 淺析搜索引擎技術(shù)及技巧[J]電腦知識與技術(shù), 2005,(21) .

　　[2] 彭波,李曉明. 搜索引擎倒排文件的一種分塊組織技術(shù)[J]電子學(xué)報, 2005,(02) .

　　[3] 黃強. 搜索引擎技術(shù)研究[J]計算機與現(xiàn)代化, 2004,(11) .

　　[4] 林彤,江志軍. Internet的搜索引擎[J]計算機工程與應(yīng)用, 2000,(05) .

　　[5] 黃西安. 利用“百度”搜索網(wǎng)絡(luò)信息資源[J]科技情報開發(fā)與經(jīng)濟, 2005,(04) .

　　[6] 陳新明,鐘濤,萬鈞,吳杰,張世永. WWW搜索引擎的數(shù)據(jù)采集技術(shù)[J]計算機工程與應(yīng)用, 2002,(07) .

　　[7] 都云程,盧獻華. 中文搜索引擎現(xiàn)狀與展望[J]中文信息學(xué)報, 1999,(03) .

　　[8] 丁承,邵志清. 基于字表的'中文搜索引擎分詞系統(tǒng)的設(shè)計與實現(xiàn)[J]計算機工程, 2001,(02) .

　　[9] 刁倩,張惠惠,王永成. Internet上的英文搜索引擎[J]計算機工程, 1999,(07) .

　　[10] 陸興. 八個著名中文搜索引擎的特征及其評析[J]圖書館理論與實踐, 2003,(02) .

更多相關(guān)參考文獻內(nèi)容：

關(guān)于網(wǎng)絡(luò)經(jīng)濟對現(xiàn)代企業(yè)的影響文獻

　　哪些 搜尋引擎充沛地公然了它們付費 排名以及付費收錄的實際操作法子？哪些搜尋引擎沒做這些工作？1份新講演講述了1些不為人知的內(nèi)容。

　　在昨天的SearchDay中，我介紹了1份來自于消費者網(wǎng)絡(luò)察看的新講演，它詳細闡述了大多數(shù)走訪量至多的搜尋站點內(nèi)情的實際操作法子。這兒再詳細地討論1下在講演中提到的關(guān)于搜尋引擎的1些發(fā)現(xiàn)。

　　對于此調(diào)查，網(wǎng)絡(luò)察看客戶講演評估了一五家主要的搜尋引擎，這些站點是從網(wǎng)站流量統(tǒng)計公司Nielsen//Net Ratings 二00三年一二份排名中走訪量至多的公司當(dāng)選擇的。這些搜尋引擎是：一stBlaze、 Altavista 、 AOL Search、 ASK Jeeves、 CNET的 Search.com、 Google、 InfoSpace Web Search、 Lycos Network、 MSN Search、 My Search、 My Way Search、 Netscape Search、 Overture、 Web Search以及 Yahoo! Search。

　　客戶網(wǎng)絡(luò)察看雇用了4位圖楣芾碓狽直鴯鄄?五個站點中的每一個站點，并將結(jié)果反饋到1個專門設(shè)計的用來衡量付費排名以及付費收錄清晰顯著的內(nèi)情的調(diào)查表中。實際的測試是在二00四年四月二九 以及五月四日之間進行的，我昨天已經(jīng)經(jīng)提到，許多搜尋引擎已經(jīng)經(jīng)從那個時候開始扭轉(zhuǎn)了結(jié)果網(wǎng)頁或者者更改了內(nèi)情信息。

　　摘要：網(wǎng)絡(luò)教學(xué)資源服務(wù)對象包括教師、學(xué)生、社會培訓(xùn)者等，其對應(yīng)多種學(xué)科、類別，資源數(shù)量較大，用戶需要通過搜索獲取所需的特定資源，因此如何提高資源搜索的性能和實用性就十分重要。文章主要針對網(wǎng)絡(luò)教學(xué)資源的搜索性能、實用性進行搜索增強研究。

　　關(guān)鍵詞：教學(xué)資源；搜索增強；性能；實用性

　　伴隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，教育對教學(xué)資源建設(shè)的重視，為網(wǎng)絡(luò)教學(xué)資源庫的建設(shè)提供了契機。網(wǎng)絡(luò)教學(xué)資源服務(wù)的對象包括：教師、學(xué)生、社會培訓(xùn)者等，其對應(yīng)多種學(xué)科、類別，資源數(shù)量較大。用戶對資源的需求不一樣，需要通過搜索獲取所需的特定資源，因此如何提高資源搜索的性能、實用性是網(wǎng)絡(luò)教學(xué)資源庫開發(fā)所需要解決的一個重要問題。本文主要針對網(wǎng)絡(luò)教學(xué)資源搜索的性能、實用性進行增強研究。

　　1搜索性能增強策略研究

　　1.1使用索引提高搜索性能

　　索引是對列值進行排序的一種結(jié)構(gòu)，正確地利用索引能夠加快對數(shù)據(jù)表相應(yīng)信息的訪問［1］。索引雖然能夠提高數(shù)據(jù)的檢索性能，但是也提高了數(shù)據(jù)維護的成本。因此，要合理使用索引，在創(chuàng)建索引前，需要確定使用哪些列和要創(chuàng)建的索引類型。索引包括聚集索引和非聚集索引［2］。聚集索引適用于含有大量的不重復(fù)值的列、可用于范圍值計算的列、結(jié)果集較大的查詢及經(jīng)常使用連接或分組的列，非聚集索引中鍵值邏輯順序和物理順序沒有關(guān)系。將主鍵設(shè)置為聚集索引并非最佳方案，在教學(xué)資源庫中資源編號是標(biāo)記列且設(shè)為主鍵，會把資源編號設(shè)置成聚集索引。在實際應(yīng)用中，并不會針對資源編號進行搜索，這就導(dǎo)致讓資源編號作為聚集索引是不正確的選擇。其次，資源編號都不相同，也不符合“很多數(shù)據(jù)不同值的列不應(yīng)該設(shè)置聚合索引”的規(guī)則。下面以在1000萬條數(shù)據(jù)量的資源信息表中查詢近180天的資源信息速度為例（180天內(nèi)的資源信息數(shù)據(jù)為30萬條，數(shù)據(jù)通過程序生成，供測試使用），其分析如表1所示。表1索引設(shè)置與用時對比索引設(shè)置用時（毫秒）只在主鍵（資源編號）上設(shè)置聚集索引129652主鍵（資源編號）上設(shè)置聚集索引，日期上設(shè)置非聚集索引54128在發(fā)布日期（vDate）上建立聚集索引2446通過上述的數(shù)據(jù)分析，正確地建立聚集索引是十分有必要的。必須根據(jù)實際中的應(yīng)用范圍和數(shù)據(jù)本身的構(gòu)成來確定聚集索引，而非固定使用默認(rèn)的主鍵作為聚集索引。

　　對于少于 1 000 人的企業(yè)單位，60% 的員工認(rèn)為在企業(yè)信息化平臺中找到自己想要的數(shù)據(jù)是非常困難的。

　　而在公司人數(shù)超過 1 000 人的情況下，認(rèn)為獲取不到自己想要數(shù)據(jù)的員工竟然達到公司人數(shù)的 77%.因此，企業(yè)的規(guī)模越大，企業(yè)的人數(shù)越多，企業(yè)信息化平臺中產(chǎn)生的數(shù)據(jù)量就越多，員工查找信息就更加困難。根據(jù)調(diào)查顯示，對于少于 1 000 人的企業(yè)里，有 67% 的員工認(rèn)為找到所需的信息對企業(yè)的發(fā)展是有影響的，而對于多于 1 000 人的企業(yè)中，這個數(shù)字竟然高達 89%.在大中型企業(yè)中，每天有 70% 的員工耗費 1 ~ 2 小時來查找所需要的信息，加大了企業(yè)的成本，尤其是用戶想要查看已經(jīng)離職員工之前記錄的.信息，由于人員已經(jīng)離開，想要查找對應(yīng)信息的難度加大，搜索耗費的時間就更長。

　　傳統(tǒng)企業(yè)搜索引擎雖然在一定程度上已經(jīng)解決該問題。然而，不同角色的用戶有著不同的需求，例如，財務(wù)角色的用戶和銷售角色的用戶對于相同的查詢詞會有不同的需求。本文提出采用卡方的方法進行角色信息的分析，使不同角色的用戶雖采用相同的查詢詞，但得到與其角色更相關(guān)的信息。

　　1 基于卡方的角色分析理論

　　企業(yè)內(nèi)部每個用戶在不同系統(tǒng)中的職位不一樣，對于相同角色下的用戶，偏好可能相同，如角色 A 下的用戶關(guān)注財務(wù)信息，經(jīng)常搜索和點擊財務(wù)方面的數(shù)據(jù)。當(dāng)角色 A 下的其他用戶搜索時，如果查詢詞跟 A 輸入的查詢詞相關(guān)時，根據(jù) LUCENE,獲取文檔應(yīng)排在后面，但根據(jù)角色信息，角色 A 下的用戶點擊過多的文檔應(yīng)排在前面，這樣就隱含地為用戶推送了相關(guān)文檔。針對這個可能性，進行角色分析�！�1】

　　1.模型建立

　　本文采用模糊推理來評估各機型的整體性能。設(shè)計步驟如下：

　　第一步，確定輸入輸出，選擇語言變量，實現(xiàn)搜索飛機的性能參數(shù)模糊化。以速度和傳感器搜索直徑作為輸入變量構(gòu)成的模糊推理機為例，速度v 用語言變量為：低速、中速、高速、超高速;搜索直徑用語言變量為：很小范圍、小范圍、中范圍、大范圍;輸出是搜索飛機的性能評估指數(shù)c，用5 個語言變量為：弱、較弱、中等、較強、強。

　　第二步，確定每個語言變量的隸屬度函數(shù)。搜索飛機速度，搜索范圍和搜索飛機的性能評估指數(shù)的隸屬度函數(shù)。

　　第三步，設(shè)計模糊推理規(guī)則庫，選擇模糊推理機。建立速度—搜索范圍推理規(guī)則。當(dāng)搜索飛機的速度越大，傳感器搜索范圍越大時，搜索飛機的性能評價越高，分配給它的區(qū)域面積也就越大。

　　同理，按照上述方法可以設(shè)計出航程—搜索范圍推理機、續(xù)航時間—搜索范圍推理機。共3 個左層單模糊推理器，每個模糊推理器的推理結(jié)果是一個依據(jù)輸入變量從而得到搜索飛機的性能評估指數(shù)，3層推理器得到3 個性能評估指數(shù)(c1,c2,c3)。

　　然后， 利用模型1 中的數(shù)據(jù)依次求出各機型3 個性能評估指數(shù)。

　　其中，cji (i=1,2,...7,j=1,2,3)為第 種機型對應(yīng)的第j 個性能評估指數(shù)。

　　第四步，對矩陣C 的數(shù)據(jù)進行融合處理，得到3 個模糊推理器的綜合模糊輸出，數(shù)據(jù)融合采用乘積的形式。

　　第五步， 對數(shù)據(jù)融合和歸一化的結(jié)果即為搜索飛機性能評價數(shù)值結(jié)果pi。

　　1COSPAS/SARSAT搜索系統(tǒng)

　　現(xiàn)如今已經(jīng)正在使用的這個野生事故搜索系統(tǒng)重點就是一個全球搜索以及救援的這個系統(tǒng)。這個系統(tǒng)是由這個加拿大以及這個法國還有美國和前蘇聯(lián)聯(lián)合開發(fā)的一個全球衛(wèi)星搜索的系統(tǒng),這是由國際海事衛(wèi)星組織一個重要的全球海上遇險以及這個安全系統(tǒng)的一部分。系統(tǒng)使用一個較低的衛(wèi)星作為世界上的土地,海上和空中救援通道,并且能夠提供遇險警報以及這個位置信息來自世界各地的救援部門救援定位服務(wù),為了讓這些遇到危險的人能夠有一個及時有效的救濟。全球搜索以及這個救援體系主要是通過燈塔還有這個空間衛(wèi)星以及地面處理子系統(tǒng)三部分組合而成的。顯示是燈塔,衛(wèi)星傳感器獨立工作以及這個在標(biāo)準(zhǔn)分為三種類型:包括有飛機與緊急發(fā)射機以及這個海上應(yīng)急位置指示標(biāo)志,還有我們個人在標(biāo)準(zhǔn)位置。在人員遇到危險的時候，這個燈塔通過人工可以影響自動激活,如燈塔水只能激活后48小時的工作。顯示系統(tǒng)通過燈塔406MHZ頻段衛(wèi)星發(fā)射遇險報警信號,通過衛(wèi)星和轉(zhuǎn)發(fā)到地面子系統(tǒng),其中包括用戶終端站和搜救任務(wù)控制中心在地面上,然后通過X.25網(wǎng)絡(luò)傳遞到相應(yīng)的遇險搜救協(xié)調(diào)中心等領(lǐng)域,并提供及時的一個救濟。

　　2基于短距離通信技術(shù)的無人機搜索系統(tǒng)

　　研究領(lǐng)域搜索國內(nèi)外事故,現(xiàn)場人員遇險救援后,快速并且準(zhǔn)確地搜索以及這個位置信息稱為第一個成功救援的關(guān)鍵�，F(xiàn)有搜索技術(shù),對于無人駕駛飛行器(無人機)搜索系統(tǒng)以及這個COSPAS/SARSAT系統(tǒng)進行了有一個比較全面的分析,依據(jù)這個現(xiàn)有的無人機的一個問題搜索技術(shù),使用的短距離的這樣無線通信技術(shù)的優(yōu)勢,對景區(qū)旅游地質(zhì)勘探隊伍,專業(yè)的團隊以及其他特殊領(lǐng)域,探究了適用于平原還有這個山脈以及森林、地形和地貌的無人駕駛飛行器(無人機)搜索系統(tǒng)基于短距離的這樣一種無線通信技術(shù)。當(dāng)研究人員進入現(xiàn)場,需要注冊人員的一個身份證信息是,我們的行政部門發(fā)布救援燈塔匹配救援信息。并且這個行政部門的一個中央計算機經(jīng)過有線或者是無線網(wǎng)絡(luò)將救援的一個信息以及匹配緊急信標(biāo)機識別號碼存儲在后臺數(shù)據(jù)庫服務(wù)器,因此，當(dāng)人們在遇到危險的時候,能夠得到及時從后端服務(wù)器快速不幸地發(fā)現(xiàn)救援的這個信息以及相應(yīng)的信標(biāo)機號碼在另一方面,當(dāng)人們順利返回到這個野外過程中,管理需要注冊已經(jīng)安全返回人員身份識別信息以及這個識別信息。