最近在做一個(gè)關(guān)于搜索引擎方面的項(xiàng)目，于是乎研究了一點(diǎn)關(guān)于搜索引擎方面的東西。我們的目標(biāo)是做一個(gè)輕量級(jí)的搜索引擎，相對(duì)真正的商業(yè)搜索引擎來說還是較為簡(jiǎn)單的。

對(duì)于搜索引擎這樣的項(xiàng)目來說，我覺得重點(diǎn)在于質(zhì)量要求，對(duì)于功能要求可能會(huì)弱一點(diǎn)。高并發(fā)，高存儲(chǔ)量和快速查詢是一個(gè)搜索引擎的命脈，而在功能上重點(diǎn)要注意的是幾個(gè)算法的實(shí)現(xiàn)。以前做的項(xiàng)目大多數(shù)只是注重功能的實(shí)現(xiàn)，對(duì)于性能的要求很低，而這次的項(xiàng)目則要求我們對(duì)這方面有所注重，也是一次很好的學(xué)習(xí)過程。

從該項(xiàng)目的需求出發(fā)，將項(xiàng)目分為 4 個(gè)模塊，分別為抓取模塊，分析模塊，搜索模塊和用戶接口模塊。對(duì)于每個(gè)模塊的需求進(jìn)行的相應(yīng)的劃分。根據(jù)需求以及現(xiàn)實(shí)的硬件條件，初步設(shè)計(jì)出搜索引擎的體系結(jié)構(gòu)，如下圖。

抓取模塊和分析模塊

首先是抓取模塊和分析模塊，對(duì)于互聯(lián)網(wǎng)進(jìn)行定期的網(wǎng)頁(yè)爬取，并進(jìn)行分析。將爬取和分析的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)。對(duì)于數(shù)據(jù)庫(kù)，主要分為 4 個(gè)部分，存儲(chǔ)鏈接結(jié)構(gòu)的鏈接表，存儲(chǔ)網(wǎng)頁(yè)內(nèi)容的內(nèi)容表，建立關(guān)鍵詞倒排索引的索引表和用于競(jìng)價(jià)排名的競(jìng)價(jià)表。

在爬取和分析數(shù)據(jù)的時(shí)候需要在鏈接表中預(yù)儲(chǔ)存一部分網(wǎng)頁(yè)鏈接，根據(jù)已有的網(wǎng)頁(yè)鏈接進(jìn)行網(wǎng)頁(yè)爬取，并且將新的鏈接存儲(chǔ)的數(shù)據(jù)庫(kù)中，采用類似隊(duì)列的方式對(duì)于網(wǎng)頁(yè)爬取鏈接進(jìn)行處理。對(duì)于鏈接表中數(shù)據(jù)的設(shè)計(jì)要考慮到后期根據(jù)反向鏈接的數(shù)量進(jìn)行搜索結(jié)果排序。將爬取和分析后的頁(yè)面存儲(chǔ)到內(nèi)容表中，并且，分析模塊分析網(wǎng)頁(yè)建立詞項(xiàng)的倒排索引存儲(chǔ)到索引表中。

在質(zhì)量要求方面要求對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行加密處理以及多個(gè)服務(wù)器之間的數(shù)據(jù)同步。我們的設(shè)計(jì)是多個(gè)服務(wù)器上的數(shù)據(jù)庫(kù)進(jìn)行完全冗余存儲(chǔ)，及多個(gè)數(shù)據(jù)庫(kù)中的數(shù)據(jù)同步。每個(gè)服務(wù)器進(jìn)行網(wǎng)頁(yè)的爬取和分析以后要將本服務(wù)器新增的數(shù)據(jù)發(fā)送給另外的服務(wù)器以保持?jǐn)?shù)據(jù)同步。

搜索模塊

搜索模塊的主要功能是根據(jù)用戶的請(qǐng)求進(jìn)行處理，返回給用戶搜索的結(jié)果。因?yàn)槎鄠€(gè)服務(wù)器之前的數(shù)據(jù)庫(kù)是冗余的，所以在搜索的時(shí)候只要對(duì)本服務(wù)器進(jìn)行搜索即可。

搜索模塊接受到用戶的請(qǐng)求，將用戶的請(qǐng)求進(jìn)行分詞處理和近義詞處理。然后通過對(duì)索引表和內(nèi)容表的查詢，搜索出結(jié)果集，并且根據(jù)鏈接表和競(jìng)價(jià)表對(duì)結(jié)果集進(jìn)行加權(quán)和排序。將排序后的結(jié)果集返回給用戶。

在質(zhì)量要求方面要求大量用戶的并發(fā)執(zhí)行，要求多線程和良好的 Bean 容器。

用戶接口模塊

用戶接口模塊運(yùn)行在另外的一個(gè) web 服務(wù)器上，該 web 服務(wù)器呈現(xiàn)網(wǎng)頁(yè)并接受用戶的請(qǐng)求，首先對(duì)用戶的輸入進(jìn)行敏感詞分析，將分析過的請(qǐng)求發(fā)送到后臺(tái)服務(wù)器，并從后臺(tái)服務(wù)器獲得搜索結(jié)果，將結(jié)果顯示給用戶。

質(zhì)量上要求多用戶的并發(fā)，主要體現(xiàn)在要求良好 web 容器和多線程，以及在發(fā)送請(qǐng)求到后臺(tái)服務(wù)器時(shí)的負(fù)載均衡。

搜索引擎體系結(jié)構(gòu)設(shè)計(jì)