事實(shí)上，在搜索引擎蜘蛛爬行你的網(wǎng)站時(shí)，首先就會(huì)查找根目錄下的robots.txt文件。如果沒有robots.txt文件，就會(huì)產(chǎn)生一個(gè) 404 錯(cuò)誤頁(yè)面，這對(duì)搜索引擎來說，是很不友好的“待客之道”。其他處理URL的SEO技術(shù)如網(wǎng)站 301 重定向，以及 404 頁(yè)面制作，死鏈接提交，和 500 服務(wù)器內(nèi)部錯(cuò)誤頁(yè)面的制作，都是有利于提升網(wǎng)站用戶體驗(yàn)和搜索引擎友好度的?，F(xiàn)在很多虛擬主機(jī)都附有這些功能，設(shè)置比較方便，一定不要忘記去設(shè)置。

二、網(wǎng)站代碼優(yōu)化細(xì)節(jié)

（一）先來看看對(duì)于網(wǎng)頁(yè)代碼的五個(gè)最重要的標(biāo)簽。
1.Title標(biāo)簽
Title 標(biāo)簽?zāi)軌蚋嬖V用戶和搜索引擎網(wǎng)頁(yè)頁(yè)面的主題思想是什么，一直是搜索引擎的抓取重點(diǎn)。一般來說，Title標(biāo)簽中的單詞最好保持在3~6個(gè)左右，最好包含關(guān)鍵字。但Title標(biāo)簽中的單詞不要全部都是關(guān)鍵字，因?yàn)檫@樣可能會(huì)造成頁(yè)面關(guān)鍵字堆砌，導(dǎo)致過度優(yōu)化。所選單詞應(yīng)簡(jiǎn)潔明了、具有描述性，要與網(wǎng)頁(yè)內(nèi)容具有很大的相關(guān)性，并且每個(gè)不同的頁(yè)面都應(yīng)該包含Title標(biāo)簽。
2.Heading標(biāo)簽
Heading標(biāo)簽包含了H1、H2、H3等等，是搜索引擎識(shí)別頁(yè)面信息的重要標(biāo)記。合理使用H1、H2、H3等不同級(jí)別的標(biāo)簽?zāi)軌蚴沟庙?yè)面結(jié)構(gòu)更加清晰，有利于搜索引擎的抓取。H1、H2、H3等標(biāo)簽是按照重要程度來排名的。一般一個(gè)頁(yè)面按照需求程度來適當(dāng)添加該標(biāo)簽：從H1開始，依次往下添加。
3.Strong和B標(biāo)簽
B標(biāo)簽就是單純地將文字加粗，而Strong標(biāo)簽不僅是對(duì)文字加粗，并且這種形式的加粗會(huì)告訴搜索引擎該部分文字比較重要。所以兩者從搜索引擎優(yōu)化的角度來看，是有很大的區(qū)別的。上文中所提到的Heading標(biāo)簽頁(yè)具有加粗效果，那么這三種標(biāo)簽到底該怎么用？其實(shí)，Heading標(biāo)簽一般用于文章大標(biāo)題以及每段的小標(biāo)題，而Strong標(biāo)簽一般用于文章段落中的重點(diǎn)詞匯，而B標(biāo)簽一般只是強(qiáng)調(diào)一種視覺效果。
4.ALT標(biāo)簽
ALT標(biāo)簽是一種圖片標(biāo)簽，它將圖片的信息以文本的形式展現(xiàn)。對(duì)ALT標(biāo)簽的使用沒有太多要求，只要在網(wǎng)頁(yè)中出現(xiàn)圖片的部分添加上該屬性即可，但其標(biāo)簽內(nèi)容應(yīng)與相應(yīng)頁(yè)面內(nèi)容具有相關(guān)性，長(zhǎng)度不得過長(zhǎng)，一般1~5個(gè)單詞即可。
5.Meta Description標(biāo)簽
對(duì)Title標(biāo)簽優(yōu)化之后，接下來就是對(duì)Meta Description標(biāo)簽的優(yōu)化。Meta Description標(biāo)簽可以說是對(duì)Title標(biāo)簽的進(jìn)一步解釋，可以是一句話或者是包含十幾個(gè)單詞的短語。每個(gè)頁(yè)面都該有其自己的Meta Description標(biāo)簽，并且Meta Description標(biāo)簽還可包含一些與網(wǎng)站內(nèi)容相關(guān)但Title標(biāo)簽中未提及的信息。與Title標(biāo)簽要求相似，該部分內(nèi)容也應(yīng)具有描述性，與網(wǎng)頁(yè)內(nèi)容具有相關(guān)性，可包含關(guān)鍵字，但不可過多。

（二）其他的一些網(wǎng)頁(yè)標(biāo)簽，這些對(duì)于簡(jiǎn)潔網(wǎng)頁(yè)源代碼也同樣至關(guān)重要。
1、HEAD部分代碼規(guī)范化
HEAD部分代碼是搜索引擎爬行網(wǎng)站的入口部分，現(xiàn)在很多網(wǎng)站的頭部代碼都相當(dāng)統(tǒng)一化，刻板效應(yīng)明顯十足，這樣的網(wǎng)站代碼是像模板框架一樣是不被spider喜歡的，而我們要做的就是將網(wǎng)站的代碼規(guī)范化，建立起網(wǎng)站獨(dú)一無二的head部分，讓搜索引擎有新鮮感，這樣才能夠吸引spider爬行。
 
2、CSS代碼本身的優(yōu)化
CSS是頁(yè)面效果呈現(xiàn)中非常重要的組成部分，它包括顏色、大小尺寸、背景和字體等。寫CSS很簡(jiǎn)單很容易，但是要想寫出精煉的CSS代碼還是有很多技巧的。
（1）、CSS代碼優(yōu)化
通過對(duì)css代碼屬性的簡(jiǎn)寫、移除多余的結(jié)構(gòu)(frameworks)和重設(shè)(resets)等一系列的方法和技巧來簡(jiǎn)化css代碼，減小css文件的大小。
（2）、css sprite技術(shù)
網(wǎng)站上的一些圖片可以采用css sprite技術(shù)進(jìn)行合并，減少加載請(qǐng)求次數(shù)，從而提高網(wǎng)頁(yè)的加載速度。
（3）、盡量不要使用內(nèi)嵌式CSS
內(nèi)嵌式CSS分為兩種，一是在head區(qū)域的普通內(nèi)嵌式；二是在標(biāo)簽內(nèi)出現(xiàn)的行內(nèi)內(nèi)嵌式CSS，無論是何種內(nèi)嵌CSS方式結(jié)果都會(huì)提升頁(yè)面的體積，對(duì)此，我們可以盡量使用外調(diào)式的CSS來為站點(diǎn)頁(yè)面的體積瘦身。
（4）、CSS位置
CSS說明如果出現(xiàn)在網(wǎng)站之后，頁(yè)面需要重新渲染，打開速度受到影響，所有css定義代碼的位置要放到網(wǎng)站之前。
 
3、使用DIV+CSS分離布局網(wǎng)頁(yè)
雖然現(xiàn)在div+css已經(jīng)很成熟了，但是很多網(wǎng)頁(yè)設(shè)計(jì)者可能考慮到網(wǎng)頁(yè)的兼容性以及布局的簡(jiǎn)易性還是使用老式的table布局，雖然table布局很方便，但是其弊端也是顯而易見的，那就是會(huì)大大增加網(wǎng)頁(yè)的大小，尤其是多層表格的嵌套，這種布局不僅會(huì)提升體積，同時(shí)如果嵌套數(shù)太多的話就會(huì)影響到搜索引擎的爬行，影響到站點(diǎn)的收錄。
 
4、JS位置，大小等負(fù)面的優(yōu)化
JS優(yōu)化與其他語言的優(yōu)化也仍然有相同之處，JS優(yōu)化的關(guān)鍵，仍然是要把精力放在最關(guān)鍵的地方，也就是瓶頸上，一般來說，瓶頸總是出現(xiàn)在大規(guī)模循環(huán)的地方，這倒不是說循環(huán)本身有性能問題，而是循環(huán)會(huì)迅速放大可能存在的性能問題。
（1）、合并JS
合并相同域名下的js，通過減少網(wǎng)絡(luò)連接次數(shù)從而提高網(wǎng)頁(yè)的打開速度。
（2）、JS位置
網(wǎng)頁(yè)代碼中對(duì)js進(jìn)行優(yōu)化的時(shí)候，seo網(wǎng)站優(yōu)化將JS放在頁(yè)面最后，這樣可以加快頁(yè)面打開速度。
（3）、JS代碼外部的調(diào)用
我們知道當(dāng)前的搜索引擎還是不能夠識(shí)別JS代碼的，倘若在網(wǎng)站中出現(xiàn)大批量的js代碼網(wǎng)站在收錄上就會(huì)出現(xiàn)困難，而我們要做的就是將用到Javascript代碼用外部調(diào)用的形式放在網(wǎng)站中，這樣可以簡(jiǎn)化搜索引擎的工作，也不會(huì)在無形中衍生出無效代碼累及網(wǎng)站。不僅如此，杭州seo覺得可以采用外部調(diào)用的還有css代碼，建站之初可以將網(wǎng)站的文字、顏色定義在css代碼文件中，盡量不要在頁(yè)面代碼內(nèi)出現(xiàn)過多的樣式代碼。
（4）、LazyLoad(延遲加載)技術(shù)
Lazy Load是一個(gè)用JavaScript編寫的jQuery插件，它可以延遲加載長(zhǎng)頁(yè)面中的圖片，在瀏覽器可視區(qū)域外的圖片不會(huì)被載入，直到用戶將頁(yè)面滾動(dòng)到它們所在的位置。
 
5、網(wǎng)頁(yè)壓縮技術(shù)
對(duì)于網(wǎng)頁(yè)壓縮而言，相信各位站長(zhǎng)都比較熟悉，主要是啟用服務(wù)器Gzip，對(duì)頁(yè)面Gzip壓縮，減少元素的體積，從而減少數(shù)據(jù)的傳輸，進(jìn)而提高網(wǎng)頁(yè)的加載速度，這個(gè)功能需要你的服務(wù)器的支持，GZIP壓縮一般能對(duì)網(wǎng)頁(yè)進(jìn)行30%-80%的壓縮，是最重要的一種優(yōu)化效果。總之，通過代碼優(yōu)化來起到網(wǎng)站優(yōu)化作用的方式還有很多，在這只是隨意的說了其中比較常見的而已，希望大家能多多鉆研。
 
6、減少TABLE標(biāo)簽的使用
table標(biāo)簽是現(xiàn)在大多數(shù)上線網(wǎng)站中最為常見的代碼形式，原因根本在于table在建立網(wǎng)站時(shí)比較快捷，但是這也就影響了網(wǎng)站的后期優(yōu)化。
相對(duì)于div+css布局的精簡(jiǎn)代碼網(wǎng)站來說，它的占位比較大，所以，在建站時(shí)候，盡量是少用表格，即便是要使用表格時(shí)，嵌套式表格也要盡量少用，以免產(chǎn)生冗雜代碼。
那么，現(xiàn)在的網(wǎng)站用什么做呢？很多程序員第一想法就是采用CSS去做，采用CSS去排版，這種做法呢，就使頁(yè)面中的表格大大的降低了，但在杭州seo看來，網(wǎng)站也不能沒有表格，有些事必須使用到得，使用表格本身沒什么，但是有很多網(wǎng)站都采用嵌套表格，一般這樣的表格形式會(huì)給網(wǎng)站產(chǎn)生大量的垃圾代碼，并且這些垃圾代碼都是沒有任何用處的代碼，這一類代碼也是我們網(wǎng)站需要精簡(jiǎn)的代碼之一。
 
7、將html控制方式轉(zhuǎn)換為CSS控制
很多網(wǎng)頁(yè)設(shè)計(jì)者習(xí)慣在標(biāo)簽內(nèi)對(duì)內(nèi)容進(jìn)行控制，比如img標(biāo)簽里通過width和height來控制圖片的大小，盡量將這些代碼轉(zhuǎn)換成外調(diào)式的CSS，使網(wǎng)頁(yè)代碼更加的瘦身。
 
8、代碼注釋省略的少量使用
很多程序人員在編寫代碼是都習(xí)慣在別人看不懂的地方給出一段注釋，這些代碼往往是為了幾個(gè)程序員之間的協(xié)同工作，對(duì)于外人以及搜索引擎來說沒有任何用處，相反還會(huì)給搜索引擎蜘蛛帶來一定的困擾。打開頁(yè)面代碼我們經(jīng)常會(huì)看到一些注釋代碼，這是程序員為了表明代碼意義而做的注釋，其實(shí)這些打開不必，因?yàn)閷?duì)于搜索引擎而言，它們是不存在任何意義的，只是會(huì)增加了頁(yè)面代碼的容量，這樣對(duì)于網(wǎng)站不會(huì)有什么利處，不如直接省略。
 
9、緩存靜態(tài)資源
通過設(shè)置瀏覽器緩存，將css、js等不太經(jīng)常更新的文件緩存在瀏覽器端，這樣同一訪客再次訪問你的網(wǎng)站的時(shí)候，瀏覽器就可以從瀏覽器的緩存中獲取css、js等，而不必每次都從你的服務(wù)器讀取，這樣在一定程度上加快了網(wǎng)站的打開速度，又可以節(jié)約你的服務(wù)器流量。
 
10、權(quán)重標(biāo)簽的使用
典型的權(quán)重標(biāo)簽有H1，strong，b標(biāo)簽等，對(duì)想?yún)⑴c排名的重要關(guān)鍵詞使用權(quán)重標(biāo)簽，好處是向搜索引擎?zhèn)鬟f信號(hào)：這個(gè)地方的關(guān)鍵詞很重要，需要區(qū)別對(duì)待，從而提升既定關(guān)鍵詞在搜索引擎的排序。
 
11、清除頁(yè)面中多余的代碼即精簡(jiǎn)代碼
有的網(wǎng)站以為制作者的代碼書寫習(xí)慣問題，頁(yè)面會(huì)有很多空格代碼，比如：空格代碼、style和font重復(fù)定義的代碼，不要小看這些體積很小的代碼，積攢多了，也會(huì)使我們的網(wǎng)站異常的臃腫。很多網(wǎng)站都是采用的DIV+CSS，在CSS中定義了文字的字體，顏色，以及頁(yè)面的排版，但是在網(wǎng)站的其他地方還用了以style以及font來再次定義字體字體，這些代碼完全沒有必要重復(fù)定義，屬于可以精簡(jiǎn)的代碼。