站點(diǎn)反饋： 網(wǎng)站主體內(nèi)容都是js生成，針對(duì)用戶訪問，沒有做優(yōu)化；但是網(wǎng)站特針對(duì)爬蟲抓取做了優(yōu)化，且將圖片也直接做了base64轉(zhuǎn)化；然而優(yōu)化后發(fā)現(xiàn)內(nèi)容卻不被百度收錄。
頁面質(zhì)量很好，還特意針對(duì)爬蟲做了優(yōu)化，為什么內(nèi)容反而不收錄了呢？
工程師分析： 1、網(wǎng)站針對(duì)爬蟲爬取做的優(yōu)化，直接將圖片二進(jìn)制內(nèi)容放到了html中導(dǎo)致頁面長度過長，網(wǎng)站頁面長度達(dá)164k; 2、 站點(diǎn)優(yōu)化后將主體內(nèi)容放于最后，圖片卻放于前面; 3、爬蟲抓取內(nèi)容后，頁面內(nèi)容過長被截?cái)?，已抓取部分無法識(shí)別到主體內(nèi)容，最終導(dǎo)致頁面被認(rèn)定為空短而不收錄。
工程師建議： 1、不建議站點(diǎn)使用js生成主體內(nèi)容，如js渲染出錯(cuò)，很可能導(dǎo)致頁面內(nèi)容讀取錯(cuò)誤，頁面無法抓取 2、 如站點(diǎn)針對(duì)爬蟲爬取做優(yōu)化，建議頁面長度在128k之內(nèi)，不要過長 3、針對(duì)爬蟲爬取做優(yōu)化，請(qǐng)將主題內(nèi)容放于前方，避免抓取截?cái)嘣斐傻膬?nèi)容抓取不全
頁面長度過長，也會(huì)導(dǎo)致不收錄？
站點(diǎn)反饋：
網(wǎng)站主體內(nèi)容都是js生成，針對(duì)用戶訪問，沒有做優(yōu)化；但是網(wǎng)站特針對(duì)爬蟲抓取做了優(yōu)化，且將圖片也直接做了base64轉(zhuǎn)化；然而優(yōu)化后發(fā)現(xiàn)內(nèi)容卻不被百度收錄。
頁面質(zhì)量很好，還特意針對(duì)爬蟲做了優(yōu)化，為什么內(nèi)容反而不收錄了呢？
工程師分析：
1、網(wǎng)站針對(duì)爬蟲爬取做的優(yōu)化，直接將圖片二進(jìn)制內(nèi)容放到了html中導(dǎo)致頁面長度過長，網(wǎng)站頁面長度達(dá)164k;
2、 站點(diǎn)優(yōu)化后將主體內(nèi)容放于最后，圖片卻放于前面;
3、爬蟲抓取內(nèi)容后，頁面內(nèi)容過長被截?cái)?，已抓取部分無法識(shí)別到主體內(nèi)容，最終導(dǎo)致頁面被認(rèn)定為空短而不收錄。
工程師建議：
1、不建議站點(diǎn)使用js生成主體內(nèi)容，如js渲染出錯(cuò)，很可能導(dǎo)致頁面內(nèi)容讀取錯(cuò)誤，頁面無法抓取
2、 如站點(diǎn)針對(duì)爬蟲爬取做優(yōu)化，建議頁面長度在128k之內(nèi)，不要過長
3、針對(duì)爬蟲爬取做優(yōu)化，請(qǐng)將主題內(nèi)容放于前方，避免抓取截?cái)嘣斐傻膬?nèi)容抓取不全