<address id="vxdjz"></address>

    <address id="vxdjz"></address>
    <form id="vxdjz"></form>

    <noframes id="vxdjz">

    http://www.nbkh.net.cn

    如何正確配置七牛云存儲的robots.txt文件

    在配置了七牛云的動靜分離后,七牛鏡像會自動在創建一個robots.txt(這個robots.txt在七牛云存儲空間),禁止所有搜索引擎抓取,以防止這個鏡像站被百度抓取收錄導致主站降權被K。但使用這個robots.txt之后,以前百度和360搜索結果中的縮略圖都會被K掉。因為你的圖片被禁止抓取了!所以需要改良一下這個robots.txt文件,好讓蜘蛛能抓取到圖片。當然,直接使用這個robots.txt,對SEO肯定是沒問題的,避免了搜索引擎抓取到重復的內容。改與不改自己權衡下吧。

    改良robots.txt

    下方是改良后的robots.txt

    # robots.txt generated at http://portal.qiniu.com
    User-agent: Baiduspider
    Allow: /wp-content/uploads/*.jpg$
    Allow: /wp-content/uploads/*.png$
    Disallow: /
    User-agent: 360Spider
    Allow: /wp-content/uploads/*.jpg$
    Allow: /wp-content/uploads/*.png$
    Disallow: /
    User-agent: Baiduspider-image
    Allow: /wp-content/uploads/*.jpg$
    Allow: /wp-content/uploads/*.png$
    Disallow: /
    User-agent: 360Spider-Image
    Allow: /wp-content/uploads/*.jpg$
    Allow: /wp-content/uploads/*.png$
    Disallow: /
    User-agent: *
    Disallow: /
    

    上方代碼意思就是允許百度和360抓取文章中(uploads文件夾下)以jpg/png結尾圖片,其他搜索引擎一律禁止抓取!

    這樣做的優點:

    • ①、在避免搜索引擎收錄七牛重復內容的同時,允許其收錄文章的特色圖片和內容配圖;
    • ②、禁止抓取可以極大的節省七牛空間的GET次數,因為搜索引擎的每一次抓取都將產生一次GET,而七牛免費空間的GET次數是有限制的,我們完全沒必要白白浪費。

    然后,登陸到你使用的七牛云,選擇對象存儲->選定存儲空間->內容管理找到robots.txt刪除,再點擊上方的 “上傳文件”直接改良后的robots.txt文件。

     

    刷新預取文件

    如果只到這兒你去刷新查看robots.txt文件還是以前的。因為七牛云在各個cdn節點有緩存,所以需要清除緩存即刷新預取文件。

    博主在剛接觸七牛云時,修改本站logo圖片,上傳刪除幾次都沒修改成功并且七牛空間里logo圖片已是剛上傳新版logo,前臺就是不顯示新logo。可給郁悶壞了 ,后面才知道是緩存造成的。

    再試試看看你的robots.txt文件是否修改過來沒有。本站是http://cdn.wosn.net/robots.txt

     

    百度站長平臺檢測robots規則是否生效

    用本文鏈接來看看:

    再來看看緩存圖片:

    至此,如何正確配置七牛云存儲的robots.txt文件就結束了,還想再折騰下可以看看下面。

    其他避免七牛云給網站造成降權方法:

    通過UserAgent來屏蔽七牛鏡像爬蟲對網頁文件的抓取,也是一個比較合理的處理方案,將下面的代碼添加到網站的根目錄的index.php文件或者添加到主題目錄的functions.php文件中。

    1. if(?strpos($_SERVER['HTTP_USER_AGENT'],'qiniu-imgstg-spider')?!==?false)?{
    2. header('HTTP/1.1?503?Service?Temporarily?Unavailable');
    3. echo?'防七牛鏡像';
    4. exit;
    5. }

    如果您的wordpress使用了WP Super Cache插件的小伙伴請將七牛的ua加入到禁止緩存列表中,設置->WP Super Cache->高級->找到已拒絕的用戶代理(User Agent)->添加qiniu-imgstg-spider,如下截圖。

    完成此方法后我們去刪除一下七牛的緩存,然后再次訪問的時候就會返回503,說明已經成功。

    ps:本文部份內容來自張戈博客和銘泰網絡。

    鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。

    【本文鏈接】:http://www.nbkh.net.cn/wordpress/1015.html

    黄色电影国语完整版 - 视频 - 在线观看 - 影视资讯 - 品爱网