網(wǎng)站開發(fā)中文章被百度重復(fù)收錄的原因是什么

網(wǎng)站開發(fā)中文章被百度重復(fù)收錄的原因是什么，針對(duì)這個(gè)問題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡單易行的方法。

問題現(xiàn)象：

點(diǎn)擊進(jìn)入鏈接，除了原網(wǎng)頁，分別出現(xiàn)：

http://www.stcash.com/5273/comment-page-1

http://www.stcash.com/5273?replytocom=1989

前面一篇文章居然出現(xiàn)一個(gè)三級(jí)目錄，后面一篇文章又類似于動(dòng)態(tài)網(wǎng)頁網(wǎng)址。

原因分析：

我發(fā)現(xiàn)了這兩個(gè)?replytocom=1989網(wǎng)址的來源：文章評(píng)論鏈接

四個(gè)評(píng)論剛好對(duì)應(yīng)四個(gè)replytocom，百度蜘蛛可能有一定的智能，四個(gè)replytocom網(wǎng)址中只收錄了一個(gè)，但是又不夠智能，沒有區(qū)分出來評(píng)論鏈接和原文鏈接對(duì)應(yīng)的文章內(nèi)容是相同的。

comment-page-1網(wǎng)址同樣是來源于評(píng)論鏈接，comment-page-1代表著評(píng)論頁面的第一頁。如果我的評(píng)論比較多，比如說有1000條評(píng)論，那么一頁肯定是顯示不下去的，就會(huì)出現(xiàn)comment-page-2，comment-page-3......這就是評(píng)論分頁功能，這個(gè)功能本質(zhì)上是防止評(píng)論過多時(shí)，網(wǎng)頁會(huì)被拉的很長，導(dǎo)致網(wǎng)頁加載速度慢和用戶體驗(yàn)差。但是不巧的是，百度蜘蛛依然不能識(shí)別出來這和原文

解決方法：

1、對(duì)于comment-page-1重復(fù)收錄，有兩種方式解決

1)在wordpress后臺(tái)關(guān)閉評(píng)論分頁

2)修改robots.txt，加上一句項(xiàng)目的代碼

Disallow: /comment-page-

robots.txt在網(wǎng)站根目錄，使用 網(wǎng)址/robots.tx就可以看到設(shè)置的結(jié)果了。如果根目錄下沒有這個(gè)文件

wp-includes/funtion中有這么一段代碼：

1. $output = "User-agent: *\n";

2. $public = get_option( 'blog_public' );

3. if ( '0' == $public ) {

4.     $output .= "Disallow: /\n";

5. } else {

6.     $site_url = parse_url( site_url() );

7.     $path = ( !emptyempty( $site_url['path'] ) ) ? $site_url['path'] : '';

8.     $output .= "Disallow: $path/wp-admin/\n";

9. }

在 $output .= "Disallow: $path/wp-admin/\n";  后面增加一句$output .= "Disallow: $path/comment-page-\n";

2、對(duì)于replytocom重復(fù)收錄,設(shè)置robots.txt文件

Disallow:/*?replytocom=

或者是加上對(duì)于包含replytocom的所有鏈接都加上nofollow鏈接

add_filter('comment_reply_link', 'add_nofollow', 420, 4);

function add_nofollow($link, $args, $comment, $post){

 return str_replace("href=", "rel='nofollow' href=", $link);

}

關(guān)于網(wǎng)站開發(fā)中文章被百度重復(fù)收錄的原因是什么問題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注億速云行業(yè)資訊頻道了解更多相關(guān)知識(shí)。