wordpress的robots.txt创建和详细设置教程

2021-01-042021-01-04 hotboy920

robots.txt文件主要用于各个搜索引擎的蜘蛛爬取规则，合理设置robots.txt文件，可以让蜘蛛爬取，和不准许蜘蛛爬取的页面，这样有助于网站的seo

工具/原料

windows系统的电脑

方法/步骤

1

首先打开电脑，依次点击“开始——所有程序——附件——记事本”
2

打开记事本文件
然后输入User-agent,表示“允许”的意思
按照这样的写法就可以User-agent: *,其中“*号”表示允许所有的蜘蛛抓取，如果你写的是“User-agent: Baiduspider” ，那么就是只允许百度的蜘蛛来抓取。
这样写 Disallow:/*?* 禁止抓取动态的页面。这样的好处是，如果你的网址做了伪静态的话，如果不禁止，那么等于蜘蛛重复抓取了你网址的静态页面和动态页面，这样就不利于seo，所以如果你网站做了伪静态一定要禁止蜘蛛抓取动态链接。
这样写 Disallow: /wp-admin/ 就是禁止蜘蛛抓取 /wp-admin/ 目录，为什么禁止这个目录？这个地址是wordpress默认的后台登录地址，没有必要让蜘蛛抓取，这是属于重复页面（因为每个人的wordpress后台登录界面都一样）。
这样写 Allow: /wp-admin/admin-ajax.php 表示允许蜘蛛抓取这个目录的文件
这样写 Sitemap: https://www.你的网址.com/sitemap.xml 让蜘蛛访问你的网站地图
然后写完了所有的内容，就是这样的格式。
然后保存txt文件，并命名为“robots.txt”
然后把robots.txt文件上传到你的网站根目录

然后在你的浏览器地址栏目中，输入你的网址，加上/robots.txt就可以成功的访

为WordPress设置最佳的Robots.txt规则

说到 robots.txt 大家已经都不会陌生了，但是有些时候很多的细节却还是没有被大多数人注意，比如子凡就忽略了一个细节，导致最近的一些文章在搜索引擎结果中出现了重复而没有意义的链接，如果你也是使用的WordPress，不妨你也看看你自己的 robots.txt 文件。

如果你的 WordPress 站点还没有 robots.txt 文件，那么子凡觉得你就更有必要添加一个了，即使你的站点可以让搜索引擎随意抓取，因为搜索引擎机器人访问网站时，首先会寻找站点根目录有没有 robots.txt 文件，如果有这个文件就根据文件的内容确定收录范围，如果没有就按默认访问以及收录所有页面。另外，当搜索蜘蛛发现不存在 robots.txt 文件时，会产生一个 404 错误日志在服务器上，从而增加服务器的负担，因此为站点添加一个 robots.txt 文件还是很重要的。

好了，还是来分享一个经过子凡整理的比较完善的适用于 WordPress 的 robots.txt 文件内容吧！

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /comments/
Disallow: /attachment/
Disallow: /comments/feed
Disallow: /feed
Disallow: /*/feed
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /*/trackback
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /wp-*.php
 
Sitemap: http://yourdomain.com/sitemap.html

使用方法：新建一个名称为 robots.txt 文本文件，将以上的内容放进去，然后上传到网站根目录即可。

最后还是简单的解析一下其对应作用

1、User-agent: *

允许所有搜索引擎抓取网站，除非你网站有特别针对某个或多个搜索引擎，你可以适当的设置其抓取。如下只允许百度和谷歌抓取：

User-agent: Baiduspider
Disallow: /
User-agent: Googlebot
Disallow: /

这样设置的意思为只允许百度和谷歌的蜘蛛抓取所有，但是这里子凡用的是 Disallow 并设置的/根目录，所以这里其实是禁止了百度和谷歌抓取，如果要允许所有可以使用Allow，大家可以举一反三的使用，仔细的体会感受一下。

2、Disallow: /wp-admin/、Disallow: /wp-content/和 Disallow: /wp-includes/
用于告诉搜索引擎不要抓取后台程序文件页面。

3、Disallow: /*/comment-page-*和 Disallow: /*?replytocom=*
禁止搜索引擎抓取评论分页等相关链接。

4、Disallow: /category/*/page/和 Disallow: /tag/*/page/
禁止搜索引擎抓取收录分类和标签的分页。（这一条子凡并未添加到上面演示，因为不同 WordPress 站点可能会有所不同，大家可以根据需要添加）

5、Disallow: /*/trackback 和 Disallow: /trackback/
禁止搜索引擎抓取收录 trackback 等垃圾信息

6、Disallow: /feed、Disallow: /*/feed 和 Disallow: /comments/feed
禁止搜索引擎抓取收录 feed 链接，feed 只用于订阅本站，与搜索引擎无关。

7、Disallow: /?s=*和 Disallow: /*/?s=*\
禁止搜索引擎抓取站内搜索结果

8、Disallow: /attachment/
禁止搜索引擎抓取附件页面，比如毫无意义的图片附件页面。

9、Disallow: /wp-*.php
禁止搜索引擎抓取 WordPress 网站根目录的以 wp 开头的文件。

10、Sitemap: http://yourdomain.com/sitemap.html
这个就是为了方便搜索引擎利用的网站地图，具体的根据自己网站需要添加。

robots.txt是搜索引擎爬行网站的控制文件，按照一定的语法告诉搜索引擎哪些网页能爬，哪些不能爬，对于robots.txtd的介绍和书写语法，你可以参考这篇博文：网络蜘蛛访问控制文件robot.txt的写法。

可能你想说，收录量不是越多越好吗？

其实不然，网站的网页不是收录越多越好，大家都知道搜索引擎比较网络上的网页相似度（相似度太高的两个页面会分散权重）的时候，不仅仅会进行不同网站间的纵向比较，而且会进行同一网站不同页面间的比较，所以，比如对于个人博客的作者归档和首页，页面内容差不多一样，我们完全可以屏蔽蜘蛛访问作者归档的页面。下面我来详细地介绍一下wordpress怎样写robots.txt利于SEO优化。

WordPress怎样写Robots.Txt利于SEO优化

一、屏蔽没有必要收录的一些链接

1、屏蔽捉取站内搜索结果

Disallow： ?s=*

这个就不用解释了，屏蔽捉取站内搜索结果。站内没出现这些链接不代表站外没有，如果收录了会造成和TAG等页面的内容相近。

2、屏蔽Spider捉取程序文件

Disallow： /wp-*/

屏蔽spider捉取程序文件，wp-*表示wp-admin,wp-include等文件夹都不让搜索蜘蛛爬行，这节约了搜索引擎蜘蛛资源。

3、屏蔽Feed

Disallow: /feed/*
Disallow: /*/*/feed/*
Disallow: /*/*/*/feed/*

头部代码里的feed链接主要是提示浏览器用户可以订阅本站，而一般的站点都有RSS输出和网站地图，故屏蔽搜索引擎抓取这些链接，相当有必要，应为feed里面的内容基本就是你文章内容的重复，相同内容会让百度降低单页面权重，同时这也节约蜘蛛资源和服务器的压力。

4、屏蔽捉取留言信息链接

Disallow:/*?replytocom*
Disallow: /comments/
Disallow: /*/comments/

屏蔽留言信息链接。需要指出的是，屏蔽留言信息链接不是说不让蜘蛛收录你文章的评论页面，而是这样的链接打开后，整个页面就只有一个评论，完全没有被收录的必要，同时也节约蜘蛛资源，故屏蔽之。

5、屏蔽其他的一些链接，避免造成重复内容和隐私问题

Disallow： /date/
Disallow： /author/
Disallow： /category/
Disallow： /?p=*&preview=true
Disallow： /?page_id=*&preview=true
Disallow： /wp-login.php

这些屏蔽规则你可以根据自己的需求决定是否创建，屏蔽data、author、category等页面都是为了避免太多重复内容，

6、Disallow： /?P=*

屏蔽捉取短链接。默认头部里的短链接，百度等搜索引擎蜘蛛会试图捉取，虽然最终短链接会301重定向到固定链接，但这样依然造成蜘蛛资源的浪费。

7.屏蔽特定格式

Disallow: /*.js$
Disallow: /*.css$

屏蔽对js、css格式文件的抓取，节约蜘蛛资源，降低服务器压力，你可以根据实际要求是否屏蔽你的图片被抓取。

8.其它不想被抓取的页面

Disallow: /*?connect=*
Disallow: /kod/*
Disallow: /api/*

/*?connect=*：我的博客登录链接
/kod/*：在线文件管理链接
/api/*：我自制的API链接

二、使用Robots.Txt需要注意的几点地方：

1、有独立User-agent的规则，会排除在通配“*”User agent的规则之外;
2、指令区分大小写，忽略未知指令，下图是本博客的robots.txt文件在Google管理员工具里的测试结果;
3、“#”号后的字符参数会被忽略;
4、可以写入sitemap文件的链接，方便搜索引擎蜘蛛爬行整站内容。
5、每一行代表一个指令，空白和隔行会被忽略;
6、尽量少用Allow指令，因为不同的搜索引擎对不同位置的Allow指令会有不同看待。

上面的这些Disallow指令都不是强制要求的，可以按需写入。也建议站点开通百度站长工具，检查站点的robots.txt是否规范。

三、百度站长工具Robots.Txt工具的使用方法

百度站长工具robots.txt工具网址：http://zhanzhang.baidu.com/robots/index

百度站长工具robots.txt工具的使用方法

BaiduSubmit：度娘WordPress结构化数据插件（改进版）

2020-11-30 hotboy920

张戈博客曾多次提到一个会造成百度不收录问题的原因：如果网站存在实时推送机制（比如安装了百度官方推出的 BaiduSubmit 插件），那么发布文章后，在百度收录之前这段时间内，无论如何都不要再去更新文章内容了，因为每次提交更新都会触发 BaiduSubmit 的实时推送机制，通知百度内容更新了！

在百度收录之前，如果频繁向百度推送更新通知，文章很可能就会被百度丢入沙盒，短时间内不会在百度搜索展现该条收录！

个人大胆猜测，造成这种现象的根本原因是收录之前，如果频繁更新内容，百度会认为这个内容是不稳定的。这个机制估计是百度出于用户体验考虑，百度希望用户看到的内容是和搜索到的一样，而不是百度收录了 A 内容，就因为你中途改成了 B 内容，导致用户通过 A 关键字搜索，却没有得到预期的结果！

因此，网站在发布文章之后，稳定收录并展示之前，切忌频繁修改内容！

但是，我作为一名中度强迫症患者，只要看到文章有错别字，或者排版等瑕疵，我都会立即修改！相信和我一样的朋友，肯定不在少数！

下面就分享一下解决办法。

一、关闭实时推送

①、关闭 Baidusubmit 实时推送

如果不想每次更新文章都触发推送机制，那么最简单的方法就是在插件后台关闭实时推送即可：

这个方法是最简单的，但是存在一定缺憾：关闭实时推送之后，新发布文章也不会再推送给百度了。只会在百度提交一份 sitemap 数据，让百度定时抓取。

在博客没有开通 sitemap 权限的情况下，那这个插件就相当于在百度提交了 sitemap 数据（上图只有在开通了 sitemap 权限的情况下才可以看到）。

当然，如果你不怕麻烦，也可以在发布新文章的时候启用实时推送，然后在手动关闭即可。

②、关闭 WordPress 实时推送

除了这个插件会实时推送数据，WordPress 其实还自带了一个更新通知功能：

直接将百度的 PING 服务删除即可，其他的删不删应该都没关系。

二、修改插件机制

相比于第一种方法，下面的方法就更加合理：只有在文章发布的时候推送数据到百度，而后续更新文章则不会触发插件的推送机制，强烈推荐使用！

方法①、当网站未禁用修订功能时，可通过修订判断来终止插件推送：

WordPress 的修订功能默认是打开的，那么我们就可以用下面这个语句来判断是否是更新动作。

 if (wp_is_post_revision($postid)) return;   //更新文章不往下执行，直接返回

修改方法：

编辑 baidusubmit 插件下的 main.php，找到 static function publishPost($postid) { ，在之后添加以上代码即可：

 static function publishPost($postid)
    {
        if (wp_is_post_revision($postid)) return; //更新文章时不推送
        require_once dirname(__FILE__) . DIRECTORY_SEPARATOR . './inc/sitemap.php';
        add_post_meta($postid, 'Baidusubmit', 1, true);
        $schema = BaidusubmitSitemap::genSchemaByPostId($postid, $xpost);
        if ('publish' != $xpost->post_status || '' != $xpost->post_password) {
            self::deletePost($postid);
            return;
        }
/* 以下代码略 */

Ps：可能你会疑问，如何判断已修改成功，更新时插件是否依然在推送数据？有个很简单的判断办法：更新文章时，如果有推送数据，那么花费的时间将比不推送数据要长的多！差距非常明显！

当然，如果你无法确定是否生效，建议使用下面这种方法，绝对可靠！

方法②、当网站禁用了修订功能时，可通过自定义栏目来终止插件推送：

我在测试上面的代码时，发现根本不生效！看了半天，才发现我的博客曾经把修订功能给禁用了！查看修订功能是否被禁用，只要打开网站根目录下的 wp-config.php，查看是否存在一下代码：

/** 禁用自动修订版本 **/
define('WP_POST_REVISIONS', false);
define('AUTOSAVE_INTERVAL', 36000);

禁用修订功能是为了节省数据库主键，最大程度保证文章 ID 的连续性，估计这样设置过的博客也不在少数。

既然禁用了修订功能，那第①个方法就无法使用了！这时候，我们可以借助 WordPress 的自定义栏目功能来解决这个问题。

原理很简单：文章首次发布时，会向百度推送数据，并且在对应文章中新增一个自定义栏目：Baidusubmit=1

更新文章的时候，插件先判断自定义栏目，如果 Baidusubmit=1，则不再推送，从而解决了重复推送问题。

修改方法：

还是编辑 baidusubmit 插件下的 main.php，找到 static function publishPost($postid) {，在之后添加代码：

//如果检测到Baidusubmit=1，则返回
if(get_post_meta($postid,'Baidusubmit',true) == 1) return;
//若推送到百度，则新增自定义栏目
add_post_meta($postid, 'Baidusubmit', 1, true);

最终如图所示：

发布文章之后，文章编辑界面的自定义栏目中将出现如下键值：

后续，如果想让插件再次向百度推送文章，只需要将这个值改为 0 或其他数值即可。

三、插件下载地址

考虑到代码盲站长，特将以上 2 种修改后的 baidusubmit 插件打包上传，请根据实际需求下载安装即可：

博客未禁用修订功能，请下载【插件①】，不清楚的推荐下载【插件②】

下载地址

安装时，先删除原有的 baidusubmit 插件，然后上传安装即可。

SEO技巧：Shell脚本自动提交网站404死链到搜索引擎

2020-11-252020-12-01 hotboy920

wordpress设置404页面的方法

wordpress是很多新手站长搭建个人博客最喜爱的程序，但是很大新手站长发现在众多模板中很少有404页面，但是404页面是WWW网站访问比较经常出现的错误。最常见的出错提示：404 NOT FOUND。

404页面的目的有两个，其一是为了良好的用户体验;使用户发现错误页面之后可以去网站其他位置继续浏览，比如我们可以在404页面上设置一个网站首页，引导用户继续浏览下去。其二是在搜索引擎发现此网页时，网页需要反馈一个正确的状态码，当搜索引擎蜘蛛在请求某个URL时得到“404”状态回应时，即知道该URL已经失效，便不再索引该网页，并向数据中心反馈将该URL表示的网页从索引数据库中删除。

如果站长的服务器是LINUX系统，那linux系统之下设置404分方法如下：

第一步:在.htaccess文件中加入如下语句:ErrorDocument 404 /404.html

如果需要修改的网站目录下没有.htaccess文件自己建立一个即可

第二步,自己建立一个404.html文件,放到网站的根目录就可以了。

也可以使用其他后缀,只要.htaccess中指定同样的文件就可以,例如404.php，404asp

如果站长的服务是WIN主机的话，那linux系统之下设置404分方法如下：

在你的wordpress中找到wp-content/themes/你使用的模板/404.php

如果没有404.php的话那么我们建立一个404.php.代码如下：

<?php get_header(); ?>

<?php _e(‘我勒个去，你找的这个页面现在居然不存在。’, ‘404yemian’); ?>

</div>

<?php get_sidebar(); ?>

</div>

<?php get_footer(); ?>

这样你的wordpress就有了自己的404页面了，站长自己也可以设计有个性的404页面！

通常来说大多数人认为换主题会影响SEO，实际上只要你把工作都做到位了，是没有任何问题的。比如，换主题后你得仔细检查标题和描述等内容是否发生改变、换主题后是否带来了大量的404页面等。当然，更细微的可能是换主题之后，网站的内链网络也发生了微妙的改变，但是整体的影响较小。

总之，张戈博客这次更换主题基本上没有看到明显的SEO影响，反而出现几个新的关键词。好了，题外话到此结束，下面分享一下从Nginx日志分析并生成能提交到搜索引擎的死链文件的Shell脚本。

一、前因后果

今天在看百度站长平台的抓取频次的时候，发现最近抓取次数有所下滑，并且平均响应时间也有所上升，感觉和最近频繁折腾主题以及访问量增加有所关系：

这个问题倒是好解决，等主题稳定了，页面静态缓存文件也就不会频繁被手工删除，整个网站的抓取响应时间应该就能回到正常水平。

再往下看，却发现网站抓取中出现的404数据也呈上升趋势：

实际上，张戈博客以前是手动提交过死链文件的，但后来没时间也就没去搭理更新了。看来这个工作还得重新做起来，并且实现自动化才行了。

二、Shell脚本

说做就做，简单的写了个 Shell 脚本就搞定了！

脚本名称：网站死链生成脚本

脚本功能：每天定时分析网站前一天的 nginx 日志，然后提取状态码为404并且UA为百度蜘蛛的抓取路径，并写入到网站根目录下的 death.txt 文件，用于提交百度死链。

脚本代码：

	#!/bin/bash
	#Desc: Death Chain File Script
	#Author: ZhangGe
	#Blog: https://zhang.ge/5038.html
	#Date: 2015-05-03
	#初始化变量
	#定义蜘蛛UA信息（默认是百度蜘蛛）
	UA=‘+http://www.baidu.com/search/spider.html’

	#前一天的日期（nginx日志）
	DATE=`date +%Y-%m-%d -d “1 day ago”`

	#定义日志路径
	logfile=/home/wwwlogs/zhang.ge_${DATE}.log

	#定义死链文件存放路径
	deathfile=/home/wwwroot/zhang.ge/death.txt

	#定义网站访问地址
	website=https://zhang.ge

	#分析日志并保存死链数据
	for url in `awk -v str=“${UA}“ ‘$9==”404″ && $15~str {print $7}’ ${logfile}`
	do
	grep -q “$url“ ${deathfile} \|\| echo ${website}${url} >>${deathfile}
	done

使用说明：

①、脚本适用于每天都做了日志切割的Nginx，没有做的朋友可以参考博客之前的文章：

nginx日志切割及7天前的历史日志删除脚本

②、将代码保存为 shell 脚本，比如 deathlink.sh，然后如下建立任务计划：

	#执行如下命令编辑任务计划
	[root@Mars_Server ~]# crontab -e

	#每天凌晨1点执行此脚本（注意脚本的实际路径）
	0 1 /1 * /root/death.sh >/dev/null 2>&1

	#按下ESC，然后键入 :wq 保存并退出

③、执行后，将在网站根目录生成死链文件：death.txt，可以浏览器访问看看内容，比如：

https://zhang.ge/death.txt

④、前往立即前往提交这个死链文件即可：

这样一来，系统会每天执行脚本，将昨天的百度蜘蛛爬到的404路径保存到网站根目录下的 death.txt，以备百度死链抓取工具前来抓取。

效果截图：

下面贴上这几天死链抓取（百度定时抓取，无需人工干预）及处理情况，效果还是非常明显的：

值得说明的是，这些死链记录是累加的，已保存的死链数据，就算百度蜘蛛不爬了也会继续保存，需要人工清理，不过一般不清理也没啥问题。

注意事项：

①、如果你的 nginx服务并没有配置相应的 access 日志，请自行在 server 下添加所需网站的 access 日志，否则脚本无法使用；

②、脚本适用的access日志格式如下：

log_format access ‘$remote_addr – $remote_user [$time_local] “$request” ‘ ‘$status $body_bytes_sent “$http_referer” ‘ ‘”$http_user_agent” $http_x_forwarded_for‘;

如果和你的不一样，则需要修改脚本中的awk指定的域（即$9、$15以及$7）。

三、其他拓展

①、如果你之前没有做过 Nginx 日志切割，那么可以直接用下面这个脚本来一次性搞定：

	#!/bin/bash
	#Desc: Cut Nginx Log and Create Death Chain File
	#Author: ZhangGe
	#Blog: https://zhang.ge/5038.html
	#Date: 2015-05-03

	#①、初始化变量：
	#定义access日志存放路径
	LOGS_PATH=/home/wwwlogs

	#定义蜘蛛UA信息（默认是百度蜘蛛）
	UA=‘+http://www.baidu.com/search/spider.html’

	#定义网站域名（需要先给相应的网站以域名形式配置了nginx日志，比如zhang.ge.log）
	DOMAIN=zhang.ge

	#定义前一天日期
	DATE=`date +%Y-%m-%d -d “1 day ago”`

	#定义日志路径
	logfile=/home/wwwlogs/zhang.ge_${DATE}.log

	#定义死链文件存放路径
	deathfile=/home/wwwroot/zhang.ge/death.txt

	#定义网站访问地址
	website=https://zhang.ge

	#②、Nginx日志切割
	mv ${LOGS_PATH}/${DOMAIN}.log ${LOGS_PATH}/${DOMAIN}_${DATE}.log
	kill -USR1 `ps axu \| grep “nginx: master process” \| grep -v grep \| awk ‘{print $2}’`
	#可选功能: 自动删除30天之前的日志，可自行修改保存时长。
	cd ${LOGS_PATH}
	find . -mtime +30 -name “20[1-9][3-9]” \| xargs rm -f


	#③、网站死链生成（百度专用）
	#分析日志并保存死链数据
	for url in `awk -v str=“${UA}“ ‘$9==”404″ && $15~str {print $7}’ ${logfile}`
	do
	grep -q “$url“ ${deathfile} \|\| echo ${website}${url} >>${deathfile}
	done

②、其他WEB服务器，比如 Apache 或 IIS，只要参考脚本思路，修改成实际的路径或日志字段，同样可以写一个相同功能的 Shell 或 Batch 脚本，有需求的朋友自己去研究折腾吧！

好了，本文暂时就分享这么多，希望对你有所帮助！

分享一个Nginx反向代理的另类应用案例

5月2日 · 2019年

分享一个Nginx正向代理的另类应用案例

1月20日 · 2019年

解决网站404页面返回200状态码问题

9月8日 · 2018年

74 条回应

你好中国2017-4-9 · 21:02

你真的太强悍了！百度做到 pr5了！！学习收藏了！
美剧天堂网2017-4-24 · 17:20

个人博客做到那么高的权重很不容易呀
xiaochou2017-4-30 · 9:25

签到成功！签到时间：上午9:24:55，每日签到，生活更精彩哦~
电影天堂2017-6-3 · 11:07

强悍，大神不愧为大神
格雷弗动平衡仪2017-7-11 · 16:24

文章写的不错，学习到了很多。
声学成像仪2017-7-13 · 9:01

很棒~写的很详细，可以学到很多
八一中文网2017-11-20 · 15:48

学到了 404 可以这样处理

猢狲2017-11-27 · 11:14

	root@debian:~# /data/shell/deathlink.sh
	awk: run time error: regular expression compile failed (missing operand)
	+http://www.baidu.com/search/spider.html
	FILENAME=“/data/wwwlogs/www.123.com_nginx_2017-11-26.log” FNR=17 NR=17

请教运行脚本提示这个错误是什么意思啊

Jager2017-12-1 · 21:17

@猢狲代码贴过去不对吧，要么就是系统兼容性问题，玩网站、玩服务器还是用centos比较好，大部分教程基于centos写的，你这个是debian

网站建设2018-5-7 · 11:50

写的很详细很不错，404页面在网站中也是很重要的
米扑博客2018-5-7 · 17:24

每一篇博客，都是精品，值得品鉴 😀

博主你好，问个问题2018-8-13 · 11:48

宝塔面板生成不了404文件文档，代码如下

	#!/bin/bash
	#①、初始化变量：
	#定义access日志存放路径
	LOGS_PATH=/www/wwwlogs

	#定义蜘蛛UA信息（默认是百度蜘蛛）
	UA=‘+http://www.baidu.com/search/spider.html’

	#定义网站域名（需要先给相应的网站以域名形式配置了nginx日志，比如zhang.ge.log）
	DOMAIN=csgdzx.com

	#定义前一天日期
	DATE=`date +%Y-%m-%d -d “1 day ago”`

	#定义日志路径
	logfile=/www/wwwlogs/csgdzx.com_${DATE}.log

	#定义死链文件存放路径
	deathfile=/www/wwwroot/csgdzx.com/badlinks.txt

	#定义网站访问地址
	website=https://www.csgdzx.com

	#②、Nginx日志切割
	mv ${LOGS_PATH}/${DOMAIN}.log ${LOGS_PATH}/${DOMAIN}_${DATE}.log
	kill -USR1 `ps axu \| grep “nginx: master process” \| grep -v grep \| awk ‘{print $2}’`
	#可选功能: 自动删除30天之前的日志，可自行修改保存时长。
	cd ${LOGS_PATH}
	find . -mtime +30 -name “20[1-9][3-9]” \| xargs rm -f


	#③、网站死链生成（百度专用）
	#分析日志并保存死链数据
	for url in `awk -v str=“${UA}“ ‘$9==”404″ && $15~str {print $7}’ ${logfile}`
	do
	grep -q “$url“ ${deathfile} \|\| echo ${website}${url} >>${deathfile}
	done

博主你好，问个问题2018-8-13 · 12:03

补充一下上一句评论：
宝塔面板生成不了404文件文档，
日志格式如下

123.125.71.28 – – [27/Jul/2018:17:14:59 +0800] “GET / HTTP/1.1” 404 108238 “-“ “Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

脚本代码如下

	#!/bin/bash
	#①、初始化变量：
	#定义access日志存放路径
	LOGS_PATH=/www/wwwlogs

	#定义蜘蛛UA信息（默认是百度蜘蛛）
	UA=‘+http://www.baidu.com/search/spider.html’

	#定义网站域名（需要先给相应的网站以域名形式配置了nginx日志，比如zhang.ge.log）
	DOMAIN=csgdzx.com

	#定义前一天日期
	DATE=`date +%Y-%m-%d -d “1 day ago”`

	#定义日志路径
	logfile=/www/wwwlogs/csgdzx.com_${DATE}.log

	#定义死链文件存放路径
	deathfile=/www/wwwroot/csgdzx.com/badlinks.txt

	#定义网站访问地址
	website=https://www.csgdzx.com

	#②、Nginx日志切割
	mv ${LOGS_PATH}/${DOMAIN}.log ${LOGS_PATH}/${DOMAIN}_${DATE}.log
	kill -USR1 `ps axu \| grep “nginx: master process” \| grep -v grep \| awk ‘{print $2}’`
	#可选功能: 自动删除30天之前的日志，可自行修改保存时长。
	cd ${LOGS_PATH}
	find . -mtime +30 -name “20[1-9][3-9]” \| xargs rm -f


	#③、网站死链生成（百度专用）
	#分析日志并保存死链数据
	for url in `awk -v str=“${UA}“ ‘$9==”404″ && $15~str {print $7}’ ${logfile}`
	do
	grep -q “$url“ ${deathfile} \|\| echo ${website}${url} >>${deathfile}
	done

知识共享网2019-7-6 · 15:33

优化设置wordpress网站固定链接有利于SEO

2020-10-252020-10-25 hotboy920

那么wordpress网站到底选择哪一种固定链接最好呢？以我的建站经验来说，我认为wordpress推荐的几种固定链接也都不太理想，还是建议用自定义的固定链接形式比价好。wordpress设置里面是允许自定义链接形式，以提高美感、可用性和向前兼容性。(需要主机支持伪静态)。

下面先来看看一些网上常用的WP固定链接URL格式：

1、/%year%/%monthnum%/%day%/%postname%/

2、/%year%/%monthnum%/%postname%/

3、/%year%/%monthnum%/%day%/%postname%.html

4、/%year%/%monthnum%/%postname%.html

5、/%category%/%postname%.html

6、/%post_id%.html

7、/%post_id%/

8、/%postname%/

9、/%postname%.html

以上这些固定链接有利有弊，总的来说wordpress设置固定链接时，应该尽量注意一下几点：

1、不要让日期出现在固定链接里面。

这基于两个方面的考虑。一是如果数字出现在固定链接里面，等于提醒搜索引擎，这是很旧的内容了，没必要再爬一遍了。另外一个原因是，假如你要修改文章的日期重新发布的话，链接地址就变了，也就是意味着你的反向链接，PR 等等都没有了。

2、不要让分类的链接出现在固定链接里面。

这一点是很多人都会忽略的地方。让分类出现在固定链接里面有两个缺陷：一是一篇文章如果选择了多个分类的话，则会出现多个链接地址，这很容易造成因为重复内容而被搜索引擎惩罚；二是有可能会造成关键词堆砌而被搜索引擎惩罚。

3、链接不要太深。

这一点经常看到。很多wordpress 用户的固定链接是年/月/日/分类名/文章名。这种过于深的固定链接对搜索引擎是非常不友好的。

4、链接中不要出现中文。

虽然现在的搜索引擎已经能识别URL地址里面的中文字符，但无论是从美观上，还是从wordpress 优化的角度来看，都是非常差的。

5、文章最后可以加一个.html

一是伪静态URL搜索引擎容易收录，二是用户已经习惯了文章网址带.html了。另外虽说搜索引擎能识别中文链接，但是对于优化的角度来说，不建议使用中文。

wordpress固定链接设置的一些参数：
%year%：基于文章发布的年份，比如2010；
%monthnum%：基于文章发布的月份，比如01；
%day%：基于文章发布当日，比如06；
%hour%：基于文章发布小时数，比如23；
%minute%：基于文章发布分钟数，比如43；
%second%：基于文章发布秒数，比如33；
%postname%：基于文章的postname，其值为撰写时指定的缩略名，不指定缩略名时是文章标题；
%post_id%：基于文章post_id，比如48；
%category%：基于文章分类，子分类会处理成“分类/子分类”这种形式；
%author%：基于文章作者名。

将上述参数进行组合，即可得到wordpress的固定链接形式。

•/%year%/%monthnum%/%day%/%postname%/

•/%year%/%monthnum%/%postname%/

•/%year%/%monthnum%/%day%/%postname%.html

•/%year%/%monthnum%/%postname%.html

•/%category%/%postname%.html

•/%post_id%.html

那么我们到底选择什么样的wordpress固定链接最好呢？我主要推荐2种形式的固定链接URL：

一、　/%postname%.html

SEO效果最好的自定义固定链接结构就是文章名字链接，特别是英文网站更是如此。这种连接有利于SEO优化，但是并不适用于每个人，设置起来也麻烦点，文章多了后URL容易重复。

二、/%post_id%.html

相比之下这种文章id的固定链接URL，十分简短、好记、易用，也易于复制网址。而且文章多了之后也不怕URL重复。强烈推荐大家选择这种wordpress固定链接URL格式。

WordPress SEO无插件设置网站标题关键词描述教程

2020-10-242020-10-24 hotboy920

测试了很多WordPress SEO设置网站标题关键词描述相关插件都不满意,强大的功能也太强大了,我其实就要设置关键词与描述,要不了那么强大的功能,二很多新手下载了这些WordPress SEO插件估计更是头晕,于是自己参考资料弄了个不需要插件就能实现WordPress SEO设置网站标题关键词描述的办法.

本文可搭配我写的另外一篇文章使用: WordPress SEO无插件添加设置文章关键词与文章描述功能

步骤一: 用代码编辑器打开你的WordPress主题的header.php文件

header.php文件是WordPress主题的头部模板,我希望网站首页的关键词设置为下面这样,如何操作?

<title>WordPress易用教程-企业网站建设与制作-企业主题网站模板</title>

如果你懒得看下去就直接复制下面的代码粘贴到你的WordPress主题的header.php文件里面:

<title><?php if ( is_home() ) {

echo“WordPress易用教程-企业网站建设与制作-企业主题网站模板”;

} elseif ( is_category() ) {

single_cat_title(); echo“-“; bloginfo(‘name’);

} elseif (is_single() || is_page() ) {

single_post_title();echo“-“; bloginfo(‘name’);

} elseif (is_tag() ) {

single_tag_title();echo“-“; bloginfo(‘name’);

} elseif (is_search() ) {

echo “搜索结果”; echo“-“; bloginfo(‘name’);

} elseif (is_404() ) {

echo ‘页面未找到!’;

} else {

wp_title(”,true);

} ?></title>

<?php

$keywords = ”;

$description = ”;

if (is_home() || is_page()) {

// 将以下引号中的内容改成你的主页keywords

$keywords = “WordPress教程,WordPress企业主题,WordPress主题,WordPress模板,企业网站建设,企业网站模板,企业网站制作,网站模板”;

// 将以下引号中的内容改成你的主页description

$description = “WordPress易用教程提供大量精品WordPress企业主题模板与企业网站模板下载,提供企业网站建设与制作教程”;

}

elseif (is_single()) {

// 填写自定义字段keywords时显示自定义字段的内容，否则使用文章tags作为关键词

$keywords = get_post_meta($post->ID, “keywords”, true);

if($keywords == ”) {

$tags = wp_get_post_tags($post->ID);

foreach ($tags as $tag ) {

$keywords = $keywords . $tag->name.”,”;

}

$keywords = rtrim($keywords,’,’);

}

$description1 = get_the_excerpt($post->ID, “excerpt”, true);

$description2 = str_replace(“\n”,“”,mb_strimwidth(strip_tags($post->post_content), 0, 200, “…”, ‘utf-8’));

//$description2 =mb_strimwidth(strip_tags(apply_filters(‘the_content’, $post->post_content)), 0, 160,”…”);

// 填写自定义字段description时显示自定义字段的内容，否则使用文章内容前200字作为描述

$description = $description1 ? $description1 : $description2;

}

elseif (is_category(‘4’)) {

// 分类的description可以到后台 – 文章 -分类目录，修改分类的描述

$keywords = “WordPress安全,WordPress网站安全,WordPress安全设置,WordPress安全插件”;

$description = category_description();

}

elseif (is_category(‘8’)) {

// 分类的description可以到后台 – 文章 -分类目录，修改分类的描述

$keywords = “WordPress SEO,WordPress优化,WordPress SEO插件”;

$description = category_description();

}

elseif (is_category(’20’)) {

// 分类的description可以到后台 – 文章 -分类目录，修改分类的描述

$keywords = “WordPress主题开发,WordPress主题制作,开发WordPress主题”;

$description = category_description();

}

elseif (is_category()) {

// 分类的description可以到后台 – 文章 -分类目录，修改分类的描述

$keywords = single_cat_title(”,false);

$description = category_description();

}

elseif (is_tag()){

// 标签的description可以到后台 – 文章 – 标签，修改标签的描述

$keywords = single_tag_title(”,false);

$description = tag_description();

}

$keywords = trim(strip_tags($keywords));

$description = trim(strip_tags($description));

我建议还是看一下下面的WordPress SEO无插件设置网站标题关键词描述教程,不然文章详细页面的关键词你可能不会添加.

步骤二: 修改header.php文件的title标签

把header.php里面的title标签改为如下内容: echo”WordPress易用教程-企业网站建设与制作-企业主题网站模板” ,冒号里面的内容(红色部分)需要你自己改为自己想要的网站标题.(这里不通过后台调用,我弄了半天不理想,干脆写死了.)

<title><?php if ( is_home() ) {

echo“WordPress易用教程-企业网站建设与制作-企业主题网站模板”;

} elseif ( is_category() ) {

single_cat_title(); echo“-“; bloginfo(‘name’);

} elseif (is_single() || is_page() ) {

single_post_title();echo“-“; bloginfo(‘name’);

} elseif (is_tag() ) {

single_tag_title();echo“-“; bloginfo(‘name’);

} elseif (is_search() ) {

echo “搜索结果”; echo“-“; bloginfo(‘name’);

} elseif (is_404() ) {

echo ‘页面未找到!’;

} else {

wp_title(”,true);

} ?></title>

这段代码的意思就是:

1.如果当前页面是首页那么直接输出设置好的网站标题.

2.如果当前页面是分类页面 那么网站标题内容为:<title>分类名称-站点标题</title>,(这个站点标题 需要你自己去WordPress后台的左侧的设置->常规里面设置),就是下图这里:

3. 如果是文章详细页面与单页,那么网站标题内容为:<title>文章名称-站点标题</title>

4. 如果是关键词tag页面,那么网站标题内容为:<title>tag名称-站点标题</title>

5.如果是搜索页面,那么网站标题内容为:<title>输入的搜索关键词-站点标题</title>

6.如果当前页面是404,那么网站标题内容为:<title>页面未找到</title>

步骤三: 修改WordPress主题header.php文件的keywords关键词与description描述

keywords关键词与description描述这两个一起设置了,代码内容如下:

<?php

$keywords = ”;

$description = ”;

if (is_home() || is_page()) {

// 将以下引号中的内容改成你的主页keywords

$keywords = “WordPress教程,WordPress企业主题,WordPress主题,WordPress模板,企业网站建设,企业网站模板,企业网站制作,网站模板”;

// 将以下引号中的内容改成你的主页description

$description = “WordPress易用教程提供大量精品WordPress企业主题模板与企业网站模板下载,提供企业网站建设与制作教程”;

}

elseif (is_single()) {

// 填写自定义字段keywords时显示自定义字段的内容，否则使用文章tags作为关键词

$keywords = get_post_meta($post->ID, “keywords”, true);

if($keywords == ”) {

$tags = wp_get_post_tags($post->ID);

foreach ($tags as $tag ) {

$keywords = $keywords . $tag->name.”,”;

}

$keywords = rtrim($keywords,’,’);

}

$description1 = get_the_excerpt($post->ID, “excerpt”, true);

$description2 = str_replace(“\n”,“”,mb_strimwidth(strip_tags($post->post_content), 0, 200, “…”, ‘utf-8’));

//$description2 =mb_strimwidth(strip_tags(apply_filters(‘the_content’, $post->post_content)), 0, 160,”…”);

// 填写自定义字段description时显示自定义字段的内容，否则使用文章内容前200字作为描述

$description = $description1 ? $description1 : $description2;

}

elseif (is_category(‘4’)) {

// 分类的description可以到后台 – 文章 -分类目录，修改分类的描述

$keywords = “WordPress安全,WordPress网站安全,WordPress安全设置,WordPress安全插件”;

$description = category_description();

}

elseif (is_category(‘8’)) {

// 分类的description可以到后台 – 文章 -分类目录，修改分类的描述

$keywords = “WordPress SEO,WordPress优化,WordPress SEO插件”;

$description = category_description();

}

elseif (is_category(’20’)) {

// 分类的description可以到后台 – 文章 -分类目录，修改分类的描述

$keywords = “WordPress主题开发,WordPress主题制作,开发WordPress主题”;

$description = category_description();

}

elseif (is_category()) {

// 分类的description可以到后台 – 文章 -分类目录，修改分类的描述

$keywords = single_cat_title(”,false);

$description = category_description();

}

elseif (is_tag()){

// 标签的description可以到后台 – 文章 – 标签，修改标签的描述

$keywords = single_tag_title(”,false);

$description = tag_description();

}

$keywords = trim(strip_tags($keywords));

$description = trim(strip_tags($description));

我一段一段的解说下:

1.首页的keywords关键词与description描述设置

if (is_home() || is_page()) {

// 将以下引号中的内容改成你的主页keywords

$keywords = “WordPress教程,WordPress企业主题,WordPress主题,WordPress模板,企业网站建设,企业网站模板,企业网站制作,网站模板”;

// 将以下引号中的内容改成你的主页description

$description = “WordPress易用教程提供大量精品WordPress企业主题模板与企业网站模板下载,提供企业网站建设与制作教程”;

}

这个是指如果访问的页面是首页与单页面,那么直接输出网站关键词与描述. “”里面的内容改为你自己的.

2.文章详细页面的关键词如何调用(这段不看的话详细页面无法调用关键词)

elseif (is_single()) {

// 填写自定义字段keywords时显示自定义字段的内容，否则使用文章tags作为关键词

$keywords = get_post_meta($post->ID, “keywords”, true);

if($keywords == ”) {

$tags = wp_get_post_tags($post->ID);

foreach ($tags as $tag ) {

$keywords = $keywords . $tag->name.”,”;

}

$keywords = rtrim($keywords,’,’);

}

$description1 = get_the_excerpt($post->ID, “excerpt”, true);

$description2 = str_replace(“\n”,“”,mb_strimwidth(strip_tags($post->post_content), 0, 200, “…”, ‘utf-8’));

//$description2 =mb_strimwidth(strip_tags(apply_filters(‘the_content’, $post->post_content)), 0, 160,”…”);

// 填写自定义字段description时显示自定义字段的内容，否则使用文章内容前200字作为描述

$description = $description1 ? $description1 : $description2;

}

需要你在每篇文章添加keywords自定义字段,而自定义字段功能默认是没有打开的,下面我示范下如何打开:

WordPress后台设置一次就以后不用设置了,如上图,在你添加WordPress文章的右上角找到这个显示选项,然后勾选自定义字段.就好了.

以后WordPress文章自定义字段就会一直显示了.

然后每次在添加WordPress文章的时候底部有自定义字段,你顺手加上去就好了,记得点添加自定义字段.

3.分类页面的关键词调用:

elseif (is_category()) {

// 分类的description可以到后台 – 文章 -分类目录，修改分类的描述

$keywords = single_cat_title(”,false);

$description = category_description();

}

分类页面的关键词默认是直接调用分类名称.

分类页面的描述调用的是图形描述

WordPress修改与添加图形描述都很方便:

如果我要每个分类都设置关键词如何处理?

这可以利用WordPress的is_category()函数来判断,比如下面这段代码的意思就是,如果是分类4,那么调用的关键词是什么,调用的描述还是上面的图像描述.

elseif (is_category(‘4’)) {

// 分类的description可以到后台 – 文章 -分类目录，修改分类的描述

$keywords = “WordPress安全,WordPress网站安全,WordPress安全设置,WordPress安全插件”;

$description = category_description();

}

elseif (is_category(‘8’)) {

// 分类的description可以到后台 – 文章 -分类目录，修改分类的描述

$keywords = “WordPress SEO,WordPress优化,WordPress SEO插件”;

$description = category_description();

}

elseif (is_category(’20’)) {

// 分类的description可以到后台 – 文章 -分类目录，修改分类的描述

$keywords = “WordPress主题开发,WordPress主题制作,开发WordPress主题”;

$description = category_description();

}

elseif (is_category()) {

// 分类的description可以到后台 – 文章 -分类目录，修改分类的描述

$keywords = single_cat_title(”,false);

$description = category_description();

}

那么这个分类的数字代号如何获取? 如何查看分类ID: 如何查看获取WordPress分类目录与标签和文章的ID

方法一: 在WordPress分类目录设置页面鼠标悬停在你想要的获取分类ID的名称上,注意左下角,会出现分类ID名称.

在WordPress分类目录设置页面鼠标悬停在你想要的获取分类ID的名称上,注意左下角,会出现分类ID名称.

方法二: 在WordPress后台分类目录页码编辑你要获取分类ID的目录,在浏览器地址栏里面找到分类ID

在WordPress后台分类目录页码编辑你要获取分类ID的目录,在浏览器地址栏里面找到分类ID

如果你不需要每个分了设置独立的关键词,那么可以删除多余的elseif (is_category()) { } (注意这个括号是一对一对的) 只保留下面这一个就行了.

elseif (is_category()) {

// 分类的description可以到后台 – 文章 -分类目录，修改分类的描述

$keywords = single_cat_title(”,false);

$description = category_description();

}

4.关键词tag页面的关键词与描述调用

关键词id获取: 如何查看获取WordPress分类目录与标签和文章的ID

elseif (is_tag()){

// 标签的description可以到后台 – 文章 – 标签，修改标签的描述

$keywords = single_tag_title(”,false);

$description = tag_description();

}

一样的,tag页面的keywords就是tag关键词的名称,描述的话也是tag关键词的名称.

实战SEO网站优化整体思路汇总

2020-10-242020-10-24 hotboy920

本方案是小编南山所总结的网站优化实战知识，当然只是基础设置，但是往往最重要的就是基础设置，希望小编南山所写的方案能够帮助到各位新手的站长们，当然如果哪里有不对的地方，请及时指出。

关键词选取

关键词分类：

核心关键词：从所周知就是想要优化做排名的关键词。
长尾关键词：是指网站上的非目标关键词但与目标关键词相关的也可以带来搜索流量的组合型关键词。长尾关键词的特征是比较长，往往是2-3个词组成，甚至是短语，存在于内容页面，除了内容页的标题，还存在于内容中。

（单个长尾词的流量虽然小，但是长尾关键词的数量多，长尾关键词越多流量就越大）

关键词选取方法：

通过头脑风暴列出关键词
查看竞争对手网站布局的关键词
查看关键词的热度
确定关键词

关键词选取的工具：

1、百度推广—关键词规划师

2、爱站网（www.aizhan.com）—关键词挖掘

3、站长工具（tool.chinaz.com）—关键词挖掘

4、百度指数（zhishu.baidu.com）—用来判别选取的关键词，指数高不高，适不适合我们使用

关键词选取的注意事项：

根据网站定位进行选取关键词
无论选取关键词、还是布局关键词一定要精确定位网站关键词
考虑关键词匹配度

网站三元素（TKD标签）

三元素分类：

标题（Title）
描述（Description）
关键词（Keyword）

三元素优化技巧：

title标签（标题）

①、字符最好不要超过80个字符

②、突出本页面的核心关键词

③、关键词的数量最好不要超过五个，是数量不是字符

④、首页标题最好是一句话，读起来要通顺，这样会让搜索引擎觉得很自然，很普通，最好不要是一个关键词一个关键词的。（当然是根据不同的行业来布局关键词的，不一定非要一个关键词一个关键词的，像知识博客类的网站涉及到的关键词比较多，所有很多知识类博客的标题就是一句话，这样写标题匹配度会广泛些。那么一个关键词一个关键词这么写标题的大多就是企业站，因为企业站有不同的产品，主要做的词就是和企业产品有关，所以写的标题就是一个产品词一个产品词的标题）

⑤、关键词的匹配度，匹配度要广，不要太窄不然搜索引擎给予的关键词排名就少，而且用户搜索到的几率也会少。

2、descriptio标签（描述）

作用：网站描述是对网站标题核心关键词的一个补充，对网站目标关键词获得相关搜索的排名起到一个辅助的作用

字符最好不要超过200个字符
描述中要加入目标关键词，三到四个不同的目标关键词
任何一个网站页面的描述前100个字是非常重要的，可以说前100个字能在搜索引擎搜索结果展现出来，描述中要包含目标关键词，出现三到四次不同的目标关键词。
所有页面的描述都要考虑当前页面的主体内容，通过内容来定义描述写什么，来吸引用户

3、Keyword标签（关键词）

（现在关键词在搜索引擎中的作用以及没有以前的大了，所以这一块不用重点。）

作用：提高网站关键词的一个密度

字符最好不要超过100个字符
关键词的数量不要超过五个

网站URL优化

网站URL优化的作用就是有利于搜索引擎蜘蛛抓取我们的网站
网站URL设置最好控制在三层以内

网站导航优化

网站导航结构一定要清晰明了，突出重点，突出我们产品的特点，而且要包含网站目标关键词。
网站导航尽量不要用图片或者视频去显示，要用文字。

网站伪静态设置

（如果系统能够设置伪静态最好，如果不能设置就不要设置，注意设置伪静态要不全站伪静态，要不就不要设置伪静态）

伪静态表现方式

①、动态：网址中包含“？”“=” （还有出现“id=”的参数并不是动态页面，而是只有“=”才是动态页面，id只是数据库中调用的一个参数，不是动态的表现）

(www.diyoukeji.com/page142.html?article_id=406)

②、静态：网址都是以“.htm”“.html”为结尾的

（www.diyoukeji.com/xinwenxiangxi/wz169.html）

伪静态与静态的区别

相同点：都是以 .htm .html 为结尾的网址

不同点：①、文件找不到

②、设置伪静态的网址都很短，一般紧跟域名的后面

网站301重定向设置

设置301重定向作用

301重定向还可以传递网站的权重，比如我们把abc.com跳转到www.abc.com上面去，实际就是把abc.com的权重转移到www.abc.com上面去，这样有利于网站优化。如果你的网很久了，而301重定向是刚刚设置好的，那么权重的传递过程大概要三个月左右。（301重定向其实对于搜索引擎来说并不是友好的，而且做301重定向，并不能完全把权重传递过去，所以不要过于信任做301重定向一定能把权重传递过去）

Robots协议设置

Robors协议，其实就是网站与搜索引擎之间写的一个文件，作用是我们可以利用这个协议，让某些蜘蛛能够爬取我们网站，有些蜘蛛不能爬取我们的网站，也可以设置指定文件让搜索引擎蜘蛛爬取，或者不让搜索引擎蜘蛛爬取。

User-agent:* User-agent:*

Disallow:/ (禁止搜索引擎抓取) Disallow:(允许搜索引擎抓取)

设置404错误页面

作用：

①、避免出现死链

网站设置404页面后，如果网站出现死链接，搜索引擎蜘蛛爬行这类网址得“404”状态回应时，即知道该URL已经失效，便不再索引该网页，并向数据中心反馈将该URL表示的网页从索引数据库中删除。避免因为死链接影响网站收录。

②、提高用户体验

404页面通常为用户访问了网站上不存在或已删除的页面，服务器返回404错误页面，告诉浏览者其所请求的页面不存在或链接错误，同时引导用户使用网站其他页面而不是关闭窗口离开，消除用户的挫败感。

③、避免被惩罚

我们网站出现404页面，如果搜索引擎抓取，搜索引擎会认为这是有效的页面，从而抓取下来，那么如果404页面过多，就造成了大量的重复页面，很有可能被搜索引擎认为是作弊而遭到惩罚。

内链优化

（首先内链是在同一网站下的内容页面之间互相串联的链接）

内链优化的作用：

从连接我们可以实现整个网站串通有效链接，从而实现用户体验感
从文章上，我们可以有效的提高用户预览我们网站文章的用户体验度，从而提高用户粘度。

内链关键词优化：

（四处一词）：可以实现长尾关键词获得排名的效果

第一处：网站页面title（标题）标签出现目标关键词

第二处：网站页面keywords(关键词)和description（描述）标签出现目标关键词

第三处：页面文本中出现目标关键词

第四处：页面锚文本出现目标关键词（在文章中加入目标关键词，目标关键词加入有效链接）