robots 用于定义网页搜索引擎索引方式。robots meta 标签跟任何一种META标签是一样的，robots meta 放置在HTML网页代码的 head 之内。
robots 语法
<meta name="robots" content="robotterms" />
robotterms 是一组使用逗号(,)分割的值，通常有如下几种取值：none，noindex，nofollow，all，index和follow。各个值得具体释义如下：
none 搜索引擎将忽略此网页，等价于noindex，nofollow。
noindex 搜索引擎不索引此网页。
nofollow 搜索引擎不继续通过此网页的链接索引搜索其它的网页。
all 搜索引擎将索引此网页与继续通过此网页的链接索引，等价于index，follow。
index 搜索引擎索引此网页。
follow 搜索引擎继续通过此网页的链接索引搜索其它的网页。
注：如页面没有定义该标签，则默认是 <meta name="robots" content="index,follow" />
以下为具体的使用示例：
<meta name="robots" content="index,follow" />
上面示例定义了此网页可以被搜索引擎索引进数据库并且搜索引擎可以通过此网页的链接继续索引其它网页，但如上定义没有实际作用，因为默认的值就是 index,follow 。
<meta name="robots" content="noindex" />
//或者 <meta name="robots" content="noindex,follow" />
上面示例定义了此网页不被搜索引擎索引进数据库，但搜索引擎可以通过此网页的链接继续索引其它网页
<meta name="robots" content="index,nofollow" />
//或者 <meta name="robots" content="nofollow" />
上面示例定义了此网页可被搜索引擎索引进数据库，但搜索引擎不可以通过此网页的链接继续索引其它网页
<meta name="robots" content="noindex,nofollow" />
//或者 <meta name="robots" content="none" />
上面示例定义了此网页不被搜索引擎索引进数据库并且搜索引擎不可以通过此网页的链接继续索引其它网页
当content需要包含多个属性的时候需要用英文逗号隔离，注意同种属性正反两个方面（例如：index与noindex）不能同时出现在content之中。
注：目前只有少数的机器人支持此标签！谷歌，必应，雅虎均支持以上标签值，百度官方说法是目前只支持 noarchive 和 nofollow 。
（1）只针对谷歌 GOOGLEBOT 使用 robots
<meta name="googlebot" content="noindex,nofollow" />
（2）只针对百度 baiduspider 使用 robots
<meta name="baiduspider" content="noarchive,nofollow" />