[P]　　[SIZE=3]卫东宗亲，有个问题想建议一下，就是有关宗亲网上的个人或家族敏感信息问题。[/SIZE][/P][P]　　[SIZE=3]当前宗亲网99%注册用户均为实名注册，论坛里有众多的个人信息或有意或无意的发表，包括姓名、性别、籍贯、生活状况、工作信息等等涉及个人隐私的信息。[/SIZE][/P][P]　　[SIZE=3]我有搜索过，目前论坛上的全部信息都能被各搜索引擎轻易的搜索到，我觉得对保护各宗亲的个人信息是个很大的威胁。[/SIZE][/P][P]　　[SIZE=3]所以建议可以利用先进的网络技术来保护我们的权益免遭非法利用。[/SIZE][/P][P][SIZE=3]　　[SIZE=3]只有论坛内宗亲注册用户才能访问论坛内容，或选择性的部分内容对外开放。[/SIZE][/SIZE][/P][P]　　[SIZE=3]请看下面的内容：[/SIZE] [/P][P]

　　[upload=14857,3]robots.txt[/upload][/P][P]　　点此下载示例[/P][P] [/P][P][/P][P]　　[b][SIZE=4]百度百科名片[/SIZE][/b][/P][P]　　[b][SIZE=3]robot.txt[/SIZE][/b][/P][P][b][SIZE=3][/SIZE][/b][/P][P][/P][P][/P][P][/P][P]　　搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信 息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot 访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜 索引擎只收录指定的内容。[/P][P][/P][P][/P][P][/P][P][/P][P][/P][P]　　[b]简介[/b] [/P][P]　　搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。 [/P][P][/P][P]　　您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。 [/P][P][/P][P]　　[b]robots.txt文件位置[/b][/P][P][b][/b][/P][P]　　robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站时，首先会检查该网站中是否存在robots.txt 这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范 围。 [/P][P]　　[/P]robots.txt文件的格式　　“robots.txt”文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL,or NL作为结束符），每一条记录的格式如下所示： [P][/P]　　“<field>:<optionalspace><value><optionalspace>” [P][/P]　　在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录 通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下： [P][/P]　　User-agent： [P][/P]　　该项的值用于描述搜索引擎robot的名字，在“robots.txt”文件中，如果有多条 User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User- agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在“robots.txt”文件 中，“User-agent：*”这样的记录只能有一条。 [P][/P]　　Disallow： [P][/P]　　该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以 是部分的，任何以Disallow开头的URL均不会被robot访问到。例如： [P][/P]　　“Disallow: /help”对/help.html 和/help/index.html都不允许搜索引擎访问， 而“Disallow: /help/”则允许robot访问/help.html，而不能访问/help/index.html。 [P][/P]　　任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在 “/robots.txt”文件中，至少要有一条Disallow记录。如果“/robots.txt”是一个空文 件，则对于所有的搜索引擎robot，该网站都是开放的。 [P]　　[/P]robots.txt文件存在的意义　　有些人会问，既然robots文件没弄好，或出错了，会影响整个网站的收录，那为什么还要这个文件呢？ [P][/P][P]　　其实robots是为特定需要的站长准备的，因为有些网站，有一些页面是站长不想被SE收录的，所以才有了这个robots文件。 [/P][P][/P][P]　[b]　robots.txt文件用法举例[/b] [/P][P][/P]　　例1、禁止所有搜索引擎访问网站的任何部分 [P][/P]　　User-agent: * [P][/P]　　Disallow: / [P][/P]　　例2、允许所有的robot访问 [P][/P]　　User-agent: * [P][/P]　　Disallow: [P][/P]　　（或者也可以建一个空文件 "/robots.txt" file） [P][/P]　　例3、禁止某个搜索引擎的访问 [P][/P]　　User-agent: BadBot [P][/P]　　Disallow: / [P][/P]　　例4、允许某个搜索引擎的访问 [P][/P]　　User-agent: Baiduspider [P][/P]　　Disallow: [P][/P]　　User-agent: * [P][/P]　　Disallow: / [P][/P]　　例5、一个简单例子 [P][/P]　　在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。 [P][/P]　　User-agent: * [P][/P]　　Disallow: /cgi-bin/ [P][/P]　　Disallow: /tmp/ [P][/P]　　Disallow: /joe/ [P][/P]　　需要注意的是对每一个目录必须分开声明，而不要写成：“Disallow: /cgi-bin/ /tmp/”。 [P][/P]　　User-agent:后的* 具有特殊的含义，代表“any robot”，所以在该文件中不能有 “Disallow: /tmp/*” or “Disallow: *.gif”这样的记录出现。 [P][/P][P][/P][P][SIZE=3][/SIZE][/P][P]　　[b][SIZE=3]robots.txt[/SIZE][/b] [/P][P][/P][P]　　[b]什么是robots.txt？[/b][/P][P]　　robots.txt是[URL=http://baike.baidu.com/view/1154.htm]搜索引擎[/URL]中访问网站的时候要查看的第一个文件。Robots.txt文件告诉[URL=http://baike.baidu.com/view/995492.htm]蜘蛛程序[/URL]在服务器上什么文件是可以被查看的。 [/P][P][/P][P]　　当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 [/P][P][/P][P]　　robots.txt必须放置在一个站点的[URL=http://baike.baidu.com/view/1061154.htm]根目录[/URL]下，而且文件名必须全部小写。 [/P][P][/P][P]　　语法：最简单的 robots.txt 文件使用两条规则： [/P][P][/P][P]　　· [URL=http://baike.baidu.com/view/3398471.htm]User-Agent[/URL]: 适用下列规则的漫游器 [/P][P][/P][P]　　· Disallow: 要拦截的网页 [/P][P][/P][P]　　[b]robots.txt使用误区[/b][/P][P][b][/b][/P][P]　　误区一：我网站上所有的文件都需要被蜘蛛抓取，那我就没必要添加robots.txt文件了。反正如果该文件不存在，所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。 [/P][P][/P][P]　　每当用户试图访问某个不存在的[URL=http://baike.baidu.com/view/1496.htm]URL[/URL]时，服务器都会在日志中记录[URL=http://baike.baidu.com/view/2107610.htm]404错误[/URL]文件（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误文件，所以你应该在网站中添加一个robots.txt。 [/P][P][/P][P]　　误区二：在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取，这样可以增加网站的收录率。 [/P][P][/P][P]　　网站中的[URL=http://baike.baidu.com/view/69991.htm]脚本程序[/URL]、样式表等文件即使被蜘蛛收录，也不会增加网站的收录率，还只会占用服务器存储空间。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引脚本程序、样式表等文件，具体哪些文件需要排除，在robots.txt使用技巧一文中有详细介绍。 [/P][P][/P][P]　　误区三：搜索蜘蛛抓取网页太浪费服务器资源，在robots.txt文件中设置所有的搜索蜘蛛都不能抓取全部的网页。 [/P][P][/P][P]　　如果这样的话，会导致整个网站不能被[URL=http://baike.baidu.com/view/3192508.htm]搜索引擎收录[/URL]。 [/P][P][/P][P]　　[b]robots.txt使用技巧[/b][/P][P][b][/b][/P][P]　　1. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。 [/P][P][/P][P]　　2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录——保证服务器性能。比如：大多数网站服务器都有程序储存在“cgi-bin”目录下，因此在robots.txt文件中加入“Disallow: /cgi-bin”是个好主意，这样能够避免将所有程序文件被蜘蛛索引，可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、[URL=http://baike.baidu.com/view/1800925.htm]数据库文件[/URL]、编码文件、样式表文件、模板文件、导航图片和背景图片等等。 [/P][P][/P][P]　　下面是[URL=http://baike.baidu.com/view/113034.htm]VeryCMS[/URL]里的robots.txt文件： [/P][P][/P][P]　　User-agent: * [/P][P][/P][P]　　Disallow: /admin/ 后台管理文件 [/P][P][/P][P]　　Disallow: /require/ 程序文件 [/P][P][/P][P]　　Disallow: /attachment/ 附件 [/P][P][/P][P]　　Disallow: /images/ 图片 [/P][P][/P][P]　　Disallow: /data/ 数据库文件 [/P][P][/P][P]　　Disallow: /template/ 模板文件 [/P][P][/P][P]　　Disallow: /css/ 样式表文件 [/P][P][/P][P]　　Disallow: /lang/ 编码文件 [/P][P][/P][P]　　Disallow: /script/ 脚本文件 [/P][P][/P][P]　　3. 如果你的网站是[URL=http://baike.baidu.com/view/348756.htm]动态网页[/URL]，并且你为这些动态网页创建了静态副本，以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引，以保证这些网页不会被视为含重复内容。 [/P][P][/P][P]　　4. robots.txt文件里还可以直接包括在[URL=http://baike.baidu.com/view/1072062.htm]sitemap[/URL]文件的链接。就像这样： [/P][P][/P][P]　　Sitemap: [URL=http://www.***.com/sitemap.xml]http://www.***.com/sitemap.xml[/URL] [/P][P][/P][P]　　(此处请填写完整URL，如果按习惯填写Sitemap: /sitemap.xml，提交后会提示：检测到无效的 Sitemap 网址；语法错误) [/P][P][/P][P]　　目前对此表示支持的搜索引擎公司有[URL=http://baike.baidu.com/view/105.htm]Google[/URL], Yahoo, Ask and MSN。而中文搜索引擎公司，显然不在这个圈子内。这样做的好处就是，站长不用到每个搜索引擎的[URL=http://baike.baidu.com/view/2210987.htm]站长工具[/URL]或者相似的站长部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就会抓取robots.txt文件，读取其中的sitemap路径，接着抓取其中相链接的网页。 [/P][P][/P][P]　　5. 合理使用robots.txt文件还能避免访问时出错。比如，不能让搜索者直接进入购物车页面。因为没有理由使购物车被收录，所以你可以在robots.txt文件里设置来阻止搜索者直接进入购物车页面。 [/P][P][/P][P]　　[b]robots.txt文件的格式[/b] [/P][P][/P][P]　　"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示： [/P][P][/P][P]　　"<field>:<optionalspace><value><optionalspace>"。 [/P][P][/P][P]　　在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow和Allow行,详细情况如下： [/P][P][/P][P]　　User-agent: [/P][P][/P][P]　　该项的值用于描述搜索引擎[URL=http://baike.baidu.com/view/248611.htm]robot[/URL]的名字。在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中，加入"User-agent:SomeBot"和若干Disallow、Allow行，那么名为"SomeBot"只受到"User-agent:SomeBot"后面的Disallow和Allow行的限制。 [/P][P][/P][P]　　Disallow: [/P][P][/P][P]　　该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html，而"allow:/help/"则允许robot访问/help.html、/helpabc.html，不能访问/help/index.html。"Disallow:"说明允许robot访问该网站的所有url，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。 [/P][P][/P][P]　　Allow: [/P][P][/P][P]　　该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。 [/P][P][/P][P]　　需要特别注意的是Disallow与Allow行的顺序是有意义的，robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。 [/P][P][/P][P]　　使用"*"和"$"： [/P][P][/P][P]　　Baiduspider支持使用通配符"*"和"$"来模糊匹配url。 [/P][P][/P][P]　　"$" 匹配行结束符。 [/P][P][/P][P]　　"*" 匹配0或多个任意字符。 [/P][P] [/P][SIZE=3][P][URL=http://baike.baidu.com/view/1280732.htm]http://baike.baidu.com/view/1280732.htm[/URL][/P][/SIZE]

[P]=====================================================[/P]

[P]================================================================[/P]