浙江大学计算机学院院长庄越挺

浙江大学计算机学院院长庄越挺

日期：2013-10-17作者：新闻更新出处：转载我来说两句(374)

近日，百度诉360违反Robots协议，强行抓取、复制百度网站内容，构成不正当竞争一案在北京一审开庭，期间行业规范Robots协议再次成为社会各界讨论的焦点。计算机专家们对于360违反Robots协议带来的危害表示严重担忧，浙江大学计算机学院院长庄越挺就指出，这种违反行业规则获取资源的方式违背了搜索引擎的行业规范，是一种不道德的竞争。据了解，2012年8月，360搜索上线时在还未获得百度允许的情况下，违反通行规则Robots 协议内容，强制对“百度知道”、“百度百科”等百度网站内容进行了抓取，并且复制快照储存于服务器中。百度公司认为，奇虎360的行为严重侵害了百度的合法权益，构成了不正当竞争。

对于360违反Robots协议的行为，浙江大学计算机学院院长庄越挺形象地比喻：“互联网网站页面，如同广阔农村中的一个菜园，各有其主。一般而言，访客进去逛逛无可厚非，但是如果主人在边界立下界碑：未经允许不得入内，这就意味着主人的意愿成为外界是否获准入园参观的标准。Robots协议就是这样一块界碑，它虽然不具法律效应，但是人们都普遍遵循。”

据官方资料显示，Robots协议即Robots.txt ，也称为爬虫协议、爬虫规则、机器人协议等，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。

庄越挺指出：“未经允许入园就参观不仅违反了游戏规则，也有违道德标准。同样的道理，违反Robots协议，等同于违背了搜索引擎的行业规范，以这种方式获取资源是一种不道德的竞争。”

哈尔滨工业大学教授刘挺也表示，Robots协议是互联网中网站为搜索引擎所制定的内容抓取规则，体现了业界同行之间的相互信任。如果不遵循Robots协议，将会破其业界信任，使得网站的内容不愿意被抓取的内容被搜索引擎索引，最终伤害用户的利益。清华大学计算机系教授马少平则指出，如果搜索引擎不遵守Robots协议，肆意抓取网站的内容，网站的信息被任意泄漏，将对互联网的良性发展产生巨大的破坏作用。

而北京大学信息与管理学院教授赖茂生则认为，违反网站意愿强制抓取信息的行为，不仅突破了道德的底线，也突破了法律的底线。我国《民法通则》第4条规定：“民事活动应当遵循自愿、平等、等价有偿、诚信信用原则。”另外，依照著作权法的原理，当对数据库内容

构成侵权。

近日，百度诉360违反Robots协议，强行抓取、复制百度网站内容，构成不正当竞争一案在北京一审开庭，期间行业规范Robots协议再次成为社会各界讨论的焦点。计算机专家们对于360违反Robots协议带来的危害表示严重担忧，浙江大学计算机学院院长庄越挺就指出，这种违反行业规则获取资源的方式违背了搜索引擎的行业规范，是一种不道德的竞争。据了解，2012年8月，360搜索上线时在还未获得百度允许的情况下，违反通行规则Robots 协议内容，强制对“百度知道”、“百度百科”等百度网站内容进行了抓取，并且复制快照储存于服务器中。百度公司认为，奇虎360的行为严重侵害了百度的合法权益，构成了不正当竞争。

对于360违反Robots协议的行为，浙江大学计算机学院院长庄越挺形象地比喻：“互联网网站页面，如同广阔农村中的一个菜园，各有其主。一般而言，访客进去逛逛无可厚非，但是如果主人在边界立下界碑：未经允许不得入内，这就意味着主人的意愿成为外界是否获准入园参观的标准。Robots协议就是这样一块界碑，它虽然不具法律效应，但是人们都普遍遵循。”

据官方资料显示，Robots协议即Robots.txt ，也称为爬虫协议、爬虫规则、机器人协议等，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。

庄越挺指出：“未经允许入园就参观不仅违反了游戏规则，也有违道德标准。同样的道理，违反Robots协议，等同于违背了搜索引擎的行业规范，以这种方式获取资源是一种不道德的竞争。”

哈尔滨工业大学教授刘挺也表示，Robots协议是互联网中网站为搜索引擎所制定的内容抓取规则，体现了业界同行之间的相互信任。如果不遵循Robots协议，将会破其业界信任，使得网站的内容不愿意被抓取的内容被搜索引擎索引，最终伤害用户的利益。清华大学计算机系教授马少平则指出，如果搜索引擎不遵守Robots协议，肆意抓取网站的内容，网站的信息被任意泄漏，将对互联网的良性发展产生巨大的破坏作用。

而北京大学信息与管理学院教授赖茂生则认为，违反网站意愿强制抓取信息的行为，不仅突破了道德的底线，也突破了法律的底线。我国《民法通则》第4条规定：“民事活动应当遵循自愿、平等、等价有偿、诚信信用原则。”另外，依照著作权法的原理，当对数据库内容

构成侵权。