技术与法律的发展可相互促进，也彼此制衡。如何对原本中立的技术在法律上予以规制，这在网络技术、信息技术高速发展的时代具有重要价值。本文拟以网络爬虫技术的违法判断为例，对此予以探讨。网络爬虫行为是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。网络爬虫技术的应用场景广泛，在搜索引擎、网络舆情、大数据挖掘等方面的应用快速发展。现阶段在国内从事“海量数据采集”的企业很多,它们大多是利用垂直搜索引擎技术来实现的。还有一些企业实现了多种技术的综合运用。外有研究基于语义爬虫框架支持网络犯罪挖掘使用的案例，通过爬取欺诈、网络色情、非法贸易、侵犯隐私、教唆、煽动各种犯罪等信息，从而预测犯罪趋势和模式并找出可疑犯罪热点。此外，基于暗网不能通过常规搜索引擎和浏览器访问，国外有学者利用暗网网络爬虫程序，使执法当局能够搜索当前TOR数据库和以前版本数据库，以检测可疑和恶意网站。随着网络爬虫行为被广泛应用，其犯罪边界慢慢成为互联网争议的热点，尤其是在大数据时代，随着数据价值的日益凸显，这类案件也越来越多。然而，网络爬虫行为的刑事法律规制相关研究尚不够深入，同时，在网络爬虫案件中，随着当下时代从“技术就是生产力”到“知识就是生产力”再到“信息就是生产力”的转化，以及云计算、物联网和大数据的应用与发展，个人信息成为大数据时代的重要财富，使用网络爬虫等高科技手段获取公民个人信息的行为愈演愈烈。因此，结合公民个人信息保护的具体领域，探讨网络爬虫行为的刑事法律规制问题，有利于对网络爬虫行为刑事规制问题的研究更具有场景化的效应，而且有利于对公民个人信息保护更具有针对性。
离开爬虫行为，当下很多商业和公益性平台所需的准确数据难以获得，掌握爬虫技术已经成为各大网站以及专业人士的必备技能。爬虫行为的技术中立具有相对性，随着科技与社会秩序的持续发展，今天被认为不合法的行为，明天可能被认定为合法，“而且也可能出现逆转的发展：长期以来被视为没有任何问题的做法和技术，现在可能会被认为是道德上可疑的并可被视为是违法的”。自1993年12月首个基于爬虫的网络搜索引擎——JumpStation诞生之后，网络爬虫已被使用了二十余年，之前一直被视为没有问题的中立技术，今天已被人们认为“道德上可疑的并可被视为违法”的技术，并从涉嫌民事违法的技术发展为涉嫌构成刑事犯罪的技术。在此情形下，探讨网络爬虫行为的刑事违法性，以划清爬虫行为民事违法与刑事犯罪的界限，并恰当实现对网络爬虫行为的法律规制，无疑是一个亟需解决的理论和实践问题。 元光公司爬虫行为构成民事违法的案例充分说明了爬虫行为是如何从技术中立发展到民事违法的。2015年11月至2016年5月，元光公司为提高本公司的APP软件“车来了”在市场上的用户量和信息查询的准确度，指使员工利用网络爬虫技术获取谷米公司“酷米客”APP的实时公交信息数据，将之用于“车来了”并对外提供给公众查询。法院认为，“元光公司利用网络爬虫技术大量获取并无偿使用‘酷米客’APP实时公交信息数据的行为，是一种不劳而获的行为，破坏他人的市场竞争优势，具有主观过错，违反了诚实信用原则，扰乱了竞争秩序，构成不正当竞争”，并判处元光公司赔偿谷米公司经济损失及维权合理费用50万元。该判决的意义在于，“当大数据开发形成的智力成果具有独创性成为著作权法保护的作品时，持有者可以大数据形成的作品成为一项法定权利来对之加以保护”，“当大数据不构成作品时，持有者通常会选择不正当竞争来制止他人的未经许可使用行为。”换言之，它确认了未经允许的爬虫行为的民事违法性，从而开启了对大数据权益的法律保护之旅。在此案之后，全国陆续出现了很多不当使用爬虫软件而被判处不正当竞争的案件。诸如，北京淘友天下技术公司采用爬虫行为大量抓取、使用新浪微博用户职业信息、教育信息不正当竞争案，国家图书馆出版社与北京百度网讯科技有限公司侵害作品信息网络传播权纠纷案，浙江泛亚电子商务有限公司诉北京雅虎网咨询服务有限公司等侵犯著作权纠纷案，等等。这些案件对于规范爬虫行为起到了很好的作用。 全国首例爬虫行为入罪案（上海晟品公司爬虫行为入罪案）则清晰展示了爬虫行为从民事违法转化到刑事入罪的变化。上海晟品网络科技有限公司的主管人员，成功破解北京字节跳动公司的防范措施，采用爬虫技术抓取北京字节跳动公司服务器中存储的视频数据，造成北京字节跳动公司损失技术服务费人民币2万元。法院以非法获取计算机信息系统数据罪对被告人予以定罪判刑。法院判决指出，爬虫软件在数据抓取的过程中，“使用了伪造device_id绕过服务器的身份校验，伪造UA及IP绕过服务器的访问频率限制等规避或突破计算机系统保护措施的手段获取数据，构成非法获取计算机信息系统罪”。笔者认为，该案中的被告公司及主管人员未经许可，强行突破反爬技术，侵入“国家事务、国防建设、极端科学技术领域”之外的计算机信息系统，并采用爬虫技术获取该系统内的数据，其行为根据我国《刑法》第285条第2款的规定，构成非法获取计算机信息系统数据罪。值得注意的是，该案判决特别指出：“在信息时代，‘爬虫’技术是一种常见的数据抓取技术，最常用的领域是搜索引擎，该技术的有效使用有利于数据的共享和分析、造就了互联网生态的繁荣，但并不意味该技术的使用没有边界。法官在此提醒互联网行业的从业人员，必须在法律的框架之内合理使用该技术，违反法律规定利用该技术非法获取数据可能构成犯罪。”该案是确认爬虫行为刑事违法性的第一案，具有标志性意义。从爬虫行为构成反不正当竞争案到爬虫行为入罪案，体现了爬虫行为的法律规制从民法到刑法的递进。在前述元光公司使用爬虫行为损害谷米公司合法权益案中，法院判决将这种使用爬虫的行为认定为反不正当竞争的行为；根据我国《反不正当竞争法》第2条的规定，反不正当竞争的行为是不“遵守法律和商业道德”的行为。可以说，从内在实质违法性的角度，这一判决为首例爬虫行为入罪案奠定了基础。因为，刑法中违法性的评价是“以了解作为价值标准和作为规章的适合人类行为的生活准则的道德准则为前提的”，正是有了元光公司爬虫行为系违反民事行为生活准则和道德即构成不正当竞争的判决，才有了不久之后全国首例使用爬虫技术构成刑事犯罪的案件。从爬虫行为反不正当竞争案到全国首例爬虫行为入罪案，展现了爬虫行为从民事违法到刑事违法的司法认定过程，它充分体现了我国司法实践对爬虫行为的态度。这一过程充满司法理性，因为随着爬虫行为对各大网站数据的暴力爬取、强行爬取等行为的增多，已给网络信息安全以及营运环境造成了极大的破坏。司法的判决就是一个判断的过程，无论是民事判决还是刑事判决，都是对不当使用爬虫行为在法律上的否定，“通过有罪与无罪的判断、对义务与权利分配的判断，使人民在精神上相信自己生活在正义的环境里，从而获得对社会的信赖”，没有对网络健康有序环境的基本信赖，用户的网络失范行为将日益增多。因此这两个判决奠定了司法对不当使用爬虫软件的态度和立场，并为后续类似案件提供了可借鉴的样本。与此同时，它们也表明，虽然爬虫行为在精准搜索、大数据分析与预测等领域作出了重要贡献，但是，如果“对数据抓取行为不加以限制约束，收集、处理、经营数据的相关平台以及提供优质内容的用户的权益便都无法得到保障，从长远来看必将对互联网内容产业产生负面影响”。总之，爬虫行为既可能涉及民事、行政违法，也可能构成犯罪；基于维护法秩序与互联网产业健康发展的需要，对爬虫行为的合理刑事规制极为必要。
摘自：刘艳红《网络爬虫行为的刑事规制研究——以侵犯公民个人信息犯罪为视角》
