爬虫，可以说是程序员最基础的热手项目。
之前我也一直说阿里系的签名系统搞得太复杂，风控太高，很不利于正常的自动化工具开发，这对于需要阿里应用的客户来说，也是一个很难覆盖的成本支出不是。
当然，我做项目，尤其是爬虫项目也是有原则的，不做暴力抓取是首要的；不做与正常客户竞争的工具，尤其是需要竞争的功能，不做开发。
公开数据抓取，正常的数据分析，爬虫的存在也是非常有必要的。
闲鱼开放网页版是对闲鱼真实用户的需求一次提升。
最近一个比较大的消息就是闲鱼开放了网页版。
多少年了，对于经常使用闲鱼的用户来说，闲鱼没了网页版，数据获取真的非常的不适，尤其是需要做商品对比的时候，在手机上反复查看，真的很不方便。想象一下，一个用户，当他选择不买新的，用二手代替的时候，货比三家的需求就更加地不能缺失了。闲鱼水深，人所共知，这就越需要进行商品对比了。
在对比这方面，PC的大屏，和手机甚至是平板的小屏比起来，优势不要太明显。
对浏量和用户信息的妥协
互联网发展到最近几年，很多应用从网页版到手机端，再到只有手机端。除了是对移动互联网的支持加深，更多的是对于用户数据的详细需求。
一台手机里面的用户数据，和一台电脑里面可以映射出来的用户数据，完全可以说是指数级的数据碾压。通过一台手机注册的用户数据，以及用户上传的数据信息，可以比电脑更加容易/清晰地勾画出用户图像。
所以这些年来最可怕的一个词相信很多人都深有体会——大数据。
从大数据个性化推荐，到大数据电商杀熟。
大数据在窃取用户数据的方面，可以说是完全合法的在偷听客户的真实心声。真实而可怕。
所以，这次闲鱼开放网页版的更深层理解，个人觉得其实是互联网文化的进步，也是大厂对于流量和客户信息矛盾的一次让步。
接下来是见证技术的时刻
说了想说的话，来看下闲鱼网页版抓取数据的效果吧。
这是闲鱼PC版搜索页面的截图，以及调试页面：
可见闲鱼数据返回的链接和请求头信息
使用python实现此处功能，可以抓取网页版搜索功能相同的结果数据：
