怎么爬取新浪微博当前页面的内容
发布网友
发布时间：2022-04-21 14:31
共2个回答
热心网友
时间：2023-07-12 02:57
微博这一类的主流网站现在都普遍采用ajax加载数据，也就是如果你通过传统的爬虫方式post一个url或者请求参数过去，接受响应的字符串，也就是响应的html代码，会发现里面没有你要的数据，这是因为这个代码里面有一些js脚本，等到浏览器显示这个网页的时候，这些js就会运行，从而显示你想要看的数据，ajax还用来在你操作的时候不刷新网页，只加载一部分页面数据，如果你发现一个网站在你操作的时候只有页面部分数据在变动，网址不变，就是ajax，这个很容易判断。另外，如果你发现网页浏览器显示网页加载完毕，然后页面上还有一些数据正在加载，这种数据也属于ajax异步加载的。判断好之后，就要采用能处理ajax的方式抓取数据了。
这里有两种方法： 1. 分析ajax脚本，找到对应的加载数据的js脚本，然后分析其逻辑，一般也是生成一个http请求，然后这个http请求一般只返回jason格式的数据。你可以通过代码模拟这个请求来获取数据。但是这种办法比较老土，也很麻烦需要你研究js代码的逻辑，你如果不会写代码就比较麻烦。当然有一些fiddler之类的网页通信抓包分析工具可以帮你一些忙。
2. 使用现在比较主流的智能采集软件如八爪鱼，需要支持浏览器和可视化采集，这样软件会自动模拟人的操作完成所有工作，包括运行界面的脚本，最后你会在界面上看到数据，就和上网看网页没任何区别，但是此类工具可以自动提取你在网页上看到的数据。用鼠标点点就提取到数据了，这种方式适合不懂代码的人。
3. 当然你也可以上网上找一下别人都是怎么采集微博数据的。然后拿别人的劳动成果来用，这个就更简单。比如，我按照你的要求在数多多上搜索微博数据采集规则就出来好多。截图如下：可以看到有微博账号，话题，评论，明星等等，别人也都详细写了如何用这些东西。
热心网友
时间：2023-07-12 02:57
内容页是可以的首页不抓不了的！火车头采集器设置好URL！列表页→内容页
