通过技术手段实现抖音数据采集 抖音App和服务端交互使用的是HTTPS协议,使用Fiddler很容易可以捕获到数据。不过由于使用了签名机制,使得我们很难模拟一个有效的请求,因为在所有请求中都有as和cp两个签名参数,在得知签名算法之前,我们无法构造出有效的请求。这里我们可以模拟操作抖音App的方式,让App发出有效的请求,然后通过拦截服务器的HTTP应答数据,再从中提取我们感兴趣的信息。 技术文章 2021年06月04日 0 点赞 0 评论 554 浏览
python进行微博数据抓取的小技巧 作为当前最为活跃的社交平台,微博拥有着极大的用户量,每天会产生数以万计的内容信息。而将这些数据采集下来,对我们对微博的活动、事件进行分析有着极大的帮助。为了帮助大家更好地收集微博数据,下面分享一些爬取微博数据时防止被墙的小技巧,希望可以帮助到大家。 技术文章 2021年06月02日 0 点赞 0 评论 528 浏览
口碑网数据抓取示例展示 口碑网的覆盖面极广,吸引了很多商家和用户注册入驻,这就使得口碑网上拥有了大量的用户数据,而这些数据自然而然地成为了无数企业眼中的数据宝库。 示例数据 2021年05月28日 3 点赞 0 评论 606 浏览