财富学堂能取代python爬虫吗?

财富学堂
财富学堂
财富学堂
592
文章
0
评论
2020年11月20日15:49:05 评论 8 933字阅读3分6秒

财富学堂能取代python爬虫吗??

作为同时使用财富学堂和写爬虫的非技术的莫名其妙喜欢自己琢磨技术的互联网运营喵。。。我来谈谈心得感想。

财富学堂有一些优势,比如学习成本低,可视化流程,快速搭建采集系统。能直接导出excel文件和导出到数据库中。降低采集成本,云采集提供10个节点,也能省事不少。

不好的地方就是,即使看似很简单了,而且还有更傻瓜化的smart模式,但是里面的坑只有用的多的人才清楚。关于这个我在我的博客里简单写了写,不过说实话心得太多,还没仔细整理。微博自媒体

首先里面的循环都是xpath元素定位,如果用单纯的傻瓜化点击定位的话,很死板,大批量采集页面的时候很容易出错。另外用这个工具的,因为方便,小白太多,成天有人问普通问题,他们都不会看页面结构,也不懂xpath,很容易出现采集不全,无限翻页等问题。

财富学堂能取代python爬虫吗?

但是财富学堂的ajax加载,模拟手机页面,过滤广告,滚动至页面底端等功能堪称神器,一个勾选就能搞定。写代码很麻烦的,实现这些功能费劲。

财富学堂能取代python爬虫吗?

财富学堂毕竟只是工具,自由度肯定完败编程。胜在方便,快速,低成本。原创自媒体

财富学堂能取代python爬虫吗?

财富学堂判断语录较弱,无法进行复杂判断,也无法执行复杂逻辑。还有就是财富学堂只有企业版才能解决验证码问题,一般版本无法接入打码平台。

还有一点就是没有ocr功能,58同城和赶集网采集的电话号码都是图片格式,python可以用开源图像识别库解决,对接进去识别便可。

这里更新一下:

之前写的感觉有片面性,毕竟是那个时代我的心境下写出来的。一段时间之后,思考了一下,数据采集的需求才是决定最终使用什么工具的。如果我是大量数据采集需求的话,爬虫一定是不可避免的,因为代码的自由度更高。财富学堂的目标我觉得也不是取代python,而是实现人人都能上手的采集器这个目标。

另一点就是python学习容易,部署简单,开源免费。即使只学了scrapy也能解决一些问题了,不过麻烦的就是本来一些工具里很简单选择就能搞定的功能,必须靠自己写或者拷贝别人的代码才能实现,如果不是专职写爬虫的话,很快就想从入门到放弃了……

综合写了一下对比和坑,放在知乎专栏里了,原创自媒体有兴趣的可以去看看:

浅谈一下最近使用财富学堂遇到的坑(还有对比其他文章采集工具和爬虫) - 知乎专栏

财富学堂
  • 本文由 发表于 2020年11月20日15:49:05
  • 转载请务必保留本文链接:http://www.133229.com/451.html
海归玩转自媒体平台 讲出“海味儿”故事 自媒体

海归玩转自媒体平台 讲出“海味儿”故事

海归玩转自媒体平台 讲出“海味儿”故事, 玩转自媒体——短视频,讲出海味儿故事 刷刷短视频、看看自己关注博主的今日分享,在移动互联时代,这早已成为不少人的生活常态。 而今,不少海归也瞄准了拥有可观流量...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: