搞了个爬虫框架

锦安 · 发表于 2021-4-28 17:46:43

joF3hzd97uHgKu 发表于 2021-4-28 15:52
你的意思是最好是 Web 版本的（可以通过浏览器直接管理）？

支持的脚本多一点？没明白这个啥意思，是兼 ...

你的意思是最好是 Web 版本的（可以通过浏览器直接管理）？
re: 我的意思是不需要界面, 纯框架就可以了

支持的脚本多一点？没明白这个啥意思，是兼 ...
re:我的意思是支持的脚本语言多一点, 包括不限于 js, py, 等等

gssasd · 发表于 2021-4-28 18:05:40

最好能用node.js 安装到宝塔的后台。

祭徐坤 · 发表于 2021-4-28 18:10:43

内部是哪里内部？

jilyzx · 发表于 2021-4-28 18:15:21

matk

joF3hzd97uHgKu · 发表于 2021-4-28 18:53:34

锦安发表于 2021-4-28 17:46
你的意思是最好是 Web 版本的（可以通过浏览器直接管理）？
re: 我的意思是不需要界面, 纯框架就可以了

re: 我的意思是不需要界面, 纯框架就可以了

这个目前可能不太好抽出来，因为很多事情需要界面去操作。

目前可以支持从命令行启动（去完成指定的任务），后期可能也会支持通过 HTTP API 控制。

re:我的意思是支持的脚本语言多一点, 包括不限于 js, py, 等等

js 肯定支持，但是 JS 以外的语言，整合进数据抓取比较难
（因为浏览器不支持运行别的语言，在考虑支持 WASM 这样就可以任何能编译到 WASM 的语言），
整合进其他逻辑应该没啥问题（目前还没有打算支持）。

joF3hzd97uHgKu · 发表于 2021-4-28 18:54:39

gssasd 发表于 2021-4-28 18:05
最好能用node.js 安装到宝塔的后台。

这个目前不太可能，但是后面我准备搞个 Web 管理的版本，应该可以支持一键安装。

joF3hzd97uHgKu · 发表于 2021-4-28 18:55:54

祭徐坤发表于 2021-4-28 18:10
内部是哪里内部？

我们公司内部啊

gssasd · 发表于 2021-4-28 19:49:39

joF3hzd97uHgKu 发表于 2021-4-28 18:55
我们公司内部啊

我手头有个别人17年开发的一个采集，现在还在一直用没啥问题。

dbug · 发表于 2021-4-28 22:45:16

joF3hzd97uHgKu 发表于 2021-4-28 16:20
现在就有监控和通知，就是通知是通知到本机的，还不能通知到别的地方。

你是需要通知到微信之类的吗？ ...

可以加入这个https://205205.xyz/thread-808429-1-1.html
mjj版本自定义的企业微信推送

joF3hzd97uHgKu · 发表于 2021-4-28 22:49:30

dbug 发表于 2021-4-28 22:45
可以加入这个https://205205.xyz/thread-808429-1-1.html
mjj版本自定义的企业微信推送 ...

接入企业微信应该挺容易的，后面可以加上。

		自动登录	找回密码
密码			注册