-
Notifications
You must be signed in to change notification settings - Fork 3.8k
Description
背景
再也不想熬夜写爬虫代码、F12里找xpath了!!!
所以,我把AI技术用在爬虫上,做了一个工具。
产品名称
猫头鹰AI - 智能网页订阅 :https://mtywatch.com
功能介绍
AI+爬虫技术,实现一句话就能自动监控页面内容,实时订阅你关心的内容
使用方法
1、输入你要监控的网页地址
2、一句话描述你想监控什么数据,比如:“有机器人相关的新闻通知我”、“有图书馆招聘公共告诉我”、“xxx商品上架了通知我”
3、AI自动分析(1-2分钟),实时监控,支持邮件、微信、短信、webhook等通知方式
价格
1、注册送100积分+5个网站监控额度
2、签到、邀请等积分赠送活动每天都有
tips
1、公司主体在国内,墙外的网站我们的云服务默认不会抓取,可提交报告。我们人工审核后可添加白名单出墙
2、也可以使用我们的浏览器插件版本,在自己本地挂梯子后使用
个人的碎碎念
十多年前,我刚刚成为程序员,对爬虫技术就很感兴趣,一直觉得爬虫是大有前途的方向。
但是我感兴趣的不是大量抓取数据、不是毫秒响应抢茅台~ 而是很多做小生意的人、学生、创业者,他们需要关注一些网站:同行、供应商、政府部门、电商平台、学术论坛等等,我见过他们花几百几千找人写爬虫,用几天就不能用了;也见过他们花时间学爬虫工具,学了几天放弃了。
要满足他们的需求不难,熟练的爬虫工程师可能只要花 1 个小时就能写好代码。
难得是这些需求人群过于零散、网页类型千奇百怪。
我尝试过很多方法,也尝试过做一个更友好的图形化爬虫配置工具。
始终感觉是技术人员的自嗨行为,这样的工具,做的再友好,仍然不是普通人学的会的。
23 年大模型刚出现的时候,重新唤起了我做这件事情的心思,但还是实验失败了;
24 年不死心又实验了一次,能力勉强能落地,但是 tokens 的成本不足以形成商业产品;
直到25年年初,大模型在编程领域的神奇能力,解决我最后一块拼图。
心心念了十多年的产品,终于把她做出来了。
