update articles
从什么值得买的好价排行榜中收集优惠信息,并推送至邮箱或微信推送内容包含商品图片、标题、价格、点值的数量、评论数量等信息, 点击商品标题的超链接即可跳转至什么值得买查看正文项目运行过程中会在根目录下自动创建database.db数据库文件,数据库中会记录已推送的优惠信息,避免重复推送
database.db
技术框架: Java11 + Maven + SqlLite + Hibernate支持GitHub Actions定时运行,无需搭建服务器有改进的建议可以提issue给我. 麻烦给个star支持一下
EMAILACCOUNT
EMAILPASSWORD
SPT
./.github/workflows/zdm_crawler.yml
# 取消这个节点的注释,并调整到你想要的频率 schedule: - cron: "0/15 * * * *"
# 调整为你需要的邮箱域名和端口号, 该节点下的其余配置项按自身需求来改 - name: main logic env: emailHost: emailPort:
成功运行的截图:
./.github/workflows/zdm_crawler.yml添加了缓存机制, 当database.db数据库中新增行数超过COMMIT_THRESHOLD提交阈值后, 就会对该文件自动生成提交记录如果你过滤条件很宽松, 推送数据频繁, COMMIT_THRESHOLD就可以适当调大一点, 反之就小一点 通过调整COMMIT_THRESHOLD可以降低提交的频率, 避免仓库过于臃肿,
COMMIT_THRESHOLD
- name: check database changes id: commit_check env: COMMIT_THRESHOLD:
另外在手动触发工作流时, 提供了’立即生成提交记录’的入口
将GitHub Actions章节中的环境变量配置到本地即可
在./.github/workflows/zdm_crawler.yml文件中可以配置minVoted和minComments, 小于该数量的优惠信息将不进行推送
minVoted
minComments
white_words.txt文件中可以自定义白名单关键词;black_words.txt文件中可以自定义黑名单关键词;. 多个关键词之间需要换行
white_words.txt
black_words.txt
maxPageSize
cookie
版权所有:中国计算机学会技术支持:开源发展技术委员会 京ICP备13000930号-9 京公网安备 11010802047560号
项目简介
从什么值得买的好价排行榜中收集优惠信息,并推送至邮箱或微信
推送内容包含商品图片、标题、价格、点值的数量、评论数量等信息, 点击商品标题的超链接即可跳转至什么值得买查看正文
项目运行过程中会在根目录下自动创建
database.db数据库文件,数据库中会记录已推送的优惠信息,避免重复推送技术框架: Java11 + Maven + SqlLite + Hibernate
支持GitHub Actions定时运行,无需搭建服务器
有改进的建议可以提issue给我. 麻烦给个star支持一下
GitHub Actions运行
EMAILACCOUNT和EMAILPASSWORD.选择微信推送需要填写SPT./.github/workflows/zdm_crawler.yml文件中的内容成功运行的截图:

database.db文件的缓存机制
./.github/workflows/zdm_crawler.yml添加了缓存机制, 当database.db数据库中新增行数超过COMMIT_THRESHOLD提交阈值后, 就会对该文件自动生成提交记录如果你过滤条件很宽松, 推送数据频繁,
COMMIT_THRESHOLD就可以适当调大一点, 反之就小一点 通过调整COMMIT_THRESHOLD可以降低提交的频率, 避免仓库过于臃肿,另外在手动触发工作流时, 提供了’立即生成提交记录’的入口

本地运行方式
将GitHub Actions章节中的环境变量配置到本地即可
自定义过滤逻辑
值/评论的数量过滤
在
./.github/workflows/zdm_crawler.yml文件中可以配置minVoted和minComments, 小于该数量的优惠信息将不进行推送标题黑白名单过滤
white_words.txt文件中可以自定义白名单关键词;black_words.txt文件中可以自定义黑名单关键词;. 多个关键词之间需要换行CHANGELOG
COMMIT_THRESHOLD,避免频繁生成提交记录maxPageSize最大翻页数量 4.删除环境变量cookie,最近检测变严格了,固定的cookie是走不通的