登录
幻风/scraper
关注点赞复刻(Fork)
  • 主页
  • 代码库
  • 疑修(Issue)
  • 合并请求(PR)
  • 引擎(Engine)
  • 里程碑
  • 维基(Wiki)
  • 动态
目录
master
分支1
标签0
+ 疑修
Web IDE
幻风

feat: 配置Python环境与依赖,优化数据解析及修复选择器

  • 指定项目使用Python 3.10运行环境。
  • 新增Scrapy、Playwright等依赖并配置华为云PyPI镜像源。
  • 启用Playwright中间件并禁用默认文件和图片存储配置。
  • 增强数据提取功能,支持通过CSS、XPath和正则表达式前缀动态选择解析方法并添加格式校验。
  • 修复数据解析配置中的CSS选择器语法以正确提取链接和标题。

Signed-off-by: xdicac xdicac226@163.com

1个月前3次提交
  • scraperfeat: 配置Python环境与依赖,优化数据解析及修复选择器1个月前
  • .python-versionfeat: 配置Python环境与依赖,优化数据解析及修复选择器1个月前
  • README.mdInitial commit1年前
  • main.py第一次提交1年前
  • pyproject.tomlfeat: 配置Python环境与依赖,优化数据解析及修复选择器1个月前
  • requirements.txt第一次提交1年前
  • scrapy.cfg第一次提交1年前
  • spidercfg.tomlfeat: 配置Python环境与依赖,优化数据解析及修复选择器1个月前
  • uv.lockfeat: 配置Python环境与依赖,优化数据解析及修复选择器1个月前
目录README.md

scraper

关于

通过toml动态配置爬虫

README.md
81.0 KB
邀请码