🥱Home
  • /Posts🗯
  • /ARCHIVES🕑
  • /TAGS🚦
  • /SEARCH🔍
  • /ABOUT🌞
主页 » Tags

Crawler

一个基于selenium的半自动淘宝爬虫脚本

TaoBao Crawler 测试环境 Mac OS python=3.12 浏览器=Edge 运行方法 下载自己浏览器对应的selenium webdriver内核,替换run.py中的EDGE_DRIVER_PATH参数 (不懂问大模型) 执行run.py,第一次执行需要手动登陆,登陆后在终端输入save保存cookie,这样以后使用程序就能自动登录了 登陆完成后 在浏览器手动搜索商品(请确保商品不止一页数据) 搜索完成后在终端输入start和爬取的页数, 程序会自动完成翻页 保存渲染的html文件 爬取html文件后,执行save2csv.py文件对数据进行提取 (可以自己更新save2csv.py提取想要的字段) [!NOTE] ...

2025-09-26 · yyz