SteamSalesWalker: A Steam game market sales information walker.一个Steam的促销商品信息的爬虫工具该项目采用了JSoup和HtmlUnit作为网页的爬虫工具。本来打算在安卓端写的，但是HtmlUnit不支持安卓端。单纯使用JSOUP,遇到js加载的网页会有局限。所以才写了这个工具。爬虫的地址是steam db.自己写了一套注解的数据库框架，数据库采用mysql.目前的bug就是，如果网站出现夏季，春季大促销，导致商品数量激增的话(可能有上万条)，会报内存溢出。本人能力有限，尚不知如何解决。

forked from Mr.sen/SteamSalesWalker

加入 Gitee

与超过 1200万开发者一起发现、参与优秀开源项目，私有仓库也完全免费：）

免费加入

该仓库未声明开源许可证文件（LICENSE），使用请关注具体项目描述及其代码上游依赖。

克隆/下载

分支 1

标签 0

Create README.md fe02bca

2 次提交

SteamGameWalker

README.md

README

# SteamSalesWalker
A Steam game market sales information walker.一个Steam的促销商品信息的爬虫工具
该项目采用了JSoup和HtmlUnit作为网页的爬虫工具。本来打算在安卓端写的，但是HtmlUnit不支持安卓端。单纯使用JSOUP,遇到js加载的网页会有局限。所以才写了这个工具。
爬虫的地址是steam db.自己写了一套注解的数据库框架，数据库采用mysql.目前的bug就是，如果网站出现夏季，春季大促销，导致商品数量激增的话(可能有上万条)，会报内存溢出。
本人能力有限，尚不知如何解决。

A Steam game market sales information walker.一个Steam的促销商品信息的爬虫工具该项目采用了JSoup和HtmlUnit作为网页的爬虫工具。本来打算在安卓端写的，但是HtmlUnit不支持安卓端。单纯使用JSOUP,遇到js加载的网页会有局限。所以才写了这个工具。爬虫的地址是steam db.自己写了一套注解的数据库框架，数据库采用mysql.目前的bug就是，如果网站出现夏季，春季大促销，导致商品数量激增的话(可能有上万条)，会报内存溢出。本人能力有限，尚不知如何解决。

Java

取消

暂无发行版

马建仓 AI 助手

尝试更多

代码解读

代码找茬

代码优化

Java

https://gitee.com/tsald/SteamSalesWalker.git

git@gitee.com:tsald/SteamSalesWalker.git

tsald

SteamSalesWalker

master

厘米分享/SteamSalesWalker

简介

发行版

贡献者

近期动态

厘米分享/SteamSalesWalker .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

厘米分享/SteamSalesWalker