IntegratedRecSys: 一个基础工业界的电影推荐系统，后端技术SpringBoot，前端Vue。数据集为MovieLens latest。已实现基于深度学习NeuralCF、DeepCrossing、Wide&Deep的个性化推荐和模型在线A/B测试。基于预存Embedding（Item2vec|DeepWalk）实现相似电影功能。

本项目是一个为推荐算法和其他相关AI方向提供一个准工业界的web实战环节的非商业项目，可以结合众多AI能力，进行算法能力和效率的测试验证，主题为电影。  
本项目的初衷来自王喆大神的《深度学习推荐系统》，其推荐序中一段如下。
>技术发展将从依赖深度学习算法单点突破收割技术红利，开始转向更为复杂的、系统性的技术体系推进，进一步创造技术红利。这里，关键性的技术破局点是算法与系统架构的协同设计（also-system co-design）

该项目技术架构如下：
后端：Springboot单模块+Mybatis  
前端：Vue+Elementui  
数据爬虫：request  针对IMDB和MovieLens进行数据爬取
数据分析：Spark-scala  
深度学习模型：Tensorflow  
模型部署：Docker+Tensorflow Serving  
数据存储：Mysql+Redis

![输入图片说明](https://gitee.com/time_and_space_ferry/image/raw/master/computer_science/recommdation/git-3.png)
![输入图片说明](https://gitee.com/time_and_space_ferry/image/raw/master/computer_science/recommdation/git-6.png)

已实现的核心功能如下：
1. 电影个性化推荐+三种推荐模型在线A/B测试：NeuralCF、DeepCrossing、Wide&Deep
2. 相似电影推荐：预存Item2vec|DeepWalk + 向量内积计算相似度
3. 数据库已保存MovieLens的ml-latest-small数据集，包含600名用户对9700余部电影的评分数据
本项目已完成用户端的推荐系统流程搭建，具备以下功能：
1. 新用户推荐算法冷启动【规则化推荐】
2. 新用户评价电影->更新用户|电影统计表->个性化推荐

有待完善的技术方向如下：

【***】移动端适配，rem或者@media方面

【***】 对于用户对电影的评分，大多数网站并没有相关的门槛限制，导致日积月累下来电影的评分数据有非常大的误差，也会导致恶意数据的上传，
新功能的设想如下：根据电影简介或者加入爬虫爬取电影详细信息，结合知识图谱技术，生成相关电影的问答，以选择题的形式，检验用户是否看过电影，正确率达到一定程度即为通过，允许用户评分。
并且随后为用户更新观影等级，

【***】加入OCR技术，用户可以上传电影票据，自动生成个人观影记录，观影记录为优质美观图文形式，可以融入AIGC技术。

1. 物品端的推荐完整流程搭建，通过管理员手动添加或者爬虫定期爬取新增电影
2. 对新电影的冷启动策略
3. 当前Item2vec和DeepWalk只能对部分电影进行Embedding计算，深入研究并实现Embedding策略
4. 大数据架构探索，结合Spark和hadoop，将数据分析环节集成如系统，实现端到端运维上线
5. 探索并部署更多推荐算法，包括但不限于GNN、注意力机制、强化学习；基于电影内容的推荐算法
6. 用户个人界面，头像管理，密码找回，可以观看其他用户的观影记录，等其他功能
7. 补充模型A/B测试的评估指标的后台管理展示
8. 对于用户给电影评分，用户或电影统计表的统计类特征更新问题，例如电影平均分、评分标准差、电影平均发布年限等，对于反馈数据较多的用户或电影，单次反馈操作导致更新的幅度很小可能导致数据不会变化。

有兴趣加入的小伙伴可以私信联系我啊

项目的前端部分：https://gitee.com/time_and_space_ferry/integrated-rec-sys-vue  
项目的推荐算法与数据爬虫部分：https://gitee.com/time_and_space_ferry/rec-system-algorithm/  
数据集：链接：https://pan.baidu.com/s/1K57xmAZB6eaLL-bKLD8dOg?pwd=maw0 提取码：maw0

数据库sql：链接：https://pan.baidu.com/s/1PVkslPM2ywMi5N7q_LTvtA?pwd=zisa  提取码：zisa

此方一泉/IntegratedRecSys

简介

发行版

贡献者

近期动态

此方一泉/IntegratedRecSys .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

此方一泉/IntegratedRecSys