Provide high-performance model inference, mainly supporting the CodeFuse model from Ant Group.
A DevOps Domain Knowledge Evaluation Benchmark for Large Language Models
本项目是一个开源的 AI 智能助手,专为软件开发的全生命周期而设计,涵盖设计、编码、测试、部署和运维等阶段。
CodeFuseEval is a Code Generation benchmark that combines the multi-tasking scenarios of CodeFuse Model with the benchmarks of HumanEval-x and MBPP.
Hello World! This is CodeFuse!
CodeFuse的使命是开发专门设计用于支持整个软件开发生命周期的大型代码语言模型(Code LLMs),涵盖设计、需求、编码、测试、部署、运维等关键阶段。我们致力于打造创新的解决方案,让软件开发者们在研发的过程中如丝般顺滑。
在本次发布中,我们开源了以下内容:
由此产生的模型集合包括CodeFuse-13B(魔搭仓库)和CodeFuse-CodeLlama-34B(魔搭仓库),支持多种与代码相关的任务,如代码补全、文本转代码、单元测试生成等。值得一提的是,CodeFuse-CodeLlama-34B基于CodeLlama作为基础模型,并利用我们提出的MFT框架进行微调,在HumanEval Python pass@1评估中取得高达的74.4%(贪婪解码)的好成绩,甚至超过了GPT-4(67%)的表现。我们计划在不久的将来将更多的基础LLMs纳入到我们的模型集合中。
我们相信我们的解决方案可以显著提升预训练LLMs在多个相关任务上的性能。我们将进一步探索这个方向,并提供更多的开源贡献。与此同时,我们诚邀志同道合的工程师和研究人员加入这个社区,共同构建CodeFuse。