59 顾真牛/ai00_rwkv_server

AI00 RWKV Server是一个基于RWKV模型的推理API服务器。 支持VULKAN推理加速，可以在所有支持VULKAN的GPU上运行。不用N卡！！！A卡甚至集成显卡都可加速！！！ 无需臃肿的pytorch、CUDA等运行环境，小巧身材，开箱即用！ 兼容OpenAI的ChatGPT API接口。 100% 开源可商用，采用MIT协议。