使用 xinference 部署大模型。 支持函数调用

UCloud(优刻得)是中国知名的中立云计算服务商，科创板上市(股票代码：688158)，中国云计算第一股，专注于提供可靠的企业级云服务，包括云服务器、云主机、云数据库、混合云、CDN、人工智能等服务。 compshare算力共享平台： 专注于提供高性价比算力资源，海量GPU，一键部署，即算即用，让AI训练、深度学习、科研计算效率翻倍。

使用 ollama + chatgpt web 项目，做本地大模型执行。使用qwen大模型，速度飞快。

candle-run-llm

使用fastchat 运行 llm 大模型的。