Fastllm
✓ 官方认证官方地址:https://github.com/ztxz16/fastllm
# 编程辅助 # 对话工具
📌 工具功能详细介绍
fastllm是后端无依赖的高性能大模型推理库。同时支持张量并行推理稠密模型和混合模式推理MOE模型，任意10G以上显卡即可推理满血DeepSeek。双路9004/9005服务器+单显卡部署DeepSeek满血满精度原版模型，单并发20tps；INT4量化模型单并发30tps，多并发可达60+。
🚀 适用场景
编程辅助
💡 计费模式
开源免费
🌐 支持平台
CLI 命令行 / 终端API / SDK 接入本地私有化部署Web 网页端
开发者特惠 阿里云官方合作专区
需要更多算力与专属大模型 API 吗？
极速稳定、开箱即用的优质云算力服务与大模型中转平台，注册享新手大礼包。