• 1
• 0
• 0

DeepSpeed

DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.

• 1
• 1
• 0

candle-vllm

Efficent platform for inference and serving local LLMs including an OpenAI compatible API server.

• 1
• 5
• 0

vllm-gcu

基于原生 vLLM 框架适配 Enflame GCU（S60）推出的大模型推理系统

• 1
• 0
• 0

candle-vllm-gcu

面向燧原GCU平台的大语言模型推理与聊天服务框架，其基于 Candle-GCU 和 开源项目Candle-vLLM 实现，兼容OpenAI API接口。

• 1
• 0
• 0

candle

Minimalist ML framework for Rust

• 1
• 0
• 0

ccache

ccache – a fast compiler cache

• 1
• 0
• 0

paddlepaddle_model_zoo

PaddlePaddle Model Zoo

• 1
• 0
• 0

ModelZoo

由燧原开发和维护的模型合集，提供人工智能各个应用领域(包括并不限于CV/NLP/推荐等)中经典和SOTA模型的训练和推理应用示例。

• 1
• 0
• 0

tops_inference_sample