LLM 推理

• OpenLLM: An open platform for operating large language models (LLMs) in production.

• Triton

• Text Generation Inference：https://github.com/huggingface/text-generation-inference

• vLLM：https://github.com/vllm-project/vllm

• FastTransformer：https://github.com/NVIDIA/FasterTransformer

• vLLM：https://github.com/vllm-project/vllm

• LLM Accelerator：https://github.com/microsoft/LMOps

• ZhiLight（知乎&面壁智能）：https://github.com/zhihu/ZhiLight

• LMDeploy,TurboMind

• BigDL：https://github.com/intel-analytics/BigDL

• OpenVINO：https://github.com/openvinotoolkit/openvino

• AWQ、AutoAWQ

llama.cpp、vllm、lightLLM、fastLLM