机器翻译正文由机器翻译自项目原始文档（英文），排版经程序统一处理，可能存在偏差，请以原项目仓库为准。
关于
MLC LLM 是一个用于大型语言模型的机器学习编译器和高性能部署引擎。这个项目的使命是让每个人都能够在各自的平台上本地开发、优化和部署人工智能模型。
| AMD GPU | NVIDIA GPU | Apple GPU | Intel GPU | |
|---|---|---|---|---|
| Linux / Win | ✅ Vulkan, ROCm | ✅ Vulkan, CUDA | N/A | ✅ Vulkan |
| macOS | ✅ Metal (dGPU) | N/A | ✅ Metal | ✅ Metal (iGPU) |
| Web Browser | ✅ WebGPU 和 WASM | |||
| iOS / iPadOS | ✅ Metal 在苹果 A 系列 GPU 上 | |||
| Android | ✅ Adreno GPU 上的 OpenCL | ✅ Mali GPU 上的 OpenCL | ||
MLC LLM 在 MLCEngine 上编译和运行代码——MLCEngine 是一个跨上述平台的统一高性能 LLM 推理引擎。MLCEngine 提供通过 REST 服务器、Python、JavaScript、iOS、Android 可访问的 OpenAI 兼容 API，所有这些都由同一个引擎和编译器支持，我们与社区一起持续改进它。
开始使用
请访问我们的 文档 以开始使用 MLC LLM。
引用
如果您觉得我们的项目有用，请考虑引用它：
@software{mlc-llm,
author = {{MLC team}},
title = {{MLC-LLM}},
url = {https://github.com/mlc-ai/mlc-llm},
year = {2023-2025}
}MLC LLM 的基础技术包括：
参考文献（点击展开）
@inproceedings{tensorir,
author = {Feng, Siyuan and Hou, Bohan and Jin, Hongyi and Lin, Wuwei and Shao, Junru and Lai, Ruihang and Ye, Zihao and Zheng, Lianmin and Yu, Cody Hao and Yu, Yong and Chen, Tianqi},
title = {TensorIR: An Abstraction for Automatic Tensorized Program Optimization},
year = {2023},
isbn = {9781450399166},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
url = {https://doi.org/10.1145/3575693.3576933},
doi = {10.1145/3575693.3576933},
booktitle = {Proceedings of the 28th ACM International Conference on Architectural Support for Programming Languages and Operating Systems, Volume 2},
pages = {804–817},
numpages = {14},
keywords = {Tensor Computation, Machine Learning Compiler, Deep Neural Network},
location = {Vancouver, BC, Canada},
series = {ASPLOS 2023}
}
@inproceedings{metaschedule,
author = {Shao, Junru and Zhou, Xiyou and Feng, Siyuan and Hou, Bohan and Lai, Ruihang and Jin, Hongyi and Lin, Wuwei and Masuda, Masahiro and Yu, Cody Hao and Chen, Tianqi},
booktitle = {Advances in Neural Information Processing Systems},
editor = {S. Koyejo and S. Mohamed and A. Agarwal and D. Belgrave and K. Cho and A. Oh},
pages = {35783--35796},
publisher = {Curran Associates, Inc.},
title = {Tensor Program Optimization with Probabilistic Programs},
url = {https://proceedings.neurips.cc/paper_files/paper/2022/file/e894eafae43e68b4c8dfdacf742bcbf3-Paper-Conference.pdf},
volume = {35},
year = {2022}
}
@inproceedings{tvm,
author = {Tianqi Chen and Thierry Moreau and Ziheng Jiang and Lianmin Zheng and Eddie Yan and Haichen Shen and Meghan Cowan and Leyuan Wang and Yuwei Hu and Luis Ceze and Carlos Guestrin and Arvind Krishnamurthy},
title = {{TVM}: An Automated {End-to-End} Optimizing Compiler for Deep Learning},
booktitle = {13th USENIX Symposium on Operating Systems Design and Implementation (OSDI 18)},
year = {2018},
isbn = {978-1-939133-08-3},
address = {Carlsbad, CA},
pages = {578--594},
url = {https://www.usenix.org/conference/osdi18/presentation/chen},
publisher = {USENIX Association},
month = oct,
}本站来源与版权声明
- 本文标题：mlc-llm - 具有机器学习编译的通用大语言模型部署引擎
- 本文链接：https://cn121.com/llm/mlc-ai-mlc-llm.html
- 原项目：mlc-ai/mlc-llm 版权归原作者 mlc-ai 及贡献者所有
- 收录信息：本站于 2026-09-23 收录本项目，本页所列协议与仓库指标均为收录当时的状态；该日期之后原项目的版本更新与协议变更，本页不作同步。
- 开源协议：收录时本项目采用 Apache-2.0（查看 LICENSE 原文），本站译文为其衍生内容；使用、修改、分发请以该仓库 LICENSE 原文为准。本站对原文仅作排版与图片地址适配, 并保留原项目的 NOTICE 与署名要求。
- 站点出处：本文首发于 OneTwoOne，收录自 GitHub 开源项目 mlc-ai/mlc-llm。
- 翻译说明：本页正文为人工智能生成内容——由机器翻译对原项目 README 初译、经程序校验排版，可能存在错漏，请以原项目文档为准。
- 引用声明：商业转载、第三方聚合或 AI 检索训练引用时，请务必保留以上来源出处、本文永久链接，以及原项目的版权声明与许可信息。
- 下架通道：若原项目此后变更或收紧了许可协议、或作者／权利人认为本站的收录方式（译文、排版适配、简介翻译等）超出其授权范围，请通过 xyd3302001@163.com 发送下架通知，并附上项目地址与本页链接。本站核实后将第一时间删除本页内容，或改为不复制原文的目录性收录；署名更正等其他要求可一并提出。