模型在GPU内存的映射关系
这里我们以 nvidia/Llama-3.1-Nemotron-70B-Instruct-HF 为例来说明问题 […]
多GPU情况下,如何处理GPU内存不够
多GPU情况下，模型加载成功了，但是做推理的时候，还会使用GPU，导致GPU 不够，如何处理，卸载部分到CPU
多GPU情况下,如何处理GPU内存不够 Read More »
使用 Llama 3.2 在本地运行，使用 RAG 构建一个 LLM 应用程序
功能齐全的 LLM 应用程序，100% 免费且无需互联网（分步说明） Meta 的新开源模型 Llama 3.
使用 Llama 3.2 在本地运行，使用 RAG 构建一个 LLM 应用程序 Read More »
Llama 3.2 3B Instruct 的未经审查版本
这是 Llama 3.2 3B Instruct 的未经审查版本，使用删减创建（请参阅本文以了解更多信息）。
Llama 3.2 3B Instruct 的未经审查版本 Read More »
Llama 3.1 8B Instruct 的未经审查版本
这是 Llama 3.1 8B Instruct 的未经审查版本，使用删减创建（请参阅本文以了解更多信息）。
Llama 3.1 8B Instruct 的未经审查版本 Read More »
Qwen2.5-7B-Instruct 的未经审查版本
这是 Qwen/Qwen2.5-7B-Instruct 的未经审查版本，使用删减创建（请参
Qwen2.5-7B-Instruct 的未经审查版本 Read More »