# CANNKit-SampleCode-LM-Engine-cpp

**Repository Path**: harmonyos_samples/cannkit_samplecode_lm_engine_cpp

## Basic Information

- **Project Name**: CANNKit-SampleCode-LM-Engine-cpp
- **Description**: 基于CANN Kit大模型推理解决方案，CANN LM Engine调用CANN的模型加速能力，通过CANN 软硬协同实现最佳的大模型性能、能效、内存、系统占用。
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-11-26
- **Last Updated**: 2025-12-11

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# CANN_LM_Engine

# 介绍
 **CANN LM Engine** 是基于CANN Kit大模型推理解决方案，CANN LM Engine调用CANN的模型加速能力，通过CANN 软硬协同实现最佳的大模型性能、能效、内存、系统占用。

# CANN LM Engine 组件

* CANN LM Engine：CANN LM Engine为大模型业务提供计算链路的加速封装，提供[计算加速服务和API接口](CANN_LLM/CANN_LLM_Engine_Interface/CANN%20LLM%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88%E6%8E%A5%E5%8F%A3%E6%96%87%E6%A1%A3.md)。
* CANN 工具链：提供模型转换、量化、Ascend C等[工具链](https://developer.huawei.com/consumer/cn/doc/harmonyos-guides/hiaifoundation-preparations)。
* CANN LM Engine DEMO：提供端到端调用[DEMO参考范例](CANN_LLM/CANN_LLM_Engine_Demo/README.md)。
* CANN 硬件：基于NPU/GPU/CPU 加速。

![输入图片说明](CANN_LLM/CANN_LLM_Engine_Guide/images/img2.png)


# 使用说明
 **CANN LM Engine**  提供了端到端的业务集成[指导手册](CANN_LLM/CANN_LLM_Engine_Guide/CANN%20LLM%20%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88.md)，基于该手册，可以快速将业务部署到CANN硬件，获取最佳的业务性能，功耗收益。

 ## 快速入门

CANN LLM大语言模型解决方案基于CANN硬件加速能力，提供高性能，低功耗的运行LLM模型，助力用户基于CANN硬件环境，获得更好的用户体验  
用户通过如下的pipeline完成LLM模型在CANN硬件环境上的集成：

<img src="./CANN_LLM/CANN_LLM_Engine_Guide/images/img1.png" width="900" height="300">


*  **Step1** ：LLM模型量化；输入是用户原始模型，输出是量化后权重和量化系数文件。
*  **Step2** ：将模型结构导出到ONNX格式，输入是原始模型结构和step1的量化权重，输出是ONNX模型及模型结构NPU亲和适配。
*  **Step3** : 将ONNX模型转换为CANN模型结构格式；输入是step2的ONNX模型和step1的量化系数文件，输出是CANN格式定义模型。
*  **Step4** : 基于CANN LLMEngine集成LLM模型。

# 联系我们
当前demo处在实验室版本中，如果你感兴趣，可以联系我们hiaifoundation@huawei.com。