# DeepSparkInference
**Repository Path**: haoyanlong/deepsparkinference
## Basic Information
- **Project Name**: DeepSparkInference
- **Description**: DeepSparkInference推理模型示例库一期甄选了48个推理模型示例，涵盖计算机视觉，自然语言处理，语音识别等领域，后续将逐步拓展更多AI领域。
- **Primary Language**: Python
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No
## Statistics
- **Stars**: 0
- **Forks**: 31
- **Created**: 2024-07-31
- **Last Updated**: 2024-08-07
## Categories & Tags
**Categories**: Uncategorized
**Tags**: None
## README
# DeepSparkInference
DeepSparkInference推理模型库作为DeepSpark开源社区的核心项目，于2024年3月正式开源，一期甄选了48个推理模型示例，涵盖计算机视觉，自然语言处理，语音识别等领域，后续将逐步拓展更多AI领域。
DeepSparkInference中的模型提供了在国产推理引擎IGIE或IxRT下运行的推理示例和指导文档，部分模型提供了基于国产通用GPU[智铠100](https://www.iluvatar.com/productDetails?fullCode=cpjs-yj-tlxltt-zk100)的评测结果。
IGIE（Iluvatar GPU Inference Engine）是基于TVM框架研发的高性能、高通用、全流程的AI推理引擎。支持多框架模型导入、量化、图优化、多算子库支持、多后端支持、算子自动调优等特性，为推理场景提供易部署、高吞吐量、低延迟的完整方案。
IxRT（Iluvatar CoreX RunTime）是天数智芯自研的高性能推理引擎，专注于最大限度发挥天数智芯通用GPU 的性能，实现各领域模型的高性能推理。IxRT支持动态形状推理、插件和INT8/FP16推理等特性。
DeepSparkInference将按季度进行版本更新，后续会逐步丰富模型类别并拓展大模型推理。
## Computer Vision
### Classification
### Detection
### Pose Estimation
| Models |
Precision |
IGIE |
IxRT |
| RTMPose |
FP16 |
Supported |
- |
| INT8 |
- |
- |
### Segmentation
| Models |
Precision |
IGIE |
IxRT |
| Mask R-CNN |
FP16 |
- |
Supported |
| INT8 |
- |
- |
| SOLOv1 |
FP16 |
- |
Supported |
| INT8 |
- |
- |
### Trace
## NLP
### Language Model
### Large Language Model
## Speech
### Speech Recognition
| Models |
Precision |
IGIE |
IxRT |
| Conformer |
FP16 |
Supported |
- |
| INT8 |
- |
- |
---
## 社区
### 治理
请参见 DeepSpark Code of Conduct on [Gitee](https://gitee.com/deep-spark/deepspark/blob/master/CODE_OF_CONDUCT.md) or on [GitHub](https://github.com/Deep-Spark/deepspark/blob/main/CODE_OF_CONDUCT.md)。
### 交流
请联系 contact@deepspark.org.cn。
### 贡献
请参见 [DeepSparkInference Contributing Guidelines](CONTRIBUTING.md)。
## 许可证
本项目许可证遵循[Apache-2.0](LICENSE)。