!14 fixes #ICW669

Merge pull request !14 from code-forces测试/dev
This commit is contained in:
Kevin Zhang 2025-09-03 08:47:23 +00:00 committed by Gitee
commit 25964a0d48
No known key found for this signature in database
GPG Key ID: 173E9B9CA92EEF8F
11 changed files with 155 additions and 51 deletions

201
README.md
View File

@ -1,44 +1,107 @@
# 评测数据集生成挑战赛GPUCodeForces
欢迎参加 **评测数据集生成挑战赛** 📊!
本比赛旨在构建一个标准化、可用于 GPU 性能测试的评测数据集,帮助开发者更高效地比较不同硬件和框架的性能表现。
欢迎参加 **评测数据集生成挑战赛** 📊!   本比赛旨在构建一个标准化、可用于 GPU 性能测试的评测数据集帮助开发者更高效地比较不同硬件和框架的性能表现。
---
## 🧠 比赛背景简介
## 🧠 比赛背景简介
在 AI 模型开发和部署中,**GPU 性能评测**是一个非常重要的环节。
不同 GPU、不同深度学习框架如 PyTorch、TensorFlow、PaddlePaddle 等)在运行相同任务时,速度、吞吐量、内存占用等表现差异很大。
本次挑战赛希望通过社区的力量,**构建一个标准化、带权重的评测数据集**,让 GPU 性能比较更加科学、公正。
 AI 模型开发和部署中**GPU 性能评测**是一个非常重要的环节。   不同 GPU、不同深度学习框架 PyTorch、TensorFlow、PaddlePaddle 在运行相同任务时速度、吞吐量、内存占用等表现差异很大。   本次挑战赛希望通过社区的力量,**构建一个标准化、带权重的评测数据集** GPU 性能比较更加科学、公正。
---
## 🎯 比赛目标
## 🎯 比赛目标
- 从 **PyTorch、PaddlePaddle、TensorFlow、Jax、MMCV、Transformers** 等框架中收集并生成评测样本。
- 为每个样本提供**标准输出**和**性能指标**,确保结果可复现。
- 最终形成 **GPU CodeForces** 数据集和评价方法。
* 从 **PyTorch、PaddlePaddle、TensorFlow、Jax、MMCV、Transformers** 等框架中收集并生成评测样本。
* 为每个样本提供**标准输出**和**性能指标**,确保结果可复现。
* 最终形成 **GPU CodeForces** 数据集和评价方法。
---
## 📥 如何参与提交?
## 📥 如何参与提交?
### ✅ 参赛资格
- 你提交的PR样本中**至少有 1 个样本被评审通过并正式整合到“GPU CodeForces” 数据集**,即可算作有效参赛。
### 📝初始化仓库及提交流程
### 📦 提交PR内容
- **一个PR包含样本的目录** [提交样例](https://gitee.com/ccf-ai-infra/GPUCodeForces/tree/main/example/001-example)
- 每个提交目录建议包含如下:
1. **示例代码:** torch代码示例
2. **对比代码:** 和torch对应的CUDA代码
3. **测试代码入口:** run_code.py请务必用这个名称提交的PR会根据这个名称在GPU上测试结果
4. **其它文件(或目录):** prompt利用LLM从torch代码生成cuda代码的prompt示例或者其它优化代码
4. **PR目录说明文件** https://gitee.com/ccf-ai-infra/GPUCodeForces/blob/main/example/001-example/readme.md
* 进入到赛事首页:[GPUCodeForces赛事首页](https://gitee.com/ccf-ai-infra/GPUCodeForces),点击[Issues](https://gitee.com/ccf-ai-infra/GPUCodeForces/issues/new/choose),选择赛题\[CP\]->立即开始:
### 📦 提交PR的格式
<image src="./images/readme_issue_create.png">
然后按照模板格式填写相关信息后提交即可。在最后一个选项“推荐其他选手完成”这里,若有团队则可框选,若是自身完成则不用框选:
<image src="./images/readme_issue_write.png">
提交完成后返回Issue主页可以看到自己的提交记录可以复制Issue id进行保存
<image src="./images/readme_issue_id.png">
* 回到赛事主页在仓库界面右上角选择fork至自己的仓库下
<image src="./images/readme_project_fork.png">
<image src="./images/readme_project_check.png">
然后把源项目克隆至本地,文件路径可以根据自己的喜好来:
<image src="./images/readme_project_clone.png">
在克隆仓库或本地文件夹内都可以大展你的身手,进行算子优化了🎉!
* 准备好了代码及各项必需文件后在本地文件夹内启动git bash进行初始化和远程仓库连接
```shell
git init
git remote add origin https://gitee.com/your-name/GPUCodeForces.git
git remote -v
#成功后应显示
#origin https://gitee.com/your-name/GPUCodeForces.git (fetch)
#origin https://gitee.com/your-name/GPUCodeForces.git (push)
```
* 然后将本地优化好的算子仓库存入到暂存区,并进行上传:
```shell
git add .
git commit -m "填写本次提交记录,如'第一次提交'"
git push -u origin master
#最后一步需要根据自身的实际仓库分支来一般为master也可能为main或者你自定义的目录名称可以使用 git push --upstream orgin 目录名
```
* 上传成功后回到自己的仓库主页选择”新建Pull Request“
<image src="./images/readme_pr_create.png">
然后在上传界面选择自己更新项目的分支,选择合并即可:
<image src="./images/readme_pr_upload.png">
### 📦 提交PR内容
* **一个PR包含样本的目录** [提交样例](https://gitee.com/ccf-ai-infra/GPUCodeForces/tree/main/example/001-example)
* 每个提交目录建议包含如下:
1. **示例代码:** torch代码示例
2. **对比代码:** 和torch对应的CUDA代码
3. **测试代码入口:** run\_code.py请务必用这个名称提交的PR会根据这个名称在GPU上测试结果
4. **其它文件(或目录):** prompt利用LLM从torch代码生成cuda代码的prompt示例或者其它优化代码
5. **PR目录说明文件** https://gitee.com/ccf-ai-infra/GPUCodeForces/blob/main/example/001-example/readme.md
### 📦 提交PR的格式
建议在开始做题目之前创建一个赛题提交的PR和自己创建的赛题相关联。参赛选手在每个比赛周期的目录下例如第一期S1、第二期S2、第三期S3...创建一个目录目录名称赛题的IDICTXSZ),例如:
```
```plaintext
.
├── S1(说明:第一季比赛名称)
│ ├── ICTXSZ(说明以赛题ID命名的目录存放PR提交样本的目录)
@ -48,55 +111,91 @@
│ └── ……
└── S2(第二季比赛)
└── 赛题1
```
---
### 💻审核流程
## 🏅 竞赛排名机制
* 在一切文件都准备好并且提交后在对应的PR下会得到回复
1. **优先按接受数量从高到低排序作为排名取前12名。**
2. 若接受数量相同:
- 比较总基础评分高者优先
- 若仍相同,比加分项得分高者优先
<image src="./images/readme_comment_check.png">
> **接受数量** = 提交并被评审通过的样本总数
也就是说,除了能够自己在服务器上运行得到算子测算的初步结果外,还可以在这里看到最终的测算结果。这里显示测试通过才能进入后续审核流程。
> **接受数量相同需要区分排名时如下的基础和甲方的评分规则才会生效**
### ✅ 参赛资格
* 你提交的PR样本中**至少有 1 个样本被评审通过并正式整合到“GPU CodeForces” 数据集**,即可算作有效参赛。
### ⚠️注意事项
1. 请勿抄袭他人代码或成果
2. 请勿恶意提交(如相同算子多次提交、相近优化重复提交)
\---相近优化:即指同一份参赛用例在优化后加速比没有提升或更低的用例提交
3. 请遵守提交的格式要求、内容规范
---
## 📈 评分规则
## 🏅 竞赛排名机制
1. **优先按接受数量从高到低排序作为排名取前12名。**
2. 若接受数量相同:
* 比较总基础评分高者优先
* 若仍相同,比加分项得分高者优先
> **接受数量** = 提交并被评审通过的样本总数
> **接受数量相同需要区分排名时如下的基础和甲方的评分规则才会生效**
---
## 📈 评分规则
### 📊 基础得分
### 📊 基础得分
| 内容 | 分值 |
|------|------|
| 提供标准 GT 输出生成函数Numpy-CPU / 原始框架实现) | +2 分 |
| CUDA 执行时间评估 | +5 分 |
| CUDA 吞吐量评估 | +4 分 |
| CUDA 内存带宽评估 | +3 分 |
| --- | --- |
| 提供标准 GT 输出生成函数Numpy-CPU / 原始框架实现) | +2 分 |
| CUDA 执行时间评估 | +5 分 |
| CUDA 吞吐量评估 | +4 分 |
| CUDA 内存带宽评估 | +3 分 |
### ✨ 加分项
### ✨ 加分项
| 内容 | 分值 |
|------|------|
| 提供 Prompt 让 LLM 生成对应的 CUDA 代码,并同样进行性能评价 | 额外加分 |
| --- | --- |
| 提供 Prompt  LLM 生成对应的 CUDA 代码,并同样进行性能评价 | 额外加分 |
---
## 📚 术语解释
## 📚 术语解释
- **评测数据集**:用来测试 GPU 性能的一组标准化样本,包括代码、输入数据和预期结果。
- **GTGround Truth**:标准参考答案或结果,用来验证程序运行是否正确。
- **吞吐量Throughput**:每秒钟能处理的数据量,越高表示 GPU 处理能力越强。
- **内存带宽Memory Bandwidth**:单位时间内 GPU 内存与计算核心之间的数据传输速度。
- **Prompt**引导大语言模型LLM生成代码或内容的提示词。
- **LLM**Large Language Model大语言模型如 ChatGPT、LLaMA 等。
* **评测数据集**用来测试 GPU 性能的一组标准化样本包括代码、输入数据和预期结果。
* **GTGround Truth**:标准参考答案或结果,用来验证程序运行是否正确。
* **吞吐量Throughput**每秒钟能处理的数据量越高表示 GPU 处理能力越强。
* **内存带宽Memory Bandwidth**单位时间内 GPU 内存与计算核心之间的数据传输速度。
* **Prompt**引导大语言模型LLM生成代码或内容的提示词。
* **LLM**Large Language Model大语言模型 ChatGPT、LLaMA 等。
---
## 📬 联系与帮助
## 📬 联系与帮助
如需更多信息或格式说明,请查看官方文档或在本仓库提交[想法](https://gitee.com/ccf-ai-infra/GPUCodeForces/issues/new?template=feature.yml)进行讨论。
祝你挑战成功,贡献出高质量的 GPU 评测数据集!🚀
如需更多信息或格式说明,请查看官方文档或在本仓库提交[想法](https://gitee.com/ccf-ai-infra/GPUCodeForces/issues/new?template=feature.yml)进行讨论。  祝你挑战成功贡献出高质量的 GPU 评测数据集🚀
## FAQ

View File

@ -2,6 +2,11 @@
本项目协作采用标准的Pull RequestPR流程机制PR流程是开源项目协作和代码管理的核心机制。以下是创建和处理PR的详细步骤
## 0. CLA签署
- **目的**项目内Pull Request需要贡献者签署贡献者协议后方可合并为保证后续项目的顺利建议提前进行CLA签署。
- **步骤**
- 点击[CLA签署链接](https://gitee.com/organizations/ccf-ai-infra/cla/governance),滑动阅读后在页面下方填写真实姓名,并选择参赛所用账号的邮箱即可。
## 1. Fork项目仓库
- **目的**将原始仓库复制到您的Gitee或github账户下以便您可以进行修改。
- **步骤**

Binary file not shown.

After

Width:  |  Height:  |  Size: 50 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 282 KiB

BIN
images/readme_issue_id.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 42 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 93 KiB

BIN
images/readme_pr_create.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 86 KiB

BIN
images/readme_pr_upload.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 21 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 102 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 193 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 82 KiB