feat(skills): 新增科研复现性评估的skill : gitlink-research-reproducibility #257

luwanzhou · 2026-06-15T12:52:59+08:00

luwanzhou commented

2026-06-15 12:52:59 +08:00

问题描述

学术界长期存在「可复现性危机」：论文配套的科研代码仓库，常因缺依赖说明、缺数据、缺运行脚本、缺随机种子而无法被他人复现。

现象：科研用户拿到一个 GitLink 上的科研仓库，无法快速、量化地判断「别人能不能照着把它跑出来」；也没有可操作的整改清单。
影响：gitlink-cli 现有的合规类 Skill（gitlink-compliance / gitlink-license-compliance）只覆盖许可证与敏感信息，完全不涉及复现性，子赛题四「科研项目合规与复现性检查」中的「复现性」一环处于空白，科研复盘 / 论文开源前自检缺少工具支撑。

问题复现步骤（现状空白复现）

在 AI Agent（Claude Code 等）中提出：「帮我评估某科研仓库别人能不能复现出来」。
现有 Skill 中没有任何一个会被触发来回答该问题（compliance 类只谈许可证/敏感信息）。
在主仓库执行 grep -rli "复现\|reproduc" skills/，没有任何「复现性评估」类 Skill。
结论：复现性评估能力缺失。

根本原因

现有分析/合规类 Skill 的定位决定了它们不评估复现性：

gitlink-compliance / gitlink-license-compliance → 许可证兼容性、依赖合规、敏感信息；
gitlink-research-tracker / scholar-profile / fork-impact → 技术选型、画像、传播；

没有任何 Skill 从「环境 / 数据 / 运行 / 结果 / 文档 / 代码可维护性」维度去衡量「这个仓库能不能被复现」，形成能力空白。

修复方案（新增能力）

新增只读分析型 Skill gitlink-research-reproducibility：通过 gitlink-cli 的只读命令对科研仓库做六维复现性体检，输出可量化《复现性评分报告》（0–100 分 + A/B/C/D 等级 + 复现风险等级 + 按优先级排序的修复清单）。

六维模型（加权满分 100）：环境可复现性(25)、数据可得性(20)、运行可复现性(20)、结果可复现性(15)、文档完整性(10)、代码可维护性(10)；每一维给出明确评分细则与「加了几分 / 因为看到什么证据」的可追溯依据。
复用已有能力：「数据可得性」维度复用已合并的 dataset 命令（PR #243）查询仓库绑定的 GitLink 科研数据集。
依赖命令：repo +info/+tree/+readme/+languages/+tags、dataset +view、release +list，均已核对真实存在。
安全：纯只读，对被评估仓库零副作用；如需把修复清单落成 Issue，会先征得用户同意。

合并请求描述

本 PR 为子赛题四（科研辅助）新增 gitlink-research-reproducibility Skill，填补 gitlink-cli 在「科研仓库复现性评估」上的能力空白，提供一套可量化、可追溯、可整改的复现性体检方案，并在真实科研仓库上完成验证。

变更内容

1. 新增 Skill 主文件 `skills/gitlink-research-reproducibility/SKILL.md`

六维评估模型、各维评分细则、复现性雷达图、完整《复现性评分报告》模板、执行步骤；frontmatter 与 gitlink-shared 引用对齐已合并的 gitlink-scholar-profile。

2. 新增标准工作流示例 `examples/reproducibility-workflow.md`

3. 新增真实仓库验证 `examples/real-eval-pdeep.md`

在真实科研仓库 opensci/pDeep（深度学习质谱预测）上端到端跑通：只读采集 → 六维评分（保守下限 19/100，D 级）→ 雷达图 → 分优先级修复清单；并诚实标注只读 API 无法递归遍历子目录的限制与「保守下限」口径。

4. 规范与安全

纯 Markdown、不含 Go 改动、CI（build/lint/test/fmt）无影响；所引用 CLI 命令均经源码核对真实存在；只读分析型，对目标仓库零副作用。

## 问题描述学术界长期存在「可复现性危机」：论文配套的科研代码仓库，常因缺依赖说明、缺数据、缺运行脚本、缺随机种子而无法被他人复现。 - **现象**：科研用户拿到一个 GitLink 上的科研仓库，无法快速、量化地判断「别人能不能照着把它跑出来」；也没有可操作的整改清单。 - **影响**：gitlink-cli 现有的合规类 Skill（`gitlink-compliance` / `gitlink-license-compliance`）**只覆盖许可证与敏感信息，完全不涉及复现性**，子赛题四「科研项目合规与复现性检查」中的「复现性」一环处于空白，科研复盘 / 论文开源前自检缺少工具支撑。 ## 问题复现步骤（现状空白复现） 1. 在 AI Agent（Claude Code 等）中提出：「帮我评估某科研仓库别人能不能复现出来」。 2. 现有 Skill 中**没有任何一个**会被触发来回答该问题（compliance 类只谈许可证/敏感信息）。 3. 在主仓库执行 `grep -rli "复现\|reproduc" skills/`，没有任何「复现性评估」类 Skill。 4. 结论：复现性评估能力缺失。 ## 根本原因现有分析/合规类 Skill 的定位决定了它们不评估复现性： - `gitlink-compliance` / `gitlink-license-compliance` → 许可证兼容性、依赖合规、敏感信息； - `gitlink-research-tracker` / `scholar-profile` / `fork-impact` → 技术选型、画像、传播； **没有任何 Skill** 从「环境 / 数据 / 运行 / 结果 / 文档 / 代码可维护性」维度去衡量「这个仓库能不能被复现」，形成能力空白。 ## 修复方案（新增能力）新增只读分析型 Skill `gitlink-research-reproducibility`：通过 gitlink-cli 的只读命令对科研仓库做**六维复现性体检**，输出**可量化《复现性评分报告》**（0–100 分 + A/B/C/D 等级 + 复现风险等级 + 按优先级排序的修复清单）。 - **六维模型（加权满分 100）**：环境可复现性(25)、数据可得性(20)、运行可复现性(20)、结果可复现性(15)、文档完整性(10)、代码可维护性(10)；每一维给出明确评分细则与「加了几分 / 因为看到什么证据」的可追溯依据。 - **复用已有能力**：「数据可得性」维度复用已合并的 `dataset` 命令（PR #243）查询仓库绑定的 GitLink 科研数据集。 - **依赖命令**：`repo +info/+tree/+readme/+languages/+tags`、`dataset +view`、`release +list`，均已核对真实存在。 - **安全**：纯只读，对被评估仓库零副作用；如需把修复清单落成 Issue，会先征得用户同意。 ## 合并请求描述本 PR 为子赛题四（科研辅助）新增 `gitlink-research-reproducibility` Skill，填补 gitlink-cli 在「科研仓库复现性评估」上的能力空白，提供一套可量化、可追溯、可整改的复现性体检方案，并在真实科研仓库上完成验证。 ## 相关Issue 无直接关联 Issue（本 PR 为子赛题四新增科研辅助能力）。场景对应赛题说明「科研项目合规与复现性检查」。 ## 变更内容 ### 1. 新增 Skill 主文件 `skills/gitlink-research-reproducibility/SKILL.md` 六维评估模型、各维评分细则、复现性雷达图、完整《复现性评分报告》模板、执行步骤；frontmatter 与 `gitlink-shared` 引用对齐已合并的 `gitlink-scholar-profile`。 ### 2. 新增标准工作流示例 `examples/reproducibility-workflow.md` ### 3. 新增真实仓库验证 `examples/real-eval-pdeep.md` 在真实科研仓库 `opensci/pDeep`（深度学习质谱预测）上端到端跑通：只读采集 → 六维评分（保守下限 19/100，D 级）→ 雷达图 → 分优先级修复清单；并诚实标注只读 API 无法递归遍历子目录的限制与「保守下限」口径。 ### 4. 规范与安全纯 Markdown、不含 Go 改动、CI（build/lint/test/fmt）无影响；所引用 CLI 命令均经源码核对真实存在；只读分析型，对目标仓库零副作用。

luwanzhou added 1 commit 2026-06-15 12:53:00 +08:00

71d0cbd8b7 feat(skills): add gitlink-research-reproducibility — 科研复现性评估

新增科研复现性评估 Skill：通过 gitlink-cli 只读命令对科研仓库做六维体检
（环境/数据/运行/结果/文档/可维护性），输出可量化的复现性评分报告
（0-100 分 + A/B/C/D 等级 + 风险等级 + 分优先级修复清单）。

- SKILL.md：六维评估模型、评分细则、雷达图与完整报告模板、执行步骤
- examples/reproducibility-workflow.md：标准工作流示例
- examples/real-eval-pdeep.md：在真实科研仓库 opensci/pDeep 上的端到端验证

子赛题四（科研辅助）。纯 Markdown，只读分析型，对目标仓库零副作用。

wbtiger merged commit 5887c40a42 into master

2026-07-14 22:27:52 +08:00

wbtiger referenced this issue from a commit

2026-07-14 22:27:53 +08:00

Merge pull request 'feat(skills): 新增科研复现性评估的skill : gitlink-research-reproducibility' (#257) from luwanzhou/gitlink-cli:feat/skill-research-reproducibility into master

Sign in to join this conversation.

No reviewers

No Label

No Milestone

No project

No Assignees

1 Participants

Notifications

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: Gitlink/gitlink-cli#257

feat(skills): 新增 科研复现性评估的skill : gitlink-research-reproducibility #257