320 lines
7.9 KiB
Markdown
320 lines
7.9 KiB
Markdown
---
|
||
title: "[Milky] 为您整理《【AI翻译】别再自己钻研Claude技巧了，Autoresearch帮你搞定》笔记 | BV1tJwKzDE8x"
|
||
source: "milky@4ueo.com"
|
||
date: 2026-06-09 21:17
|
||
tags: [milky, bilibili, notes]
|
||
email_id: 1983
|
||
---
|
||
|
||
Milky 为您整理了《【AI翻译】别再自己钻研Claude技巧了，Autoresearch帮你搞定》| BV1tJwKzDE8x 笔记。
|
||
|
||
AutoResearch 自动优化 Claude Code Skills 完整指南
|
||
|
||
目录
|
||
|
||
核心概念
|
||
为什么需要自动研究
|
||
AutoResearch 仓库解析
|
||
自动研究的三个要素
|
||
评估设计原则
|
||
实战演示流程
|
||
演示结果
|
||
最佳实践与注意事项
|
||
|
||
|
||
核心概念
|
||
|
||
Claude Code Skills 现状
|
||
|
||
Claude Code Skills（云代码技能）是用于扩展 Claude Code 能力的提示词文件，但存在稳定性问题：
|
||
|
||
| 指标 | 比例 |
|
||
|------|------|
|
||
| 运行技能得到预期输出 | ~70% |
|
||
| 运行技能输出垃圾结果 | ~30% |
|
||
|
||
什么是 AutoResearch
|
||
|
||
AutoResearch 是由 Andre Karpathy（OpenAI 创始成员、前特斯拉 AI 负责人）发布的一个 GitHub 仓库，核心功能是让一组 AI 智能体能够自主优化某个流程。
|
||
|
||
原仓库地址：
|
||
`
|
||
https://github.com/karpathy/auto-research
|
||
`
|
||
|
||
|
||
AutoResearch 仓库解析
|
||
|
||
该仓库刻意设计得非常精简，只有三个重要文件：
|
||
|
||
文件结构
|
||
|
||
`
|
||
auto-research/
|
||
├── prepare.py # 机器学习专用（训练分词器等），与技能优化无关
|
||
├── train.py # 核心文件，相当于你的 skill.md
|
||
└── program.py # 核心文件，相当于你的智能体
|
||
`
|
||
|
||
工作原理类比
|
||
|
||
| AutoResearch 组件 | 对应内容 |
|
||
|-------------------|----------|
|
||
| train.py | 你的 skill.md（要优化的技能提示词） |
|
||
| program.py | 你的智能体（负责改进技能） |
|
||
|
||
优化流程
|
||
|
||
`
|
||
给智能体（program.py）一个高级指令
|
||
智能体运行技能（train.py），根据评估标准评分
|
||
智能体判断"这次是否比上次好"
|
||
自动迭代，提示词越来越严密
|
||
每 N 分钟自动运行一次（如每 5 分钟）
|
||
`
|
||
|
||
|
||
自动研究的三个要素
|
||
|
||
要让自动研究工作，你需要准备好：
|
||
|
||
客观指标（Objective Metric）
|
||
|
||
一个可量化测量的数字，而不是模糊的感觉描述。
|
||
|
||
示例：
|
||
|
||
| 应用场景 | 客观指标 |
|
||
|----------|----------|
|
||
| 网站加载速度 | 毫秒（ms） |
|
||
| 冷邮件活动 | 回复率（%） |
|
||
| Claude Code Skill | 通过率 / 评估分数 |
|
||
|
||
测量工具（Measurement Tool）
|
||
|
||
理想情况下应该自动化、可靠，无需人工介入。
|
||
|
||
示例：
|
||
|
||
| 应用场景 | 测量工具 |
|
||
|----------|----------|
|
||
| 网站性能 | Google Lighthouse |
|
||
| 冷邮件 | 即时 API 分析 |
|
||
| Skills | 测试套件（智能体编写的自动化测试） |
|
||
|
||
可改变的东西（Variable to Change）
|
||
|
||
整个优化的对象：
|
||
|
||
| 应用场景 | 改变的内容 |
|
||
|----------|------------|
|
||
| 网站优化 | 代码改动 |
|
||
| 冷邮件优化 | 邮件文案 |
|
||
| Skills 优化 | 提示词内容（skill.md 文件） |
|
||
|
||
|
||
评估设计原则
|
||
|
||
为什么需要多次运行评估
|
||
|
||
AI 输出本质上是数据分布，存在随机性：
|
||
|
||
`
|
||
运行 20 次技能（生成 20 张图片）
|
||
↓
|
||
每次输出都有细微差别
|
||
↓
|
||
有些图片相似，有些不同
|
||
↓
|
||
必须运行多次，用统计方法评估
|
||
`
|
||
|
||
评估的三个统计指标
|
||
|
||
| 指标 | 含义 | 作用 |
|
||
|------|------|------|
|
||
| 众数（Mode） | 出现频率最高的值 | 判断"最常见的结果是什么" |
|
||
| 中位数（Median） | 排序后的中间值 | 判断"大致平均水平" |
|
||
| 平均值（Mean） | 所有分数之和除以次数 | 判断"总体表现" |
|
||
|
||
二元问题原则（核心要点）
|
||
|
||
评估应该使用二元的是/否、真/假问题，尽量避免多值评分。
|
||
|
||
原因： 复合概率导致变异性放大
|
||
|
||
`
|
||
二元评分：只有 Pass/Fail → 变异性可控
|
||
多值评分（如 1-7 分）→ 每个环节的变异会累积放大
|
||
↓
|
||
想象一个漏斗：开始很窄，变异累积后可能差很多
|
||
最终结果可能从 39/40 变成 2/40
|
||
`
|
||
|
||
多值评分的风险示例：
|
||
如果给模型太多评估点
|
||
模型可能学会"复述每个评估点"来通过测试
|
||
就像不理解材料但能考 100 分的学生
|
||
|
||
不要过于具体/狭窄
|
||
|
||
反面示例（过于严格）：
|
||
`
|
||
"确保输出在 X 字以内"
|
||
"确保包含关系符号"
|
||
"确保不包含某些字符"
|
||
`
|
||
|
||
这会导致模型过度优化评估指标而不是真正提升质量。
|
||
|
||
|
||
实战演示流程
|
||
|
||
演示案例：图表生成器技能优化
|
||
|
||
步骤一：设置 Claude Code 环境
|
||
|
||
在 VSCode 或任意编辑器中安装 Claude Code 扩展，设置好开发环境。
|
||
|
||
步骤二：获取 AutoResearch 仓库
|
||
|
||
`bash
|
||
将仓库链接提供给智能体
|
||
"Read this: https://github.com/karpathy/auto-research"
|
||
`
|
||
|
||
步骤三：创建评估标准
|
||
|
||
将评估标准定义为4 个二元问题：
|
||
|
||
| # | 评估标准 | 具体要求 |
|
||
|---|----------|----------|
|
||
| 1 | 文字清晰度 | 所有文字是否清晰且语法正确 |
|
||
| 2 | 配色方案 | 是否符合粉彩色、柔和色调（避免霓虹色） |
|
||
| 3 | 布局条理 | 是否从左到右/从上到下有条理（无乱糟糟的气泡和装饰） |
|
||
| 4 | 无数字编号 | 是否没有 "1, 2, 3, 4" 这样的编号 |
|
||
|
||
步骤四：提供高级指令给智能体
|
||
|
||
使用自然语言描述任务：
|
||
|
||
`
|
||
"我想让你用 AutoResearch 库来改进图表生成器技能。
|
||
|
||
该技能的功能是生成约 200 字的脚本。
|
||
|
||
请用上面的仓库中的自动研究方法帮我建立一套改进系统。
|
||
|
||
每次测试请生成 10 个图表。
|
||
|
||
我希望你按回车继续。"
|
||
`
|
||
|
||
步骤五：明确评分机制
|
||
|
||
`
|
||
生成 10 张图片
|
||
每个图片用 4 个标准评估
|
||
最高分 = 40 分（10 × 4）
|
||
|
||
流程：
|
||
生成 10 张图
|
||
用 4 个标准评估所有 10 张
|
||
计算 40 分中的得分
|
||
修改提示词
|
||
再试一次
|
||
选择表现更好的版本
|
||
`
|
||
|
||
|
||
演示结果
|
||
|
||
网站优化案例
|
||
|
||
| 指标 | 优化前 | 优化后 | 改进 |
|
||
|------|--------|--------|------|
|
||
| 加载时间 | 1100ms | 67ms | 81.3% |
|
||
|
||
图表生成器技能案例
|
||
|
||
| 指标 | 第一次测试 | 后续迭代 |
|
||
|------|------------|----------|
|
||
| 评估分数 | 32/40 | 37/40 |
|
||
| 迭代趋势 | 基准 | 持续提升 |
|
||
|
||
视频效果： 智能体不断让提示词越来越符合预设的粉彩色、可爱图标等规格。
|
||
|
||
|
||
最佳实践与注意事项
|
||
|
||
✅ 推荐做法
|
||
|
||
使用二元问题评估
|
||
- 是/否、真/假
|
||
- 避免 1-10 分等多值评分
|
||
|
||
保持评估标准简洁
|
||
- 每个技能 3-5 个核心标准
|
||
- 太多标准会导致"假通过"
|
||
|
||
让评估自动化
|
||
- 编写测试套件
|
||
- 设置定时循环运行
|
||
|
||
记录所有变更
|
||
- 模型尝试的所有改动清单
|
||
- 可传承给未来的更强模型（GPT-6、Claude 4.0 等）
|
||
|
||
❌ 避免做法
|
||
|
||
不要过于具体
|
||
`
|
||
✗ "确保输出在 100 字以内"
|
||
✗ "确保包含关系符号"
|
||
`
|
||
|
||
不要多值复合评分
|
||
`
|
||
✗ "X 方面打 1-7 分"
|
||
✓ "X 方面是否达标：是/否"
|
||
`
|
||
|
||
不要只运行一次
|
||
- 必须多次运行取统计结果
|
||
- 用众数、中位数判断质量
|
||
|
||
|
||
可应用场景扩展
|
||
|
||
AutoResearch 不仅限于 Skills 优化，可应用领域：
|
||
|
||
| 领域 | 优化目标 |
|
||
|------|----------|
|
||
| 网站 | 加载速度、SEO |
|
||
| 落地页 | 转化率 |
|
||
| A/B 测试 | 标题、缩略图 |
|
||
| 邮件营销 | 邮件文案、回复率 |
|
||
| 代码 | 性能、架构 |
|
||
| 提示词 | 任何技能或流程 |
|
||
|
||
|
||
资源链接
|
||
|
||
原视频： https://www.youtube.com/watch?v=qKU-e0x2EmE
|
||
AutoResearch 仓库： https://github.com/karpathy/auto-research
|
||
完整 Claude Code 课程： 见 UP 主频道
|
||
|
||
|
||
总结
|
||
|
||
AutoResearch 提供了一种让 AI 自主优化 AI 的方法论。通过：
|
||
|
||
定义客观指标 → 知道要优化什么
|
||
建立测量工具 → 知道如何量化改进
|
||
提供可变量 → 提示词、代码或文案
|
||
多次运行 + 统计评估 → 确保结果可靠
|
||
|
||
即使你不是机器学习专家，也可以利用这个框架显著提升 Claude Code Skills 的可靠性和准确性，实现技能的自我进化。
|
||
|
||
──────────────────────────────
|
||
— Milky 视频总结助手 |