Tessavox 为什么会做解读，做错了又怎样查得出来。

商业论证（business case）

流媒体平台会把它做成一项功能：平台手里已经有每位听者近来的收听数据；一份读得懂、可以反驳的解读，最后给出一段提示词，交给平台自有的、已获授权的创作工具使用，想自己做音乐的听者因此会留在平台上。假设（ASSUMED）

• 解读需要的东西，Tessavox 手里已经有了：每位听者近来的播放记录。解读不需要任何人描述自己的品味，本项目背后的访谈发现，这件事几乎没有人做得到。
• 解读最后给出的提示词，会贴进 Tessavox 自己的创作工具，这个工具用 Tessavox 获得授权的音乐训练而成。解读是入口，它的产出交给工具使用。
• 听者删去哪一条、选了哪种读法，是推荐系统收集不到的信号：一个人在纠正对自己收听的描述。

它会测什么

北极星指标（north star）

• 以开始创作收尾的解读

  听者打开的解读中，走到创作界面并开始做一首曲子的比例。

  整个主张压成一个数：值得拥有的解读，是有人会把它带进自己作品里的解读。

辅助指标

• 保留率

  保留的条数除以展示的条数。

  大部分条目都被删去的解读，描述的是另一个人。

• 读法选中率

  保留下来的条目中，听者从提示的两种读法里选了一种的，占保留条数的比例。

  这个比率反映提示的读法有没有说中。一条每次都被保留、却每次都选「都不对」的条目，说中了真实的规律，却读错了它的意思。

护栏指标（guardrail）

• 删去率，按模板统计

  每个条目模板被删去的次数除以展示次数。

  删去率高，说明模板写错了。接近零也是一种警告：一条从来没人删去的条目，可能对谁都成立，这就是巴纳姆效应（Barnum effect），依据就是为防它而设的。

• 红线条款（carve-out）命中数

  页面上出现的、与红线条款所列词语相符的句子。

  目标永远是零：任何页面都不对创伤、虐待或心理健康作出任何断言。

• 关闭率

  关掉解读的听者，占看到解读的听者的比例。

  一项把你的收听读给你听的功能，必须容易拒绝；关闭率上升，是它不受欢迎的第一个信号。

它会怎样检验

在 Tessavox 的创作入口做一次 A/B 测试。打开创作工具的访客，一半看到解读和它最后给出的提示词，另一半看到今天那个普通的提示词输入框。

主要指标：到达创作入口的每位访客开始创作的次数，在两组之间比较。

规划假设（planning assumption）

下面每个数，要么是规划假设，要么由规划假设算出。没有一个是结果。

使用普通提示词输入框时，创作入口处每位访客开始创作的比例：20%规划假设

我们没有找到公开发布的比率，所以它背后没有任何测得的数据。选一个整数，是为了让计算一目了然；旁边还列出了另外两个基线（baseline）下的样本量。

值得检测的最小增幅：2 个百分点规划假设

解读在创作之前多出几屏，每一屏都占用注意力，也要维护。这里假设：增幅小于基线的十分之一，就抵不上这些成本，所以测试的样本量按正好看得出这么大的增幅来定，更小的不管。

假阳性率，双侧：5%规划假设

沿用惯例，因为评审者一眼就能核对；这项功能没有任何理由换一个值。

统计功效：80%规划假设

沿用惯例：接受五分之一的概率漏掉一个恰为最小幅度的真实增幅，换取较短的测试周期，这是通常的取舍。

按这些假设，每组需要的访客数：

每组 n = (z₁₋α/₂ · √(2·p̄(1−p̄)) + z₁₋β · √(p₁(1−p₁) + p₂(1−p₂)))² ÷ (p₂ − p₁)²

20% → 22%：每组 6,510 名访客

如果基线换一个值：

• 10% → 12%：每组 3,841 名访客
• 30% → 32%：每组 8,394 名访客

终止条件（kill criteria）

• 增幅 95% 区间的上限，低于值得检测的最小增幅。那样的话，无论人们多喜欢解读，它都抵不上它占用的那几屏。
• 测试期间任何时候，页面文字中出现任何一次红线条款命中。
• 某个模板若被超过一半看到它的听者删去，就撤下它，测试照常继续。

五个部门会问什么