AI 应用用户行为埋点与 LLM 决策链路分析实战：从日志到产品决策

普通 SaaS 的埋点体系已经非常成熟：点击、曝光、转化、留存一整套。但 AI 应用的特殊性在于——最终输出的"内容"也是产品的一部分，而且是由 LLM 即时生成的。这意味着传统的"用户点了什么按钮"埋点远远不够，你还得知道：

• 用户实际问的是什么？
• 模型生成了什么？
• 用户对结果是否满意？
• 哪些 prompt 模板在真实场景下效果好，哪些差？

没有这套数据，产品迭代就只能靠老板拍脑袋。本文讲清楚怎么从零搭一套适合 AI 应用的行为分析体系。

传统埋点 vs AI 埋点

必埋的 5 类事件

1. 会话事件（session_start / session_end）

{
  "event": "session_start",
  "user_id": "u_1234",
  "session_id": "s_5678",
  "device": "ios",
  "app_version": "3.2.1",
  "entry_point": "deep_link"
}

2. 用户输入事件（user_input）

{
  "event": "user_input",
  "session_id": "s_5678",
  "turn_id": "t_42",
  "input_length": 187,
  "input_hash": "sha256:abc123...",
  "input_topic": "customer_support",
  "is_retry": false
}

注意 input_hash——记录 hash 而不是原文，方便后续去重和检索，同时避免 PII 风险。

3. LLM 调用事件（llm_call）

这是 AI 应用最关键的事件，要尽可能详尽：

{
  "event": "llm_call",
  "session_id": "s_5678",
  "turn_id": "t_42",
  "model": "gpt-5.6",
  "prompt_template_id": "support_v3",
  "input_tokens": 532,
  "output_tokens": 218,
  "latency_ms": 1240,
  "ttft_ms": 480,
  "cost_usd": 0.0027,
  "finish_reason": "stop",
  "guardrail_passed": true
}

4. 用户反馈事件（user_feedback）

{
  "event": "user_feedback",
  "session_id": "s_5678",
  "turn_id": "t_42",
  "feedback_type": "thumbs_down",
  "feedback_reason": "wrong_format",
  "modified_response": true,
  "regenerated": true
}

5. 业务转化事件（business_conversion）

{
  "event": "business_conversion",
  "session_id": "s_5678",
  "conversion_type": "order_placed",
  "conversion_value_usd": 89.0
}

埋点 SDK 实现片段

前端 SDK 只需要做一件事：把上面这些事件可靠地上报到后端。下面是最小实现：

class AITelemetry {
  private buffer: Event[] = [];
  private flushTimer: number | null = null;

  track(event: string, props: Record<string, any>) {
    this.buffer.push({
      event,
      ts: Date.now(),
      session_id: this.sessionId,
      user_id: this.userId,
      ...props,
    });
    if (this.buffer.length >= 20) this.flush();
  }

  async flush() {
    if (!this.buffer.length) return;
    const batch = this.buffer.splice(0, 20);
    await fetch('/api/telemetry/batch', {
      method: 'POST',
      body: JSON.stringify({ events: batch }),
      keepalive: true,
    });
  }

  startAutoFlush() {
    this.flushTimer = window.setInterval(() => this.flush(), 5000);
  }
}

const tele = new AITelemetry();
export const track = (e: string, p: any) => tele.track(e, p);

后端批量入库用 Kafka/ClickHouse，单条写性能差且容易丢。

5 个产品最该看的指标

埋了数据后，怎么看？下面是 5 个最关键的产品决策指标：

1. 采纳率（Adoption Rate）

采纳率 = (用户采纳 LLM 输出的次数) / (LLM 输出次数)

采纳 = 没有点击"重新生成"或修改。这个指标反映模型质量。GPT-5.6 vs Claude vs DeepSeek 谁更合适，看这个数。

2. 单会话价值（Value per Session）

VPS = (会话产生的业务转化价值) / (会话数)

不只是留存，要看每个会话实际带来多少 GMV / 节省多少人工成本。这是 AI 项目 ROI 计算的关键。

3. 反馈率（Feedback Rate）

反馈率 = 主动留下赞/踩的用户 / 总用户

低反馈率不一定好——可能用户懒得反馈，或者根本没用 LLM 输出。建议配合 NPS。

4. 重生成率（Regeneration Rate）

重生成率 = (用户点击"重新生成") / LLM 输出次数

突然飙升意味着 prompt 模板出问题了，或者模型版本回滚了。这是异常检测的关键信号。

5. Token 单位成本（Cost per Successful Task）

CPST = LLM 总花费 / 成功完成任务数

不是单纯看"花了多少钱"，而是看"花出去的每一块钱有没有换来成功任务"。

用 SQL 找产品问题的范本

把上面这些事件落到 ClickHouse 后，下面几条 SQL 能直接回答很多产品问题：

-- 1. 哪个 prompt 模板的重生成率最高？
SELECT
  prompt_template_id,
  countIf(event = 'user_feedback' AND feedback_type = 'thumbs_down') AS bad,
  countIf(event = 'llm_call') AS total,
  bad / total AS regen_rate
FROM events
WHERE ts > now() - INTERVAL 7 DAY
GROUP BY prompt_template_id
ORDER BY regen_rate DESC
LIMIT 10;

-- 2. 哪个模型版本转化率最高？
SELECT
  model,
  countIf(event = 'business_conversion') AS conv,
  countIf(event = 'session_start') AS sess,
  conv / sess AS conv_rate
FROM events
WHERE ts > now() - INTERVAL 7 DAY
GROUP BY model;

-- 3. 用户第几次提问会离开？找流失点
SELECT
  turn_index,
  countIf(event = 'session_end' AND exit_reason = 'normal') AS ended,
  countIf(event = 'user_input') AS started
FROM events
GROUP BY turn_index
ORDER BY turn_index;

把数据闭环起来

埋点不是为了看，而是为了形成产品迭代闭环：

真实使用数据 → 发现 prompt 模板 X 失败率高 → 优化 prompt → A/B 测试 →
新模板胜出 → 全量上线 → 继续监控

这个闭环每跑一圈，产品体验就会显著提升一次。没有数据闭环的 AI 产品，迭代速度会被对手甩开。

与 A/B 测试框架配合

埋点数据 + A/B 测试 = 科学的模型升级路径。具体可以参考站内 AI 应用 A/B 测试与效果评估框架搭建指南，里面讲了怎么把"埋点事件"作为 A/B 实验的核心指标。

总结

AI 应用的埋点体系比传统 SaaS 复杂，但本质上就是 5 类事件 + 5 个核心指标 + 一套闭环迭代流程。建议先把 llm_call 这一个事件埋好（这是基础中的基础），再慢慢补 user_feedback、business_conversion 等。数据基础设施稳了，模型/产品迭代才有依据。

供应商选型这块，可以参考 openairouter.net 的中转站实测对比，把成本和稳定性数据接进上面的"Token 单位成本"指标里，整个决策链就完整了。