✓ 关键点

Silot.ai AI风控产品 · 5人团队6个月上线 · 审批时间48h→2h · 误报率降低62% · 处理$2M+交易量

✓ 关键点

Edge Copilot Mode launch · 5+团队(产品/研发/设计/市场/搜索) · 定义Universal Topline Metrics · Non-Goals减少80%scope讨论 · Council Review只聊blocker · 按journey划分ownership不宜过细 · CVP级好评 · 设计被桌面端复用 · 因高层战略调整未GA但协作模型沉淀

✓ 关键点

LLM-as-Judge 评测 · 一致性67%→89% · 重新设计 hybrid eval pipeline · "eval of eval"机制

✓ 关键点

Edge AI DAU增长停滞 · funnel analytics · smart nudge系统 · 触发率+35% · 7-day retention+12%

✓ 关键点

OpenClaw 多Agent系统 · dispatcher+specialist架构 · pipeline state machine · 人工干预率40%→8%

✓ 关键点

Side Projects实战 · DanceFlow给舞蹈老师解释骨架检测(用“镜子+角度”类比) · Working Demo替代PPT · 多Agent用“专业团队”类比 · 量化不形容(“2小时⇒10分钟”) · 让对方信任而非懂技术

✓ 关键点

LLM 从0到落地 · 6周建立团队能力 · LLM Product Playbook · AI Paper Club · 被promote为tech lead

✓ 关键点

3PM+5工程师支持4个feature · ICE scoring · platform化 · velocity+30% · "say no with data"

✓ 关键点

Edge Copilot NPS 32→58 · intent-aware summarization · "太长"→个性化需求 · 用户留存+15%

✓ 关键点

Reverie Diary + DanceFlow 实践 · 苏格拉底式AI · 个性化学习路径 · AI TA · Assessment革新 · 教师赋能

✓ 回答要点

三层记忆架构：① 短期记忆（sliding window, 最近N轮原文保留）② 中期记忆（conversation summary，用LLM压缩历史为摘要，随对话滚动更新）③ 长期记忆（向量数据库存储关键事实/用户偏好，按相关性检索注入context）。实践中还需：token budget管理（在context window限制内动态分配给system prompt/memory/当前对话）、memory decay（旧记忆降权）、explicit memory（用户说"记住这个"时写入持久存储）。关键trade-off：全量保留太贵且噪音多，压缩太狠丢信息——需要根据场景调整压缩策略。

✓ 回答要点

AI Harness = 将LLM能力封装为可控、可测、可观测的执行环境。核心组件：① Orchestration layer（管理 prompt template + tool routing + output parsing）② Guardrails（input/output validation, content filtering, PII detection）③ Eval pipeline（自动化质量检测，包括factuality/safety/relevance评分）④ Observability（tracing每次调用的latency/token/cost/quality score）⑤ Fallback & retry（模型降级策略、timeout处理）。在Edge的实践：我们建了统一的AI Feature Harness，所有AI功能通过同一套infra接入，包含A/B test framework、feature flag、metrics collection。好处：新feature接入成本从2周降到2天，质量回归自动catch。关键设计原则：harness要对业务逻辑透明，开发者只关心prompt和tool，infra层处理可靠性和监控。

✓ 回答要点

选型取决于场景：① 通用高质量：OpenAI text-embedding-3-large（3072维，多语言强）或 Cohere embed-v3（支持search/classification不同模式）② 开源自部署：BGE-M3（多语言+多粒度）、GTE-large、E5-mistral-7b（大模型embedding，效果最好但贵）③ 轻量低延迟：text-embedding-3-small 或 all-MiniLM-L6（384维，适合端侧）。选型考量：维度（越高越准但存储贵）、多语言能力（中英混合场景必须测中文效果）、检索 vs 分类（用途不同微调方向不同）、latency要求（实时对话 vs 离线索引）。关键insight：embedding选型要看下游任务的端到端效果（retrieval recall@10），不能只看MTEB排行榜。

✓ 回答要点

Edge Copilot 不是裸GPT，是多层增强：① Context Grounding — 将当前页面/多tab内容通过RAG注入，让模型基于用户正在看的内容回答（multi-tab RAG：提取多个tab的关键内容，rerank后拼接）② Task-specific routing — 不同用户意图（summarize/compare/create/chat）路由到不同prompt template+工具链 ③ Safety layer — Microsoft Responsible AI filters，content moderation，jailbreak detection ④ Personalization — 基于用户浏览历史和偏好调整回答风格和长度 ⑤ Mobile adaptation — 端侧轻量推理（部分简单任务用小模型on-device处理，复杂任务走cloud）⑥ Eval & iteration — 自建eval framework持续监控质量，每周根据bad case更新prompt和filter rules。核心创新点：把浏览器作为context source，让AI"看到"用户正在看什么，而非无状态对话。

✓ 回答要点

AI语音产品涉及三个环节：① ASR（语音转文字）：Whisper large-v3（开源最强）、Azure Speech/Google Speech（商用低延迟）、Deepgram Nova-2（性价比高）② TTS（文字转语音）：ElevenLabs（最自然，支持clone）、OpenAI TTS（4种voice，低成本）、Azure Neural TTS（多语言+情感控制）、Fish Audio/CosyVoice（中文效果好+开源）③ Voice Agent（实时对话）：OpenAI Realtime API（端到端最低延迟~300ms）、LiveKit+各模型组合、Vapi/Bland.ai（voice agent平台）。效果最好看场景：自然度→ElevenLabs；中文→CosyVoice/Fish；低延迟实时对话→OpenAI Realtime；成本敏感→Azure Neural TTS。关键趋势：从pipeline（ASR→LLM→TTS）走向端到端speech-to-speech模型（GPT-4o style），延迟更低、表达更自然。

✓ 回答要点

这个观点有道理但过于绝对，正确答案是"看场景选工具"：① ML适合的场景：高频低延迟决策（推荐系统毫秒级响应）、有明确数据pattern的分类/回归任务、需要严格可复现性的场景（金融风控合规审计）② Agent适合的场景：复杂多步推理、需要调用外部工具、任务定义模糊需要探索、需要chain-of-thought可解释性 ③ 两者并非对立：Agent系统内部可以调用ML模型（如Agent用ML做初筛，再用LLM做深度分析）④ 关于"透明度"：ML也可以做可解释（SHAP/LIME/feature importance），Agent的"过程"未必是真正的推理过程（LLM可能rationalize而非真正reason）⑤ 实践建议：先用ML跑baseline（快、便宜、可控），只在ML搞不定时上Agent；Agent的observability要做好（每步trace），否则debug比ML更难。我在Edge的经验：AI feature用hybrid——simple intent detection用lightweight ML，complex reasoning用LLM agent。

✓ 回答要点

Agent知识库搭建全流程：① 数据收集与预处理 — 确定数据源（文档/网页/数据库/API），清洗格式化，处理多模态（图表OCR、PDF解析用docling/marker）② Chunking策略 — 不要无脑按token切，按语义切（recursive character splitter + 尊重段落/标题边界），保留metadata（来源、时间、章节），chunk size 512-1024 tokens为主 ③ Embedding & Indexing — 选合适embedding模型，向量数据库（Pinecone/Weaviate/Qdrant/LanceDB），建hybrid index（向量+keyword BM25）④ Retrieval优化 — 多路召回（semantic + keyword + metadata filter），Reranker（cross-encoder或Cohere rerank），结果去重合并 ⑤ 知识更新 — 增量索引（不要每次全量rebuild），版本管理，过期内容标记 ⑥ 质量保障 — 定期跑retrieval evaluation（recall@k, MRR），人工抽检，建golden test set。关键经验：知识库不是建完就完了，是持续运维——数据源变化、embedding模型升级、业务需求变化都需要重新评估。Agent的知识库要支持动态扩展（新tool接入自动生成对应知识条目）。

✦ 实战方案对比（亲测）

Obsidian Vault + 向量化 — 我自己的 Agent 系统用的就是这个思路。Markdown 文件作为知识源，天然支持 Git 版本控制，双向链接形成知识图谱。配合 embedding pipeline 做向量索引后，Agent 可以语义检索整个 vault。优势：知识对人可读可编辑，维护成本低，本地优先不依赖第三方服务；劣势：需要自己搭 embedding + retrieval 链路，多人协作不如 SaaS 方便。适合：技术团队、个人 Agent、对数据主权有要求的场景。

LangChain / LlamaIndex RAG Pipeline — 最灵活的自建方案。支持 40+ document loader、多种 chunking 策略、可插拔向量库。我在做投资 Agent 扫描全 A 股时用过 LangChain 的 document pipeline 处理研报数据。优势：完全可控，支持复杂 retrieval 策略（multi-query、HyDE、parent-child chunk）；劣势：工程量大，每个环节都要调参，小团队容易过度工程化。适合：有工程能力的团队、需要深度定制 retrieval 逻辑的产品。

Coze / Dify 内置知识库 — 上传文件即可用，零代码。我测试过 Coze 的知识库模块，chunking 和 retrieval 都是黑盒但效果及格。优势：10 分钟上线，非技术人员也能维护；劣势：retrieval 策略不可控，embedding 模型不可选，数据存在第三方。适合：快速 MVP 验证、业务团队自助搭建、对数据隐私要求不高的场景。

选型建议：先用 Coze/Dify 验证知识库对 Agent 效果有没有提升（1 天），确认有价值后再迁移到 Vault + 自建 RAG pipeline（1-2 周）。关键不是工具选型，是建立 retrieval quality 的评估闭环——没有 golden test set 的知识库优化就是盲人摸象。

✓ 关键点

OpenClaw/Claude Code/Cursor/Manus 深度对比 · Agent Loop 差异 · Tool Use 实现 · Memory 策略 · 开发者 vs 消费者定位 · 2026.7 八天四模型（Grok 4.5/GPT-5.6/Muse Spark 1.1/Kimi K3）前沿白热化

✓ 关键点

Orchestration/Guardrails/Eval/Observability/Fallback 五层架构 · Edge AI Harness 实践经验

✓ 关键点

Edge DAU 3M→20M 增长经验 · funnel 分析 · smart nudge · 个性化 · 社区运营

✓ 关键点

任务完成率/用户满意度/效率提升 · eval framework 经验 · implicit feedback · A/B test

✓ 关键点

Edge Copilot multi-tab RAG · context grounding · dynamic chunking · token budget · OpenClaw memory 三层架构

✓ 关键点

反馈分类体系 · NPS 32→58 · implicit feedback · “用户说的≠真实需求” · 量化+定性结合

✓ 关键点

Edge AI Feature Council · 跨时区协调 · 成为技术翻译者 · 统一 eval metric

✓ 关键点

开源优势/性价比/推理能力 · 对比 ChatGPT/Claude · 产品化差距 · 移动端体验 · 2026.7 竞争白热化：Intelligence Index>50 实验室2→6家 · Kimi K3 2.8T参数开源第一 · GPT-5.6 Sol Coding Agent Index 80 · DeepSeek需加速Harness产品化

✓ 关键点

Edge RAI filters · 入/出双向 moderation · jailbreak detection · grounding check

✓ 关键点

多 Agent 系统→编排能力 · iOS App→全栈交付 · DanceFlow→AI+垂直场景 · 从PM到Builder

✓ STAR 关键点

S: Edge用户关注主题但不想每天手动搜索
T: 设计智能监控系统，重要变化时主动通知
A: ①定义"重要变化"信号源(新专利/论文/竞品更新) ②用户兴趣画像(行为推断+明确设定) ③Agent推送策略(频率控制/优先级:breakthrough>incremental/渠道适配) ④闭环验证(打开率/深度阅读/后续动作)
R: Edge smart nudge触发率+35%，7天留存+12%。推送不是越多越好，是"每条都有价值"才能建立信任。

✓ STAR 关键点

S: 研发人员痛点：时间碎片化、信息源分散(专利/论文/博客/竞品)、需要深度非广度
A: ①用户画像拆分(初级=全景/资深=精准监控/管理=趋势判断) ②嵌入工作流 ③高密度结构化呈现(摘要+数据+原文) ④Delta视图("这周有什么新变化")
R: Edge技术用户NPS最高功能="帮我总结关键点"——要效率不要花哨。直接适用Pulse。

✓ STAR 关键点

S: AI产品通病——用户尝鲜后不回来，留存最难
A: ①Habit Loop(触发→行动→30秒扫一眼→奖励→投入调整偏好) ②个性化进化(用越久越懂你) ③社交层(团队内共享/评论/@同事) ④里程碑感("本月你比92%用户更早发现竞品新专利") ⑤融入决策流(导出到立项报告)
R: Edge Copilot DAU翻6倍，核心策略：Passive→Active→Indispensable。

✓ STAR 关键点

三个进化阶段：
1.0 关键词匹配→噪音大用户疲劳
2.0 语义理解+优先级→AI过滤噪音，只推高价值+一句话解读
3.0 主动分析+建议→"这条信息对你意味着什么"、影响FTO分析
实现：用户行为+偏好→兴趣向量→RAG+Reranker筛Top-K→LLM生成insight→Feedback loop
R: Edge中context-aware推送比rule-based打开率高2.3倍。核心不是"推了什么"而是"帮用户省了多少时间"。

✓ STAR 关键点

S: Edge AI功能团队对"多tab对比分析"有争议
T: 在没有足够数据时快速验证产品假设
A: ①周末自己用Chrome Extension+OpenAI API做prototype ②10个内部用户试用一周 ③记录使用场景、频率、反馈 ④带真实数据和用户quote回去讨论
R: 7/10人表示"killer feature"，直接推动Edge Copilot multi-tab RAG进入正式路线图，上线后成为使用率最高功能之一。PM最大说服力=working prototype+真实用户反馈。

✓ 关键点

双Grader框架(Pairwise盲评+Rubric逐条打分) · Orchestrator/Subagent评估架构 · 消除Identity Bias(匿名化) · 多评估者多数投票 · 确定性计算(Python自动化) · Sector-specific skills提升行业准确率 · 评估维度：相关性/时效性/信息密度/可行动性/用户后续行为

✓ Key Points

Edge AI feature — defined primary metric (task completion) + guardrail metrics (latency p95, bounce rate) · 2-week test, 5%→20%→full rollout · Automated monitoring dashboard · Result: task completion +18%, latency within budget · Framework became team standard

✓ Key Points

Silot.ai — speed improvement caused false positive spike · Cohort analysis: edge cases < 2% volume · Business impact calc: $50K savings vs $3K remediation · Shipped with guardrails + phased rollout · Long-term: approval 48h→2h, false positive -62%

✓ Key Points

Edge Copilot — 500+ surveys, 30 interviews → 3 strategic pillars → quarterly OKR breakdown · Bi-weekly sprint reviews across 3 time zones · Monthly stakeholder updates · DAU 3M→20M over 18 months · Roadmap adopted as department strategy

✓ Key Points

AI Feature Council (bi-weekly, rotating chair) · Shared backlog + RICE prioritization · Single source of truth dashboard · Escalation path for conflicts · Time-to-ship -30% · Zero duplicate initiatives · Cross-team satisfaction 3.2→4.5/5

✓ Key Points

Initial hypothesis: users wanted faster responses · Multivariate analysis showed accuracy was #1 driver of repeat usage · Pivoted roadmap to retrieval quality over latency · Saved 2 sprint cycles · User satisfaction +22% next quarter

✓ Key Points

Quarterly customer advisory board · Monthly NPS surveys · Self-serve docs + office hours · Prioritized by adoption impact × effort · Platform adoption 2→5 teams in 6 months · Internal NPS 32→67 · Support tickets -40%

✓ Key Points

Framework: funnel analysis (search→view→book→complete) · Identify biggest drop-off · Hypothesize causes (price transparency, trust signals, UX friction) · Design experiment to test · Primary metric: booking completion rate · Guardrails: average booking value, cancellation rate · Consider supply-side effects on marketplace balance

✓ Key Points

Requirements: 28M+ listings × multiple room types × dynamic rates (seasonality, demand, partner-set) · Sub-200ms read latency for search results · Eventual consistency acceptable (5-min stale OK for browse, real-time for checkout) · Multi-currency, multi-timezone
Architecture: Event-driven pipeline: Partner Rate API → Kafka ingestion → Rate Normalization Service → distributed cache (Redis Cluster) + cold storage (Cassandra) · Write path: rate change events published by partners, normalized (currency, tax, cancellation policy), written to Cassandra, cache invalidated · Read path: Search Service → Cache (hit rate target >95%) → fallback to Cassandra → Rate Assembly (base rate + fees + taxes + promo) · Separate Pricing Intelligence Service: ML model predicts demand elasticity, suggests dynamic markup/discount · Sharding strategy: partition by destination region (geographic locality for cache hit optimization)
Key tradeoffs: Strong consistency vs latency (chose eventual + checkout-time re-validation) · Centralized vs per-region cache (chose per-region for latency, cross-region sync via Kafka MirrorMaker) · Pre-computed vs on-demand rate assembly (hybrid: popular routes pre-computed, long-tail on-demand)
Failure modes: Partner API down → serve cached rates with "prices may vary" badge · Cache stampede → probabilistic early expiration + request coalescing · Rate spike detection → circuit breaker + manual override dashboard
Metrics: p99 read latency, cache hit ratio, rate freshness (avg staleness), checkout price-match rate, revenue per search

✓ Key Points

Problem decomposition: Three competing objectives — user relevance (conversion), partner fairness (impression distribution), business metrics (revenue, margin) · Two-phase architecture: Candidate Retrieval → Ranking
Retrieval layer: Inverted index (Elasticsearch) filtered by hard constraints (dates, location, guests, amenities) · Geo-sharded for regional performance · Returns top-N candidates (N=500-1000)
Ranking layer: Multi-objective Learning-to-Rank model · Features: user signals (search history, booking history, device, loyalty tier), property signals (rating, review count, cancellation rate, photo quality score), contextual signals (trip purpose inference, lead time, group size) · Model: gradient-boosted trees (XGBoost/LightGBM) for interpretability + periodic retraining; exploring neural ranker for personalization lift
Fairness mechanism: Position-based impression guarantee — each partner gets minimum visibility proportional to quality score · Exploration budget: 10% of impressions reserved for new/underexposed listings · Anti-gaming: detect and penalize fake reviews, manipulated availability
API design: /v2/search/rank endpoint: accepts SearchContext (user, intent, constraints), returns RankedResults with explanation metadata (why this position) · Versioned model deployment: shadow scoring → A/B → full rollout · Latency budget: 50ms for re-ranking (total search <300ms)
Edge case experience: At Edge, I built a similar multi-objective system for Copilot content ranking — relevance vs recency vs source authority. Key lesson: don't try to optimize everything in one model; use a cascade (relevance filter → business re-rank → fairness adjustment)

✓ Key Points

Design philosophy: Connected Trip = unified trip graph, not siloed bookings · API must enable cross-BU composition while each BU retains autonomy · RESTful + event-driven hybrid
Core API resources: /v2/trips/{tripId} — aggregate root, contains TripLegs (flight, hotel, transport, activity) · /v2/trips/{tripId}/legs — CRUD for individual legs · /v2/trips/{tripId}/recommendations — cross-sell suggestions based on current trip state · /v2/trips/{tripId}/pricing — bundled pricing with discount rules · /v2/availability/multi — batch availability check across BUs in single call
Orchestration pattern: Saga pattern for multi-BU booking (hotel + flight + car): each BU exposes Reserve → Confirm → Cancel compensating actions · Trip Orchestrator coordinates saga, handles partial failures (hotel confirmed but flight sold out → auto-cancel hotel or offer alternatives) · Idempotency keys on all mutating endpoints · Async webhook notifications for status changes
API versioning & evolution: URL versioning (/v2/) for breaking changes · Additive-only field policy within versions · Sunset header + 6-month deprecation window · Consumer-driven contract testing (Pact) between BUs
Rate limiting & resilience: Per-consumer rate limits (token bucket) · Circuit breaker per downstream BU · Graceful degradation: if transport API is down, still show flight + hotel with "transport unavailable" · Retry with exponential backoff + jitter
Developer experience: OpenAPI 3.1 spec auto-generated from code · Interactive sandbox with test trip data · SDK generation (TypeScript, Python, Java) · Time-to-first-successful-call target: <30 minutes
My experience: At Edge, I designed the AI Feature Harness API — 3-layer design (basic model calls → scenario templates → custom orchestration). Same principle applies here: make simple things easy (book a hotel) and complex things possible (orchestrate a multi-leg trip with conditional pricing). Integration time dropped from 2 weeks to 3 days.

✓ Key Points

Async-first: daily written updates, decisions recorded · Weekly all-hands in overlap window · Shared dashboards replace status meetings · Critical discussions in dual-timezone overlap · Recording + summary for absentees · Result: alignment scores from bottom to top-3, zero releases delayed by timezone

✓ Key Points

Strangler fig pattern · Define migration scope + risk assessment · Parallel run (old + new) with shadow traffic · Feature flag controlled rollout · Rollback plan at every stage · Success metrics: error rate parity, latency budget, feature parity checklist · Stakeholder alignment on timeline + acceptable degradation window

✓ 关键点

Edge Copilot端侧vs云端 · 组织架构评审（延迟/成本/维护性/复杂度） · 混合方案：轻量任务端侧+复杂任务云端+智能路由 · 数据证明延迟-40%且云端成本仅+15% · 70%请求端侧处理 · 模式被3个其他feature复用

✓ 关键点

统一用户意图图谱 · 跨BU数据pipeline（酒店↔机票↔接送机↔保险↔活动） · 上下文感知推荐引擎（目的地/日期/旅客画像） · 面向内部团队的API设计 · 指标：关联购买率、每行程增量收入、用户满意度 · 护栏：不用无关推荐打扰用户

✓ 关键点

Async-first协作模式 · 日常异步更新文档 · 关键决策录屏+写摘要 · 共享Dashboard代替状态会议 · 重要讨论安排在双时区重叠时段 · 结果：团队对齐度前三、零发布延期

✓ 关键点

三层设计（基础调用→场景模板→自定义编排） · 5分钟跑通demo原则 · Playground+交互式文档 · 向后兼容+版本管理 · 集成时间从2周降到3天 · 平台采用从2个团队增到5个

✓ 关键点

Strangler Fig模式 · 迁移范围+风险评估 · 并行运行（新旧同时+shadow traffic） · Feature Flag控制满量 · 每阶段回滚方案 · 成功指标：错误率平齐、延迟预算、功能平齐检查列表

✓ Key Points

Hypothesis: Adding structured amenity tags + verified photos badge to non-standard listings increases booking conversion by reducing information uncertainty.
Primary metric: Booking completion rate (search-to-book) for non-standard listings.
Guardrail metrics: Cancellation rate within 48h (trust signal), host complaint rate, average review score post-stay, page load time.
Randomization unit: Visitor-level (not session) to avoid cross-session contamination. Trigger: only visitors who view ≥1 non-standard listing detail page.
Sample size & duration: MDE = 2% relative lift on 8% base conversion → ~50K visitors per arm. Run 2+ weeks to capture weekday/weekend cycles. No peeking — use sequential testing if early read needed.
Risks & mitigations: SRM — check bucket ratios daily, investigate if >0.1% deviation (common causes: trigger logic bug, bot traffic skew, crash in one variant). Novelty effect — extend to 4 weeks, compare week 1 vs week 3-4 cohort. Multi-experiment conflict — use Booking's layer system, ensure no overlapping experiments on listing page.
Result interpretation: Stat sig (p<0.05) + practical significance (>1% absolute lift justifies engineering cost). Segment analysis: new vs returning users, mobile vs desktop, destination type. If guardrail metric (cancellation) degrades >0.5pp — do NOT ship, investigate expectation mismatch.
My experience: At Edge, I built an AI eval framework that cut experiment decision cycles from 2 weeks to 3 days. Key lesson: automate SRM checks and guardrail alerts — human reviewers miss subtle metric conflicts.

✓ Key Points

Definition: Sample Ratio Mismatch — when actual traffic split deviates significantly from expected (e.g., 50/50 design but observe 51.2/48.8, chi-square p<0.001). Invalidates causal inference because groups are no longer comparable.
Common causes: ① Randomization bug (hash function collision, off-by-one in bucket assignment) ② Trigger logic defect (treatment arm triggers on different criteria than control — e.g., slower page load means some users never trigger) ③ Differential crash/error rate (treatment crashes more → users drop before logging) ④ Bot traffic concentrated in one arm ⑤ Experiment interaction (another experiment redirects traffic) ⑥ Assignment unit ≠ analysis unit mismatch (assign by visitor, analyze by session).
Troubleshooting steps: 1) Confirm SRM is real (chi-square test on daily cohorts, not just cumulative). 2) Check timing — did SRM start day 1 or appear mid-experiment? Day 1 = randomization bug; mid-run = external event or deploy. 3) Segment by platform/region/new-vs-returning to isolate affected population. 4) Check trigger rates per arm — if unequal, trigger logic is suspect. 5) Check error logs / crash rates per arm. 6) If unresolvable — invalidate experiment, fix root cause, re-run.
My experience: At Edge, we caught an SRM caused by a content-loading race condition — treatment arm's heavier JS bundle caused 3% of mobile users to bounce before the tracking pixel fired. Looked like fewer users in treatment, but actually just under-reported. Fix: move tracking to page-load event, not component-render event.

✓ Key Points

Story (Edge Copilot): We observed that users who used Copilot's "summarize page" feature had 2.3x higher 7-day retention. Initial conclusion: summarize feature drives retention → double down on summarize.
The trap: Correlation, not causation. Power users who are already highly engaged (read long articles, visit complex pages) self-select into using summarize. The feature didn't cause retention — the user type caused both behaviors.
How we caught it: Ran a proper A/B — showed summarize button to 50% of NEW users (eliminating self-selection). Result: only +4% retention lift, not 130%. Still positive, but wildly different from observational data.
Lesson: Always ask "what's the selection mechanism?" Observational metrics tell you WHO uses a feature, not WHETHER the feature helps. In Booking context: "users who view 10+ listings book more" doesn't mean showing more listings causes conversion — high-intent users naturally browse more.
Causal inference toolkit: A/B test (gold standard) > Instrumental variables > Diff-in-diff > Propensity score matching > Correlation (weakest). For features you can't easily A/B (e.g., pricing changes with network effects), use quasi-experimental methods + be explicit about assumptions.

✓ Key Points

Framework — Don't default to "ship it anyway":
Step 1: Validate the guardrail signal. Is it stat sig? Is it a known noisy metric? Check effect size — is degradation within acceptable tolerance (pre-defined before experiment)?
Step 2: Understand the mechanism. WHY did the guardrail move? Is it causal (feature directly harms) or compositional (feature attracts different user mix that naturally has higher cancellation)?
Step 3: Segment analysis. Is degradation concentrated in a specific segment (e.g., first-time users, mobile, specific property type)? Can we ship to unaffected segments only?
Step 4: Quantify the tradeoff. Translate both metrics to business value. E.g., +2% conversion = +$X revenue, but +0.5% cancellation = -$Y in ops cost + host dissatisfaction. Net positive? Net negative?
Step 5: Explore mitigation. Can we ship the feature WITH a fix that addresses the guardrail? (e.g., add clearer cancellation policy display to offset expectation mismatch).
Step 6: Decision matrix — Ship as-is / Ship with mitigation / Ship to subset / Don't ship / Run follow-up experiment.
My example: At Silot.ai, speed improvement (+40% faster approval) caused false positive spike (+0.8%). We segmented: edge cases were <2% of volume, $3K remediation vs $50K time savings. Shipped with guardrails: auto-flag edge cases for manual review. Net positive after mitigation.
Key principle for Booking: In a two-sided marketplace, supply-side guardrails (host complaints, listing churn) often matter MORE long-term than demand-side primary metrics. A short-term conversion win that burns hosts is a long-term loss.

✓ Key Points

Problem framing: Non-standard (B&B, vacation rental, apartment) conversion is structurally lower than hotels because: ① Information asymmetry (no brand trust, variable quality) ② Incomplete listings (missing amenities, unclear house rules, few/bad photos) ③ Host responsiveness uncertainty ④ Complex check-in process ⑤ Cancellation policy confusion.
Demand-side interventions: • Trust signals: verified photos badge, "Booking verified" quality tier, structured review highlights (cleanliness, accuracy, communication) • Information completeness: guided listing template that nudges hosts to fill key fields (WiFi speed, parking, check-in method) — show completion % to hosts • Social proof: "X guests booked in last week", similar traveler reviews • Expectation management: clear "what to expect" module comparing to hotel equivalent
Supply-side interventions: • Listing quality score (visible to host) with actionable improvement tips • Photo enhancement service (AI-powered or connect to local photographers) • Response time incentive (badge + ranking boost for <1h response) • Onboarding wizard for new hosts (reduce time-to-first-booking)
Metrics framework: Primary: search-to-book conversion for non-standard listings. Secondary: listing detail page bounce rate, time-to-first-booking for new listings, host response rate. Guardrails: cancellation rate, post-stay review score, host churn rate.
Experiment approach: Start with highest-impact, lowest-effort: verified photos badge (supply-side investment, demand-side trust). A/B on listing detail page. If +ve, expand to search result card. Sequence: trust signals → information completeness → ranking algorithm update.
Booking-specific insight: Hotels have brand as a trust proxy. Non-standard needs Booking itself to BE the trust proxy — platform credibility substitutes for brand credibility.

✓ Key Points

The tension: Three objectives in conflict — ① User: show me the best match (relevance/conversion) ② Host/Partner: give me fair visibility (impression distribution) ③ Platform: maximize revenue (commission × booking value). Optimizing one often harms others.
My framework (from Edge content ranking experience):
Layer 1 — Relevance baseline: ML ranker optimized for user conversion probability (features: user history, property quality, price competitiveness, review scores). This is the foundation — never compromise relevance below a threshold.
Layer 2 — Fairness adjustment: Minimum impression guarantee for qualifying properties. Exploration budget (5-10%) for new/cold-start listings. Anti-gaming detection (fake reviews, availability manipulation).
Layer 3 — Business overlay: Commission-weighted re-ranking ONLY among relevance-equivalent options (position 3 vs 4 among similarly relevant results is fair game for revenue optimization; position 1 vs 20 is not).
Key tradeoffs: • Short-term GMV vs long-term supply health: if you always boost high-commission properties, lower-commission hosts churn → supply diversity decreases → users get worse selection → demand drops. Vicious cycle. • New listing cold-start: no reviews = low relevance score = no visibility = never gets reviews. Solution: time-limited boost + quality signals from listing completeness/photos/host history.
How to measure success: Not just conversion rate. Monitor: Gini coefficient of impression distribution (fairness), host satisfaction survey, listing churn rate, long-tail booking share, revenue per search. Healthy marketplace = all three stakeholders improving over trailing 3M.
Decision rule: One-way door (irreversible supply loss) vs two-way door (adjustable ranking weight). Revenue optimization is two-way door → iterate fast. Host churn is one-way door → be conservative.

✓ Key Points

Why it matters: Incomplete listings → lower conversion → less revenue for host → host blames platform → churn. For non-standard accommodation, this is THE bottleneck (hotels have standardized info; B&Bs don't).
Product mechanisms (carrot + stick + automation):
Carrot: • Listing Quality Score (0-100) visible to host with clear breakdown • Show correlation: "Hosts with 80+ quality score get 3x more bookings" • Ranking boost tied to completeness • Badge system ("Super Host" requires quality score >85)
Stick: • Below minimum threshold → reduced visibility warning • Missing critical fields (photos, cancellation policy) → listing not shown in search • Periodic re-verification requirement for top-tier status
Automation (reduce host effort): • AI photo analysis: auto-tag amenities from uploaded photos • Pre-fill from similar listings: "Most apartments in this area list WiFi speed — add yours?" • Structured template with smart defaults • Guest feedback loop: if 3+ guests ask about parking → prompt host to add parking info • AI-generated description draft from photos + basic info
Experiment plan: Phase 1: Show quality score to hosts (no ranking impact) → measure % who improve. Phase 2: Tie quality score to ranking boost → measure listing completeness improvement + conversion change. Phase 3: Automation features → measure incremental completeness lift + host time-to-complete.
Metrics: Average listing completeness % (weighted by field importance), time-to-complete for new listings, conversion rate by completeness tier, host adoption of improvement suggestions.
Key insight: Don't just tell hosts what's missing — tell them what they'll gain. "Add 3 more photos → estimated +15% views" is more motivating than "Your profile is 60% complete."

✓ Key Points

Step 1 — Validate data: Is it a real drop or data pipeline issue? Check: logging system health, ETL delays, metric definition changes, dashboard bugs. Compare multiple data sources.
Step 2 — Scope the impact: When did it start? (Exact hour/day) How broad? All markets or specific region? All platforms or mobile-only? All property types or just hotels/non-standard? New vs returning users?
Step 3 — External factors: Seasonality (compare YoY same period), major event/holiday shift, competitor promotion (Airbnb sale?), news event (travel advisory, pandemic scare), currency fluctuation in key markets.
Step 4 — Internal changes: Any deployments/releases in the timeframe? Active experiments ramped up? Pricing/commission changes? Marketing campaign ended? SEO ranking drop?
Step 5 — Traffic structure: Did traffic MIX change? (e.g., spike in low-intent browsing traffic from new ad campaign dilutes conversion). Check: traffic source breakdown, intent signals, bounce rate by channel.
Step 6 — Funnel decomposition: Search → listing views → detail page → checkout initiation → payment → confirmation. Where is the biggest incremental drop? This narrows the investigation zone.
Step 7 — Supply-side check: Inventory changes? Price increases by hosts? Availability drops in popular destinations? Rate parity violations?
Step 8 — Root cause & action: Identify most likely cause → validate with data → short-term mitigation (revert deploy, pause experiment, adjust bidding) → long-term fix → post-mortem.
My experience: At Edge, we had a sudden -12% Copilot engagement drop. Turned out: a partner team's unrelated experiment changed page layout, pushing our entry point below the fold on mobile. Cross-experiment interference — caught by automated segment analysis. Fix: experiment collision detection system.

✓ Key Points

Framework — Three layers + time horizon:
Layer 1 — North Star (long-term health): Connected Trip completion rate, or for supply-side: host lifetime value (LTV). Moves slowly, hard to attribute to one feature.
Layer 2 — Primary metrics (feature success): Directly attributable. For a listing improvement feature: booking conversion rate for affected listings. Must be ① measurable ② attributable ③ sensitive enough to detect change within experiment duration.
Layer 3 — Guardrail metrics (don't break things): Cancellation rate, host satisfaction, page performance, cross-BU cannibalization. Define BEFORE launch — not after seeing results.
Time horizon distinction: • 1-week: engagement/adoption metrics (did users interact?) • 1-month: conversion/retention metrics (did behavior change?) • 3-month+: business impact (revenue, LTV, marketplace health)
Common mistakes (Rusty will probe these): • Vanity metrics: clicks/pageviews without downstream conversion • Proxy metrics misaligned with actual goal: optimizing time-on-page when goal is booking • Ignoring counter-metrics: feature increases bookings but also increases cancellations (net zero) • Not pre-registering success criteria → post-hoc rationalization
Booking-specific considerations: Two-sided marketplace means EVERY feature needs both demand-side AND supply-side metrics. A demand-side win that harms supply is not a win. Example: "Show lowest price prominently" increases booking but compresses host margins → host churn → supply shrinks.
My approach: Before any feature spec, I write a "Measurement Plan" doc: hypothesis, primary metric, guardrails, expected effect size, minimum duration, segment analysis plan, decision criteria (ship/iterate/kill). At Edge, this became team standard — eliminated 80% of post-experiment "what does this mean" debates.

✓ Key Points

Decision framework — One-way door vs Two-way door (Booking/Amazon principle):
Two-way door (reversible): Ship fast, learn, iterate. Examples: UI changes, ranking weight adjustments, new badge display. Tech debt is acceptable because you can rewrite later with real data about what works.
One-way door (irreversible/expensive to reverse): Go robust. Examples: data model changes, API contracts consumed by partners, pricing engine architecture. Cost of fixing later >> cost of building right now.
Evaluation criteria: ① Blast radius: how many systems/teams depend on this? (High coupling → go robust) ② Learning value: do we have high uncertainty about what's right? (High uncertainty → go fast, validate, then invest) ③ Accumulation risk: is this the 5th "quick hack" in the same area? (Tech debt compounds → pay it down) ④ Opportunity cost: what else could the team build with the time saved?
My example (Edge): Copilot AI model switching — quick solution: hardcode model per feature. Robust solution: model routing service with fallback chains. We shipped quick first (2 days) to unblock 3 teams, then built robust version over 6 weeks while quick version ran in production. Key: set explicit "debt retirement" date at time of shipping quick version — don't let it become permanent.
Communication: Frame as risk management, not laziness. "I recommend approach A (3 days) with a planned Phase 2 (3 weeks) because: we'll validate the hypothesis before heavy investment; the debt is contained to module X; and we have a scheduled tech debt sprint in Q3." Engineers respect PMs who understand debt but make principled tradeoffs.

✓ Key Points

Rule #1: Never dismiss the concern. "Not feasible" usually means one of: ① Literally impossible (rare) ② Possible but extremely expensive (time/resources) ③ Possible but introduces unacceptable risk ④ Possible but conflicts with existing architecture ⑤ They don't understand the business value (effort feels unjustified).
My approach:
Step 1 — Listen and clarify: "Help me understand the constraint. Is it a hard technical limitation, or a cost/complexity concern?" Understand the root cause before proposing alternatives.
Step 2 — Share the 'why': Often engineers push back because they don't see the user/business impact. Share data: "This affects 40% of non-standard listings, estimated $Xm revenue opportunity." Context changes the conversation.
Step 3 — Explore the solution space together: "Given the constraint, what CAN we do? What's 80% of the value at 20% of the cost?" Co-create alternatives. Three common patterns: scope reduction (subset of use cases), phased delivery (MVP now, full later), architectural pivot (different approach same outcome).
Step 4 — Align on decision: If still no path forward, escalate with data to engineering lead — NOT as "engineer won't do what I want" but as "here's the tradeoff, I need help prioritizing."
My example: At Edge, I wanted real-time personalization for Copilot responses. ML team said "not feasible — model inference too slow for per-request personalization." We explored together and found: cache user embedding + lightweight rerank layer = 90% of personalization value at 10ms latency (within budget). Neither of us would have found this alone.
Anti-pattern: PM who says "just make it work" or goes over engineer's head without first deeply understanding the technical constraint. Ruins trust. Collaboration > authority.

✓ Key Points

Core distinction:
Product Manager (consumer-facing): Optimizes for end-user experience, conversion, engagement. Success = user behavior change. Stakeholders: users, designers, marketers.
Tech PM (platform/infrastructure): Optimizes for developer experience, system reliability, scalability, internal efficiency. Success = other teams ship faster/better. Stakeholders: engineers, internal product teams, sometimes partners.
Key differences: • Customer: Tech PM's "user" is often another engineering team • Metrics: Adoption rate, integration time, system uptime, API latency vs. DAU, conversion, NPS • Roadmap drivers: Technical debt, scalability needs, developer pain points vs. user research, market trends • Trade-off mindset: Long-term architectural health vs. short-term feature velocity • Communication: Must speak engineering language fluently — can challenge architectural decisions, understand system constraints, read code at conceptual level
Why I fit Tech PM: At Microsoft, I straddled both. Built consumer-facing Copilot features (PM hat) AND designed the AI Feature Harness platform used by 5+ teams (Tech PM hat). The platform work required: API design, latency budgets, backward compatibility, developer onboarding, internal NPS tracking. That's exactly what Booking's Tech PM role needs for the property platform.
Booking context: This role sits at the supply-side platform layer — building systems that power listing quality, search ranking, and host experience. Your "users" are partly internal (search team, ranking team) and partly external (hosts via tools). Classic Tech PM territory.

✓ Key Points

Why Booking: Three reasons — ① Experimentation culture: Booking runs thousands of concurrent A/B tests. As someone who built an eval framework at Microsoft, I deeply respect and want to work in an organization where data wins arguments, not politics. ② Marketplace complexity: Two-sided marketplace with supply diversity (28M+ properties from hotels to treehouses) is one of the hardest product problems. The intellectual challenge excites me. ③ Global scale + local nuance: Travel is inherently cross-cultural. My experience working across 3 time zones (Redmond, Shanghai, Bangalore) prepared me for this.
Why this specific role: ① Supply-side platform is where the highest leverage is — improving listing quality and search infrastructure benefits every transaction. I prefer building foundations over features. ② Non-standard accommodation is the growth frontier — hotels are commoditized; unique stays are where Booking differentiates from OTA competitors. The product challenges (trust, information completeness, host tools) map directly to my experience building platforms that serve diverse use cases. ③ Tech PM specifically — I'm most energized when working at the system layer, designing APIs, debating architecture trade-offs with engineers, and measuring platform health. That's what I did at Microsoft and what I want to keep doing.
Personal connection (brief): I'm an active Booking user — booked 15+ stays across 8 countries. I've experienced first-hand the information gap in non-standard listings (booked an apartment in Lisbon that listed "central location" but was actually 40 minutes from center). I want to solve that from the inside.
Keep it under 2 minutes. Don't over-explain.

✓ Key Points

Use: Edge AI Evaluation Framework (most transferable to Booking's experiment culture)
Layer 1 — The problem: Edge Copilot team running 20+ experiments/quarter but decision cycle was 2 weeks. PMs couldn't trust results — no standardized guardrails, inconsistent metric definitions, peeking was rampant.
Layer 2 — Your hypothesis: If we build an automated eval pipeline with pre-registered metrics, guardrail monitoring, and SRM detection, we can cut decision time to 3 days while improving decision quality.
Layer 3 — Alternatives considered: (a) Manual review with better templates (cheap but doesn't scale) (b) Third-party experimentation platform (expensive, not customized to AI feature evaluation) (c) Build in-house (chosen — high investment but exact fit for AI-specific metrics like response quality, hallucination rate).
Layer 4 — How you measured success: Primary: time-to-decision (2 weeks → 3 days). Secondary: experiment invalidation rate due to methodology errors (18% → 3%). Guardrail: false ship rate (shipped features later reverted).
Layer 5 — Obstacles: (a) Engineering pushback — "we already have dashboards" → showed data: 40% of past experiments had methodological flaws caught only in post-mortem (b) Cross-team alignment — 5 teams with different metric definitions → standardization workshop, political negotiation (c) Negative experiment: first version's auto-stop feature triggered false positives → iterated with conservative thresholds.
Layer 6 — Outcome & retrospective: Decision cycle 2w→3d. Framework adopted by 5 teams (became department standard). 3 experiments caught with SRM that would have shipped bad features. If I redid it: would invest more in self-serve onboarding earlier — adoption was slow because teams needed hand-holding.
Rusty follow-up traps to prepare for: "How did you know 3 days was the right target?" (benchmarked against Booking's published experiment cadence). "What if the framework rejects a feature your VP wants?" (data wins — show the evidence, escalate if needed). "Was the 18%→3% improvement real or did people just stop reporting errors?" (tracked independently via automated detection, not self-report).

✓ 关键点

假设：为非标房源添加结构化设施标签+认证照片徽章，通过减少信息不确定性提升预订转化率。
主指标：非标房源的搜索到预订转化率。
护栏指标：48h内取消率（信任信号）、房东投诉率、入住后评分、页面加载时间。
随机单元：Visitor级别（非session），Trigger条件=浏览≥1个非标房源详情页。
样本量：基准转化8%，MDE=2%相对提升 → 每组~5万访客，至少跑2周覆盖工作日/周末。
风险：SRM → 每日检查桶比例；新奇效应 → 延长到4周对比第1周vs第3-4周；实验冲突 → 使用分层系统。
结果解读：统计显著(p<0.05) + 实际业务显著(>1%绝对提升)。分层分析：新老用户、移动端/桌面端。若取消率恶化>0.5pp → 不上线。
我的经验：在Edge建的AI评估框架把实验决策周期从2周压到3天，核心是自动化SRM检查和护栏告警。

✓ 关键点

定义：样本比例不匹配 — 实际流量分配显著偏离设计（如设计50/50但观测到51.2/48.8）。因果推断失效，因为组间不再可比。
常见成因：①随机分桶bug（hash碰撞）②Trigger逻辑缺陷（实验组触发条件不同）③差异崩溃率（实验组崩溃多→用户流失在记录前）④Bot流量集中在一组 ⑤实验互相干扰 ⑥分配单元≠分析单元。
排查步骤：1)确认SRM是否真实（逐日卡方检验）2)定位时间点（第一天=随机bug；中途出现=外部事件/部署）3)按平台/地区/新老用户分层定位 4)检查每组trigger率 5)检查错误日志/崩溃率 6)无法解决→作废实验，修复根因后重跑。
踩坑案例：Edge有一次SRM是内容加载竞态条件 — 实验组JS bundle更大导致3%移动端用户在tracking像素触发前就跳走了。修复：tracking移到page-load事件而非组件渲染事件。

✓ 关键点

案例（Edge Copilot）：观察到使用"摘要"功能的用户7日留存高2.3倍。初始结论：摘要功能驱动留存 → 加大投入。
陷阱：相关不是因果。高参与度的Power User本身就更活跃（读长文、访问复杂页面），自选择进入摘要功能。不是功能导致留存，是用户类型同时导致了两个行为。
如何发现的：对新用户跑A/B — 50%看到摘要按钮。结果：仅+4%留存提升，非130%。仍是正向，但远小于观察数据。
教训：永远问"选择机制是什么？" 观察指标告诉你WHO在用功能，不是功能WHETHER有帮助。Booking语境："浏览10+房源的用户转化更高"不代表展示更多房源能提升转化 — 高意向用户自然浏览更多。
因果推断工具箱：A/B（金标准）> 工具变量 > 双重差分 > 倾向得分匹配 > 相关性（最弱）。

✓ 关键点

框架 — 不要默认"照样上线"：
第1步：验证护栏信号。统计显著吗？效应量在预设容忍范围内吗？
第2步：理解机制。护栏WHY变差？是功能直接伤害，还是用户构成变化？
第3步：分层分析。恶化是否集中在特定人群？能否只对未受影响人群上线？
第4步：量化权衡。两个指标各折算成业务价值。+2%转化=$X收入 vs +0.5%取消率=-$Y运营成本。
第5步：探索缓解方案。能否带修复一起上线？（如添加更清晰的取消政策展示）
第6步：决策矩阵 — 直接上/带修复上/部分上/不上/追加实验。
我的案例：Silot.ai速度提升(+40%审批更快)导致假阳性+0.8%。分层：边缘案例<2%流量，$3K补救 vs $50K节省。带护栏上线：边缘案例自动标记人工复核。
Booking关键原则：双边市场中，供给侧护栏（房东投诉、房源流失）长期重要性 > 需求侧主指标。短期转化赢但伤害房东 = 长期输。

✓ 关键点

问题定义：非标（民宿/公寓/别墅）转化率结构性低于酒店，因为：①信息不对称（无品牌信任）②房源信息不完整（设施、规则、照片）③房东响应不确定 ④入住流程复杂 ⑤取消政策不清。
需求侧手段：• 信任信号：认证照片徽章、质量分层、结构化评价亮点 • 信息补全：引导模板+完成度% • 社会证明："上周X位客人预订" • 预期管理："与酒店对比"模块
供给侧手段：• 房源质量分（对房东可见）+改进建议 • 照片增强服务 • 响应时间激励（<1h响应=徽章+排名加分）• 新房东入门向导
指标：主：非标搜索到预订转化。次：详情页跳出率、新房源首单时间、房东响应率。护栏：取消率、入住后评分、房东流失率。
实验路径：从高杠杆低成本开始（认证照片徽章）→ 信息完整度 → 排序算法更新。
关键洞察：酒店有品牌做信任代理。非标需要Booking本身成为信任代理 — 平台信誉替代品牌信誉。

✓ 关键点

矛盾：三方目标冲突 — ①用户：给我最匹配的（相关性/转化）②房东：给我公平曝光 ③平台：最大化收入（佣金×预订额）。
我的框架（来自Edge内容排序经验）：
第1层 — 相关性基线：ML模型优化用户转化概率，这是底线不可妥协。
第2层 — 公平性调整：合格房源最低曝光保证；5-10%探索预算给新/冷启动房源；反作弊检测。
第3层 — 商业叠加：仅在相关性相近的选项间做佣金加权重排（第3vs第4可以，第1vs第20不行）。
关键权衡：• 短期GMV vs 长期供给健康：总推高佣金房源→低佣金房东流失→供给多样性下降→用户选择变差→需求下降。恶性循环。• 新房源冷启动：无评价=低相关=无曝光=永远无评价。解法：限时加分+从listing完整度/照片/房东历史推断质量。
成功衡量：不只看转化率。监控：曝光Gini系数（公平性）、房东满意度、房源流失率、长尾预订占比、每次搜索收入。健康市场 = 三方在trailing 3M都改善。
决策规则：房东流失是One-way door → 保守。排序权重是Two-way door → 快速迭代。

✓ 关键点

为什么重要：信息不完整→转化低→房东收入少→怪平台→流失。对非标住宿这是核心瓶颈。
产品机制（胡萝卜+大棒+自动化）：
激励：• 质量分(0-100)对房东可见+清晰拆解 • 展示相关性："80+分的房东获得3倍预订" • 排名加分绑定完整度 • 徽章系统（超级房东需>85分）
约束：• 低于最低阈值→降权警告 • 缺少关键字段（照片/取消政策）→不出现在搜索 • 顶级状态需定期重新验证
自动化（降低房东工作量）：• AI照片分析自动识别设施 • 从相似房源预填："这个区域大多数公寓都列了WiFi速度——添加你的？" • 客人反馈循环：3+客人问停车→提示房东补充 • AI从照片+基本信息生成描述草稿
实验计划：Phase 1: 仅展示质量分（无排名影响）→ 看多少人主动改进。Phase 2: 质量分关联排名 → 看完整度提升+转化变化。Phase 3: 自动化 → 看增量完整度提升。
关键洞察：不要只告诉房东缺什么 — 告诉他们会得到什么。"多加3张照片 → 预估浏览量+15%" 比 "你的资料完成度60%" 有效得多。

✓ 关键点

第1步 — 数据验证：真实下跌还是数据管道问题？检查logging系统、ETL延迟、指标定义变更。
第2步 — 界定范围：何时开始？多广？全市场还是特定地区？全平台还是移动端？全房源类型？新老用户？
第3步 — 外部因素：季节性（同比去年同期）、大事件/节假日偏移、竞品促销、旅行禁令、汇率波动。
第4步 — 内部变更：时间窗内有发布/上线？实验放量？定价/佣金变化？营销活动结束？SEO排名下跌？
第5步 — 流量结构：流量MIX变了？（如新广告带来大量低意向浏览流量稀释转化）。检查：来源拆分、意向信号、跳出率。
第6步 — 漏斗拆解：搜索→列表浏览→详情页→发起结账→支付→确认。最大增量下跌在哪一步？
第7步 — 供给侧：库存变化？房东涨价？热门目的地可用房减少？
第8步 — 根因&行动：定位最可能原因 → 数据验证 → 短期止血（回滚/暂停实验）→ 长期修复 → 复盘。
我的案例：Edge Copilot参与度突降12%。原因：合作团队的无关实验改了页面布局，把我们的入口在移动端推到了首屏以下。交叉实验干扰 — 被自动分层分析捕获。解法：建了实验碰撞检测系统。

✓ 关键点

三层框架+时间维度：
第1层 — 北极星（长期健康）：Connected Trip完成率或供给侧房东LTV。变化慢，难归因单一功能。
第2层 — 主指标（功能成功）：可直接归因。必须①可衡量 ②可归因 ③足够敏感在实验期内检测到变化。
第3层 — 护栏指标（别搞坏别的）：取消率、房东满意度、页面性能、跨BU蚕食。上线前定义，非看结果后定。
时间维度：• 1周：参与/采用指标 • 1月：转化/留存 • 3月+：收入、LTV、市场健康
常见错误（Rusty会追问）：• 虚荣指标：点击/PV没有下游转化 • 代理指标偏差：优化页面停留时间但目标是预订 • 忽略反向指标：转化涨但取消也涨=净零 • 不预注册成功标准→事后合理化
Booking特殊性：双边市场=每个功能都需要需求侧+供给侧指标。需求侧赢但伤害供给不是赢。
我的做法：功能spec前先写"度量计划"：假设、主指标、护栏、预期效应量、最短时长、分层分析计划、决策标准。在Edge这成了团队标准 — 消除80%实验后"这是什么意思"的争论。

✓ 关键点

决策框架 — One-way door vs Two-way door：
Two-way door（可逆）：快速上线，学习，迭代。例：UI变更、排序权重、新徽章。技术债可接受因为之后可重写。
One-way door（不可逆/逆转成本高）：走稳健。例：数据模型变更、partner消费的API契约、定价引擎架构。
评估标准：①爆炸半径：多少系统/团队依赖？（高耦合→稳健）②学习价值：不确定性高？（高不确定→快速验证再投资）③累积风险：同一区域第5个quick hack了？（技术债复利→还债）④机会成本：省下的时间团队能做什么？
我的案例：Edge Copilot模型切换 — 快方案：硬编码每个功能的模型（2天）。稳健方案：模型路由服务+降级链（6周）。先上快版本解锁3个团队，同时用6周建稳健版。关键：上线快版本时明确设定"债务偿还日" — 不让临时方案变永久。
沟通方式：框架为风险管理而非偷懒。"推荐方案A(3天)+计划中Phase 2(3周)，因为：验证假设后再重投资；债务限定在模块X；Q3有排期的技术债sprint。" 工程师尊重理解技术债但做出有原则权衡的PM。

✓ 关键点

规则#1：永远不要否定对方的concern。"不可行"通常意味着：①字面不可能（少见）②可以但极贵 ③可以但风险不可接受 ④可以但与现有架构冲突 ⑤他们不理解业务价值（觉得投入不值）。
我的方法：
第1步 — 倾听和澄清："帮我理解约束。是硬性技术限制，还是成本/复杂度的concern？"先搞清根因再提方案。
第2步 — 分享"为什么"：工程师拒绝通常因为看不到影响。分享数据："这影响40%非标房源，预估$Xm收入机会。"上下文改变对话。
第3步 — 一起探索解空间："考虑到约束，我们能做什么？80%价值20%成本的方案是什么？" 共创替代方案。三种常见模式：范围缩减/分阶段交付/架构转向。
第4步 — 如果仍无路径 → 带数据升级到engineering lead。不是"工程师不听我的"而是"这是tradeoff，需要帮助做优先级决策"。
我的案例：Edge想做Copilot实时个性化。ML团队说不可行（推理延迟太高）。一起探索发现：缓存用户embedding + 轻量rerank层 = 90%个性化价值只需10ms延迟。谁单独都想不到。
反模式：PM说"想办法做到"或跳过工程师直接找leader。摧毁信任。协作 > 权力。

✓ 关键点

核心区别：
Product Manager（面向消费者）：优化终端用户体验、转化、参与度。成功=用户行为改变。利益相关者：用户、设计师、市场。
Tech PM（平台/基础设施）：优化开发者体验、系统可靠性、可扩展性。成功=其他团队交付更快/更好。利益相关者：工程师、内部产品团队。
关键差异：• 客户：Tech PM的"用户"通常是另一个工程团队 • 指标：采用率、集成时间、系统运行时间、API延迟 vs DAU、转化、NPS • 路线图驱动：技术债、扩展性、开发者痛点 vs 用户研究、市场趋势 • 权衡思维：长期架构健康 vs 短期功能速度 • 沟通：必须能流利说工程语言 — 挑战架构决策、理解系统约束
为什么我匹配Tech PM：在微软同时做了两个角色。做面向消费者的Copilot功能（PM帽子）也设计了5+团队使用的AI Feature Harness平台（Tech PM帽子）。平台工作需要：API设计、延迟预算、向后兼容、开发者入门、内部NPS追踪。这正是Booking Tech PM需要的。
Booking语境：这个岗位在供给侧平台层 — 建设支撑房源质量、搜索排序、房东体验的系统。"用户"部分是内部（搜索团队、排序团队）部分是外部（房东通过工具）。典型Tech PM领地。

✓ 关键点

Why Booking：三个原因 — ①实验文化：Booking每年跑数千个并发A/B test。作为在微软搭建eval框架的人，我深度尊重数据赢而非政治赢的组织文化。②Marketplace复杂度：28M+房源的双边市场是最难的产品问题之一。智力挑战让我兴奋。③全球规模+本地洞察：旅行天然跨文化。我3个时区协作的经验为此准备。
Why this specific role：①供给侧平台是最高杠杆 — 提升房源质量和搜索基础设施惠及每笔交易。我偏好建基础而非做功能。②非标住宿是增长前沿 — 酒店已商品化；独特住宿是Booking区别于OTA竞品的地方。产品挑战（信任、信息完整度、房东工具）直接映射我的平台经验。③Tech PM specifically — 我最有能量的时刻是在系统层工作，设计API、和工程师讨论架构tradeoff、衡量平台健康。这是我在微软做的，也是我想继续做的。
个人连接（简短）：我是Booking活跃用户 — 8个国家15+次预订。亲身经历过非标房源的信息差（里斯本的公寓标"中心位置"实际40分钟车程）。想从内部解决这个问题。
控制在2分钟内。不要过度解释。

✓ 关键点

用：Edge AI评估框架（最可迁移到Booking实验文化）
第1层 — 问题：Edge Copilot团队每季度跑20+实验但决策周期2周。PM不信任结果 — 无标准化护栏、指标定义不一致、偷看结果普遍。
第2层 — 假设：如果建自动化eval pipeline（预注册指标+护栏监控+SRM检测），能把决策时间压到3天同时提升决策质量。
第3层 — 备选方案：(a)更好的模板做人工审核（便宜但不scale）(b)第三方实验平台（贵且不适配AI特定指标）(c)自建（选择 — 投资大但完全适配AI评估如回答质量、幻觉率）。
第4层 — 成功衡量：主：决策时间（2周→3天）。次：方法论错误导致的实验作废率（18%→3%）。护栏：错误上线率（上线后又回滚的功能）。
第5层 — 障碍：(a)工程pushback"我们已经有dashboard了" → 展示数据：过去40%实验有方法论缺陷只在复盘时才发现 (b)跨团队对齐 — 5个团队不同指标定义→标准化workshop+政治谈判 (c)负面实验：第一版auto-stop功能误触发→保守阈值迭代。
第6层 — 结果&复盘：决策周期2周→3天。5个团队采用（成为部门标准）。3个SRM实验被拦截（否则会上线坏功能）。如果重做：更早投入self-serve入门 — 采用慢因为团队需要手把手教。
Rusty追问陷阱准备："3天这个目标怎么定的？"（对标Booking公开的实验节奏）。"如果框架拒绝了VP想要的功能怎么办？"（数据赢 — 拿证据，需要时升级）。"18%→3%的改善是真的还是大家不报错了？"（独立追踪通过自动检测，非自我汇报）。

✓ 关键点

分层架构（基础Agent Runtime → 编排引擎 → 场景模板）· DAG式工作流定义 · Agent间通信协议（消息传递/共享状态/事件驱动）· 可视化编排界面 · 调试与可观测性（trace/log/replay）· 容错（重试/降级/熔断）· OpenClaw实战：11个Agent协同，skill分发+memory持久化

✓ 关键点

三层框架：基础能力用开源（降本）→ 核心差异化用商业API/自研 → 领域适配自研 · 评估流程：benchmark对比→试点→灰度→替换 · License合规审查 · 社区贡献策略（吸引人才+品牌建设）· 开源模型版本追踪自动化

✓ 关键点

模型注册中心（版本/元数据/血缘）· 训练Pipeline编排（数据准备→训练→评估→发布）· 模型服务化（多模型路由/灰度/AB）· 监控告警（性能衰退检测/数据漂移）· Prompt版本管理（Git-like工作流）· 回滚机制（一键回退到上一个稳定版本）· 成本核算（GPU用量/API调用/推理成本）

✓ 关键点

RESTful基础 + Streaming API（SSE/WebSocket）+ GraphQL灵活查询 · 分层设计（低阶精细控制→高阶场景封装）· SDK多语言支持 · Playground交互式调试 · 5分钟Quickstart · Rate limiting + 优雅降级 · 开发者门户（文档/示例/社区）· DX指标：首次调用成功时间(TTFS)

✓ 关键点

版本控制（Git-like diff/merge/branch）· A/B测试（多prompt同时在线对比）· 模板库（行业场景预设prompt）· 变量管理（动态参数注入）· 效果追踪（每个prompt版本的metrics关联）· 协作编辑（多PM/工程师协同迭代）· 安全审查（敏感信息/注入攻击检测）· 成本预估（token消耗预测）

✓ 关键点

评估维度：任务准确率 · 推理延迟 · 部署成本（显存/吞吐）· License合规 · 社区活跃度 · 私域数据微调难度 · 长期维护风险 · 实操流程：① 公开benchmark初筛 → ② 领域golden test set精评 → ③ 部署压测 → ④ 灰度对比 → ⑤ 全量切换 · 工具：LM Eval Harness、vLLM/TGI部署、Weights & Biases追踪

✓ 关键点

行业趋势：从1.0（拼卫星数量/分辨率）到2.0（全域感知+在轨计算+智能情报一体化）· 价值跃迁：从"卖图像"到"卖判断"，对标Palantir · 技术关键词：在轨AI推理、图模型+图RAG、六维研判 · AI平台的角色：为遥感数据处理pipeline提供模型管理、Agent编排、效果评估能力 · 虽无直接遥感经验，但AI平台能力高度可迁移——模型管理、评估体系、API设计与行业无关

✓ 关键点

大厂PM：深度专精、流程完善、资源充足、影响力靠alignment · 创业PM：全栈打杂、快速迭代、资源有限、影响力靠execution · 我的优势：两段经历都有——Silot.ai创业期5人团队从0到1，微软大厂规模化迭代 · 创业公司核心能力：优先级判断力（资源少必须砍需求）、动手能力（不能等工程师排期）、容忍模糊性（需求不完整也得往前走）

✓ 参考回答要点

• 核心定位：不是通用ChatBot，是"懂旅行的AI管家"——类似我在微软做Copilot的定位，不是通用助手而是"懂浏览场景的AI"
• 四层架构（来自Picasso经验）：① 上下文编排层（旅行专属intent分类+多轮上下文管理）→ ② 知识检索层（实时航班/酒店/签证RAG，参考Picasso的Context Grounding Layer）→ ③ 记忆与个性化层（三层记忆架构：Working Memory/Session Summary/Persistent Memory，记住用户旅行偏好）→ ④ 行动执行层（Agent直接下单/改签）
• 差异化：融入携程独有数据资产（2亿用户行为+供应链实时库存），这是Copilot不具备的商业闭环优势
• 评测体系（来自Picasso Hybrid Eval Pipeline）：LLM Judge + 规则检查（价格/日期准确性）+ 人工抽样校准，Copilot经验证明纯LLM Judge一致性只有67%，hybrid方案拉到89%
• 中台化设计：参考Picasso Feature Harness，业务线只需定义prompt+tool即可接入，接入成本O(1)
• 冷启动策略：先做高频场景（航班查询/酒店推荐），用数据验证再扩展长尾

✓ 参考回答要点

• 核心模块（来自Picasso Feature Harness实践）：对话引擎 / 上下文编排 / 知识库管理（RAG）/ 记忆系统 / 推荐引擎 / 用户画像 / Eval Pipeline / Safety层
• API设计原则：业务无关的通用层（对话管理、context注入、记忆管理、安全过滤）+ 业务插件层（酒店/机票/租车各自的tool和prompt模板）
• Picasso实践：在微软我设计的Harness架构就是这个思路——共享基础设施，业务线只需定义prompt+tool，接入成本O(1)，新feature接入从2周降到2天
• 关键挑战：跨业务线数据打通 vs 数据隔离的平衡；携程比微软更有优势的是全品类交易数据天然可以打通
• 度量：新业务线接入时间、API调用成功率、端到端延迟、对话质量评分（参考Picasso的Hybrid Eval Pipeline）

✓ 参考回答要点

• 情感识别：通过用户措辞判断情绪状态（焦虑/兴奋/纠结），调整回复tone——在Picasso中我们设计了intent-aware summarization，先理解用户为什么问，再决定回答策略和语气
• 场景化表达：不说"以下是3个酒店"，说"根据你带孩子出行，我挑了3个亲子友好的酒店"——这需要记忆系统支撑（Picasso三层记忆架构中的Persistent Memory记住用户家庭信息）
• 记忆与连续性：记住用户偏好（"你上次去三亚住了亚特兰蒂斯，这次要不要试试……"）——Copilot经验证明，跨session记忆让用户"重复提问"率下降40%
• 主动关怀：行程前提醒天气/签证/汇率，行程中问"今天玩得开心吗"——类比Picasso的smart nudge机制，基于context主动触发
• 边界：不过度拟人，保持"专业助手"定位而非"假装朋友"——Copilot的教训是NPS问题的根因往往不是用户说的那个

✓ 参考回答要点

• 分级响应：紧急（航班取消）→ 秒级推送+自动查替代方案+一键转人工；一般（签证咨询）→ RAG检索+知识库回答
• Agent能力：自动调用航班API查替代航班、酒店API延住、保险API报案
• 人机协作：AI做信息收集和方案准备，复杂case（索赔/投诉）快速转人工+传递完整上下文
• 多语言：海外场景需要当地语言支持，至少覆盖英/日/韩/泰
• Degradation plan：网络差时离线缓存关键信息（使馆电话/紧急联系人）

✓ 参考回答要点

• 新用户：引导式对话收集偏好（预算/出行人数/兴趣），推荐热门+高评分——Picasso的冷启动策略：利用搜索意图+季节+地理位置做基础推荐
• 老用户（Picasso Persistent Memory应用）：基于三层记忆架构中的持久记忆做协同过滤，“你去过XX，可能喜欢YY”
• 高端用户：专属推荐逻辑（私人定制/小众目的地/VIP服务），tone更正式——Copilot经验：intent-aware summarization根据用户类型调整回答策略和tone
• A/B验证（Picasso方法论）：每种策略都需要实验数据支持，不能拍脑袋——在Copilot中我们A/B test 3种策略，用数据驱动决策

✓ 参考回答要点

• 北极星指标：AI辅助转化率（通过问道完成预订的比例）
• 体验指标：任务完成率、平均对话轮次、用户满意度（CSAT/NPS）——Picasso经验：NPS是最敏感的用户体验指标，我们通过intent-aware summarization将NPS从32拉到58
• 效率指标：首次响应时间、人工转接率、单次对话成本
• 留存指标：7天/30天回访率、功能渗透率——Picasso经验：我们用AI Feature Funnel（曝光→触发→完成→留存）找到关键drop-off点
• 业务指标：客单价提升、交叉销售率、退订减少率
• 关键（Picasso方法论）：指标要分层（北极星→一级→二级），类似Picasso的Universal Topline Metrics，避免指标冲突时无法决策

✓ 参考回答要点

• Hybrid Eval Pipeline（Picasso实战经验）：LLM Judge（80%覆盖）+ 规则检查（价格/日期/航班号准确性）+ 人工抽样校准
• 教训：我在Copilot项目中最初用纯LLM-as-Judge，发现一致性只有67%（positional bias + fluency bias），后来重新设计hybrid方案拉到89%
• 多维评分：事实准确性 / 时效性 / 相关性 / 完整性 / 安全性
• Golden Test Set：按场景分类的标准Q&A对，每周回归——Picasso中我们按场景建了300+条Golden Test，覆盖各种intent
• Eval of Eval：每月抽样100条对比自动评分vs人工评分的一致性，持续校准
• Quality Gate（Picasso核心实践）：每次prompt/模型变更必须过自动eval，merge前强制检查
• 旅游特殊性：信息时效性极强（航班/价格实时变化），需要时效性专项检查——类似Picasso中对页面内容时效性的TTL机制

✓ 参考回答要点

• Funnel分析：曝光→触发→完成→转化，找最大drop-off点
• Bad Case挖掘：按负反馈聚类，找共性模式（如"改签类问题回答差"）
• 用户分群对比：高频用户vs流失用户的使用路径差异
• Implicit Signal：复制/分享/收藏行为作为正向信号，快速关闭作为负向信号
• 竞品对比：同样问题在飞猪/美团的回答质量benchmark

✓ 参考回答要点

• 非确定性输出：同一prompt不同次结果不同，需要更大样本量——Picasso经验：我们用Golden Test Set + 多次采样取均值来解决这个问题
• 指标延迟：AI影响可能是长期的（用户信任建立），不能只看短期
• Guardrail指标（Picasso实践）：除主指标外必须监控安全性、延迟、成本——在Copilot中我们的Quality Gate包含eval回归+安全检查+性能监控
• 分流策略：按用户而非按请求分流，避免同一用户体验不一致
• Prompt版本管理（Picasso架构）：A/B不只是功能开关，还包括prompt版本、模型版本——Picasso的Harness原生支持多版本prompt并行实验
• 实践：先5%→验证安全→20%→验证效果→全量，这是Picasso发布的标准流程

✓ 参考回答要点

• 实时性：航班/价格/库存秒级变化，LLM训练数据有滞后，必须RAG+实时API——我在Picasso中设计的Context Grounding Layer就是解决这个问题：静态知识用索引，动态数据用实时API直查不走RAG
• 幻觉：旅游信息错误代价高（错误签证信息→用户出不了境），需要Grounding Check——Picasso经验：Citation Injection（每条回答标注数据来源）将幻觉率从15%降到3%
• 多意图："帮我订下周去东京的机票和酒店，顺便查签证"→ 多任务并行编排——Picasso的上下文编排层支持intent routing和多任务并行调度
• 解法：RAG保时效 + 规则引擎保准确 + Agent架构保多步执行 + 人工兜底保安全
• Picasso实践：这套方案在Copilot中经过千万级用户验证，可直接迁移到旅游场景

✓ 参考回答要点

• 数据分层（Picasso Context Grounding实践）：静态知识（景点介绍/签证政策）→ 低频更新索引；动态数据（价格/库存）→ 实时API直查不走RAG——这是我在Picasso中验证过的最佳实践
• Hybrid检索（Picasso架构）：向量语义搜索 + BM25关键词 + 元数据过滤（目的地/日期/类型），在Copilot中将召回准确率提升15%
• 时效性保障：TTL机制（签证政策7天/价格实时/攻痥30天），过期自动标记重新检索——参考Picasso的TTL模块
• Chunking策略：旅游内容需保留结构（酒店→房型→价格→评价），不能无脑按token切
• Citation Injection（Picasso核心经验）：每条回答标注数据来源，无源降级为“仅供参考”，将幻觉率从15%降到3%
• 质量监控：定期抽检RAG召回内容的准确性和时效性，纳入Eval Pipeline自动回归

✓ 参考回答要点

• 三层记忆架构（Picasso实战经验）：Working Memory（最近N轮完整保留）+ Session Summary（压缩历史，保留关键identifier如目的地/航班号/酒店名）+ Persistent Memory（用户偏好持久化）
• 话题切换检测（Picasso设计）：intent classifier识别新话题，保存当前话题状态，允许回切——旅游场景天然需要（用户可能中途问天气再回到行程规划）
• Slot Filling：旅行场景天然适合槽位填充（目的地/日期/人数/预算），跨轮次累积——Picasso的Working Memory直接支持这个模式
• 关键教训（Picasso实践）：压缩历史时必须保留identifier（目的地名/航班号/酒店名），否则recall失败——我们在Copilot中因压缩丢失identifier导致过一次严重体验问题
• Token Budget动态分配（Picasso架构）：system prompt / memory / 当前对话三者竞争空间，根据场景自动调整，结果：多轮对话完成率提升23%，“重复提问”率下降40%

✓ 参考回答要点

• Pipeline优势：确定性高、延迟低、成本低、易调试；适合标准化查询（航班查询/价格比较）
• Agent优势：灵活、多步推理、能处理模糊需求；适合复杂规划（多目的地行程/突发变更）
• 最佳实践（Picasso经验）：Hybrid——简单intent用pipeline秒回，复杂任务走Agent。Picasso中我们的Context Orchestration层就是做这个路由决策
• 旅游特殊性：涉及多个外部API（航班/酒店/签证/天气），Agent的tool-use能力关键——Copilot的tool-use架构可直接复用
• 成本考量：Agent单次调用$0.1+ vs Pipeline $0.001，需要按场景ROI决策——Picasso的成本追踪模块能实时监控这个指标

✓ 参考回答要点

• 携程：全品类+国际化，问道AI助手覆盖全旅行链路，数据飞轮优势（2亿用户+全品类交易）——最接近Copilot的“全场景AI助手”定位
• 飞猪：阿里生态+通义千问深度集成，依托淘系流量和支付能力，AI偏交易驱动
• 美团：本地生活+高频数据，AI切入点是“吃住行游购娱”高频决策，到店场景强
• 差异化建议：携程应聚焦非标品个性化推荐（定制游/跟团游）+ 跨品类行程规划 + 国际化多语言服务——我在Copilot的经验证明，全品类数据打通后的跨场景推荐是最大竞争壁垒
• 关键：不是比谁模型强，是比谁的数据飞轮转得快——这点携程有天然优势

✓ 参考回答要点

• 出境游：多语言支持、签证政策复杂度、时区/汇率/文化差异、紧急情况处理
• 国内游：高频低客单价、即时决策多、本地化POI数据丰富、社交分享重要
• 技术差异：出境需要多语言RAG+离线能力；国内可更依赖实时API
• 商业差异：出境游客单价高，AI投入ROI更高；国内游用户量大，需注重效率
• 建议：先做出境游（高价值+强痛点），再扩国内

✓ 参考回答要点

• AI Agent化服务：从"搜索-比价-下单"变成"告诉AI你想去哪，它搞定一切"
• 非标品个性化：定制游/跟团游/特种旅游，AI能解决信息不对称
• 多模态体验：拍照识别景点、语音实时翻译、AR导览
• 供应链AI优化：动态定价、库存预测、智能采购
• 最大机会：谁先实现"一句话出行"的无摩擦体验，谁就赢

✓ 参考回答要点

• 不确定性更高：AI产品误差多，需要更快迭代周期和更强容错文化
• 技能要求：PM需要理解技术边界（prompt能做什么不能做什么），不能纯管理
• 评估体系：传统产品看DAU/转化，AI产品还要看质量/安全/成本
• 协作模式：研究员+工程师+PM三角，而非传统的PM+开发+测试
• 节奏：每周迭代而非每月，因为模型和prompt可以快速调整

✓ 参考回答要点

• ICE框架（Picasso实践）：Impact×Confidence×Ease，每2周重排优先级——我在Copilot项目中用这套框架管理了4个并行AI feature
• 分档：All-in（1个）/ Maintain（2个）/ Bug-fix only（1个）
• Kill Criteria（Picasso核心实践）：每个项目定义明确的放弃条件，避免僵尸项目——在Copilot中我用这个机制成功砍掉了没有PMF的feature
• 平台化杠杆：把重复工作抽象成Harness，让团队专注差异化——Picasso的Feature Harness让新feature接入从2周降到2天
• 原则：Say no with data, not with opinion

✓ 参考回答要点

• Quality Gate：每次prompt/模型变更必须过自动eval，merge前强制检查
• Bad Case Review：每周团队一起看bad case，培养质量敏感度
• 失败安全：技术选型错了不丢人，不承认才丢人（eval框架故事）
• 用户反馈闭环：反馈→分类→insight→action→验证，每步可追踪
• 评估体系透明：所有人能看到eval dashboard，质量不是黑箱

✓ 参考回答要点

• Picasso实战：Copilot NPS只有32，用户说“回答太长”
• 深入分析：太长不是真问题，真问题是“不够个性化”——用户想要的是“懂我”而不是“短一点”
• 解法（Picasso设计）：intent-aware summarization——先理解用户为什么问，再决定回答策略和tone，结合三层记忆架构做个性化回复
• 结果：NPS 32→58，留存+15%
• 启示：用户说的问题和真正的问题往往不一样——这在携程场景同样适用，需要通过数据分析找到真因

✓ 参考回答要点

• Picasso实战：Copilot Mode涉及5+团队（Edge Mobile/Desktop/Bing/Windows/Safety），各自指标和优先级不同
• 拉齐方法（Picasso经验）：定义Universal Topline Metrics让所有团队对齐同一组北极星指标 + 明确Non-Goals减少范围蔓延
• 运作机制：Council Review只讨论blockers，不是status update，每吰30分钟
• 任务划分：按用户旅程而非功能模块，减少handoff
• 结果：MVP保质完成，部分设计被桌面端团队复用
• 携程应用：问道横跨四大BU+AI中台+算法+前后端，可直接复用这套跨部门协作方法论

✓ 参考回答要点

• Picasso实战：选择纯LLM-as-Judge方案做自动评测，一致性只有67%
• Root Cause分析：positional bias + fluency bias，LLM倾向给“读起来顺畅”的回答打高分，而不是“事实准确”的回答
• 承认错误：team meeting公开分享分析，建立“失败安全”文化——技术选型错了不丢人，不承认才丢人
• 重新设计：hybrid eval pipeline——LLM Judge + 规则检查 + 人工抽样校准
• 结果：一致态67%→89%，被3个团队复用，成为Picasso评测体系核心
• 携程应用：问道的回答质量评估可直接复用这套hybrid eval pipeline

✓ 参考回答要点

• 30天框架：第1周泡领域专家（至少5个深度访谈）
• 第2周画核心业务流程图 + 标注AI可切入的节点
• 第3-4周针对最高价值节点做最小原型验证
• 实例：在新加坡做金融KYC时零行业基础进去，30天搞定
• 核心：不追求全懂，追求找到"AI能10倍改善"的关键点

✓ 参考回答要点

• Picasso实战：Copilot AI功能DAU停滞3个月，leadership质疑ROI，考虑砍预算
• 数据分析：搭建AI Feature Funnel（曝光→触发→完成→留存），发现关键drop-off在触发（曝光到触发只有3%）
• 用数据证明：不是功能不好，是用户不知道何时能用（discovery问题）
• 设计smart nudge系统，A/B test 3种策略
• 结果：触发率+35%，7天留存+12%，贡献+2.5M DAU
• Leadership不仅保住预算还加了headcount——这是用数据说服决策者的最佳案例

✓ 参考回答要点

• 类比Edge AI eval dashboard：先定义核心KPI（入组率、随访完成率、AE发生率）
• 分层设计：执行层/管理层/高管层
• 数据源集成：EDC→CTMS→ETL pipeline→统一数据层
• Edge经验迁移：AI feature funnel的思路适用于临床试验漏斗

✓ 参考回答要点

• Edge AI Feature Harness：先评估市场方案→决定自建统一平台
• 评估框架：核心能力vs商品化、集成成本、数据安全/合规、长期维护
• 制药特殊性：GxP合规、数据主权→倾向Build
• 混合策略：核心Build + 基础设施Buy

✓ 参考回答要点

• 先理解R&D团队的决策场景，再设计工具
• 类比Edge smart nudge：基于行为context主动提示
• 场景：临床入组率预测、不良事件早期预警
• 技术栈：SQL + Python + Dashboard + 自动化告警

✓ 参考回答要点

• Edge数据管线：原始日志→结构化数据→分析报表
• Agent系统用LanceDB向量库+embedding pipeline
• AWS认证：Solutions Architect Associate
• SQL实战：数据提取、转换、加载、复杂查询优化

✓ 参考回答要点

• Edge经验：Universal Topline Metrics
• 分层指标：采纳率、任务完成率、时间节省
• 制药场景：数据录入效率、查询响应时间
• KPI不是数字堆砌，是驱动行动的信号

✓ 参考回答要点

• AI+医药是最有社会价值的方向之一
• 百济神州是全球化企业，需要中英文+跨文化能力
• 跨行业不是问题：Silot.ai从零进入金融，30天交付MVP
• 技术迁移能力是通用的

✓ 参考回答要点

• 核心痛点：数据孤岛、合规复杂、采纳率低
• 与传统科技的区别：GxP合规、CDISC、审计追溯
• 机会：临床试验数字化、RWD、AI辅助药物发现

✓ 参考回答要点

• 不问要什么功能，问现在怎么做、哪里最痛
• Silot.ai经验：银行说要AI风控，实际痛点是审批太慢
• 转化框架：用户故事→需求拆解→ICE→Sprint规划

✓ 参考回答要点

• Edge Copilot Mode：5+团队，各有自己指标和优先级
• Universal Metrics拉齐 + Non-Goals清晰边界 + Council Review
• PM的价值是建立让团队自驱的结构

✓ 参考回答要点

• Edge AI推广：smart nudge + 用户教育 + 渐进式采纳
• 先找early adopters验证，再用数据说服更多人
• 变革管理不是技术问题，是信任问题——Demo先行

✓ 参考回答要点

• 30天框架：第1周领域专家访谈→第2周业务流程图→第3-4周最小原型
• Silot.ai金融行业零基础，30天搞定MVP
• 不追求全懂，追求找到能10倍改善的关键点

✓ 参考回答要点

• Edge AI DAU停滞3个月，leadership质疑ROI
• 搭建AI feature funnel发现trigger drop-off（曝光到触发3%）
• smart nudge系统→触发率+35%，7天留存+12%，+2.5M DAU

✓ 参考回答要点

• ICE评分框架，每2周重排
• 3PM+5工程师支持4个AI feature，资源极有限
• 关键原则：say no with data, not with opinion

✓ 参考回答要点

• Edge iPad：重新设计核心体验→+30% DAU、D28留存+3pp
• 用户研究→竞品分析→原型设计→A/B测试→迭代
• DanceFlow：让非技术用户信任AI工具

✓ 参考回答要点

• 微软标准Agile：2周Sprint、daily standup、sprint review
• 原型→PRD→技术评审→Sprint规划→交付→复盘
• velocity dashboard追踪cycle time

✓ 参考回答要点

• AI产品化经验(Edge Copilot)+国际化背景(Duke MBA/新加坡)+B站用户身份+内容平台理解

✓ 参考回答要点

• 展示真实使用深度
• UP主选择反映产品sense
• 改进点要具体可行（推荐算法、创作者工具、国际化内容发现）

✓ 参考回答要点

• 社区感=归属感+共同语言+弹幕共鸣
• 短期数据可妥协但社区信任不可逆
• Edge经验：AI功能NPS vs DAU的权衡

✓ 参考回答要点

• 抖音=算法驱动效率，B站=社区驱动深度
• B站PM需要理解创作者生态+社区文化
• 自己更适合B站因为重视长期用户关系

✓ 参考回答要点

• 质量维度：相关性/创意性/互动性/合规性
• 治理：AI分层过滤+社区自治+弹幕等级权重+上下文语义理解

✓ 参考回答要点

• MVP：AI字幕生成+智能封面推荐
• V2：AI剪辑建议+BGM匹配
• V3：多语言翻译+海外分发
• 关键：赋能而非替代创作者

✓ 参考回答要点

• 双通道推荐：热门流+探索流
• 兴趣图谱深度建模
• 新内容冷启动保护期
• 社区投票加权

✓ 参考回答要点

• 分层体验：核心区保护+泛化区开放
• 渐进式引导新用户融入社区文化
• 不是降低门槛而是铺好台阶

✓ 参考回答要点

• AI翻译让海外用户消费中文内容（直接映射JD）
• 质量保障：文化适配评估+UP主意图保留+社区反馈闭环

✓ 参考回答要点

• 分级审核：AI初筛+人工复核+社区陪审团
• 灰色地带：限流而非删除+社区讨论+透明规则

✓ 参考回答要点

• 四维：创作活力(投稿量/新UP主)+互动质量(弹幕密度/评论深度)+社区温度(正向互动比)+生态平衡(头腰尾分布)

✓ 参考回答要点

• 核心：内容特权+身份认同
• AI权益：弹幕翻译、视频摘要、创作工具、推荐增强

✓ 参考回答要点

• 暂停广告=反面
• 花火平台=正面
• 改进：广告内容融合度评分+UP主选择权+用户反馈闭环

✓ 参考回答要点

• 分层定位：内容侧(质量/时长/类型) x 分发侧(推荐/搜索/关注) x 用户侧(新老/设备/时段)
• 排除法+对照组+时间线回溯

✓ 参考回答要点

• B站=内容驱动+社区关系，抖音=算法驱动+即时消费
• 功能：弹幕互动游戏+AI实时翻译+社区专属直播间

✓ 参考回答要点

• 不急下架
• 评估：是否违规+社区影响面+UP主沟通+限流+讨论引导
• 保护创作自由但维护社区底线

✓ 参考回答要点

• 数据证明用户流失成本>广告收入
• 替代方案（花火商单、信息流、创作者植入）
• 如被override设计最小伤害方案

✓ 参考回答要点

• 不是二选一：分层发布+老用户可选退出+邀请KOC参与共创优化

✓ 参考回答要点

• 快速框架：数据对比+用户访谈(5个UP主+10个用户)+竞品拆解+差异化策略

✓ 参考回答要点

• 24h内：私下沟通+数据核查+内部复盘+公开回应
• 长期：创作者分层激励体系

✓ 参考回答要点

• Edge Copilot NPS 32->58：用户说回答太长->深入发现真问题是不够个性化->intent-aware summarization->留存+15%

✓ 参考回答要点

• Edge AI：CTR高但NPS低->分析是clickbait式触发->调整策略牺牲短期CTR换信任->最终DAU反而更高

✓ 参考回答要点

• Copilot Mode统一评估标准遭各团队抵制->数据证明碎片化评估致质量不一致->Council Review机制->被3个团队复用

✓ 参考回答要点

• Copilot推广：可强制弹窗(+短期DAU)但选择smart nudge->留存数据证明可持续->7天留存+12%

✓ 参考回答要点

• 本质=社区密度
• YouTube是搜索引擎B站是社区
• 学习：创作者分成+长视频生态
• 坚持：弹幕+社区门槛+内容深度

✓ 参考回答要点

• 弹幕=同步共鸣，梗=社区暗号
• 保护：质量分层+传播追踪+归属感
• 放大：互动新形态+梗的可视化

✓ 参考回答要点

• 多维交叉：MAU约4亿 x DAU/MAU约25% = 约1亿DAU
• 对比抖音约7亿DAU，B站约1/7合理
• 财报验证

✓ 参考回答要点

• 底线：无前贴片+弹幕体验不被侵蚀+创作者内容自主权
• 激进：AI工具付费、知识付费、品牌共创、海外市场

✓ 参考回答要点

• AI创作助手（视频制作+多语言翻译）
• B站优势：海量创作者数据+社区反馈闭环+内容理解深度

✓ 参考回答要点

• 参考已有BLI10脚本的5个反问
• 核心：展示对岗位的深度思考而非泛泛而问

✓ 参考回答要点

• 市场三看框架：看市场（全球内容消费4500亿美元，非英语用户占80%+，视频翻译TAM巨大）、看竞争（YouTube锁定creator-centric路径，TikTok重算法不重社区，没有平台级AI翻译方案）、看自己（B站独有资产：弹幕文化+UP主深度内容+高粘性社区）
• AI场景优先级矩阵（Impact x Feasibility x Strategic Fit）：Tier 1 = AI翻译（国际化战略支点+技术可行+竞品空白）；Tier 2 = AI搜索（用户痛点大但改进空间有限）；Tier 3 = AI创作工具（赋能UP主但变现路径长）
• 战略判断：B站的核心竞争力不是算法效率（打不过抖音/TikTok），而是社区密度和内容深度。AI的战略角色是放大这个优势——让深度内容跨越语言和地域壁垒
• Edge验证：视频翻译Desktop CTR 2%（10x Copilot摘要），Yandex验证DAU+12%。B站场景更强——用户不只消费内容，还参与弹幕互动，翻译弹幕=翻译社区体验

✓ 参考回答要点

• 平台资源审计：B站有三个YouTube/TikTok没有的创作者资产——1)UP主与粉丝的强信任关系（投币/充电≠打赏，是价值认同）2)弹幕实时反馈（创作者知道观众在哪笑/哪骂）3)深度内容心智（用户来B站是学东西/看深度，不是杀时间）
• 赋能vs替代的产品红线：AI工具的output必须是draft而非final——让UP主有修改权和署名权。参考GitHub Copilot的定位：写代码的是开发者，Copilot只是加速器
• 真实性保护机制：AI生成内容强制标注+社区投票机制（观众可以选择是否看AI辅助内容）；建立Creator AI Trust Score——AI辅助程度透明化
• 竞品对标：YouTube的AI工具（Dream Screen/auto-dub）是平台控制的，UP主没有选择权。B站的差异化是把AI工具的控制权交给创作者——这是B站社区基因决定的

✓ 参考回答要点

• 现状诊断（看自己）：B站现有搜索的核心问题不是技术，是搜索意图的特殊性——用户搜的不是信息，是社区记忆（那个经典鬼畜/某UP主去年的某期）。传统搜索引擎思路在B站失效
• 竞品分析（看竞争）：YouTube搜索=Google搜索的视频版，强在精准；TikTok搜索=发现引擎，强在推荐。B站AI搜索应该走第三条路——社区记忆检索引擎
• P8级产品框架——三层重构：
Layer 1 意图理解：构建B站专属语义模型，训练数据包含弹幕语料+梗词库+UP主别名，理解"那个叔叔"=某UP主
Layer 2 结果编排：不只返回视频列表，而是返回"社区共识"——弹幕高光时刻、评论区精华、相关梗的传播链路
Layer 3 搜索即社区入口：搜索结果页变成兴趣社区的landing page，引导用户从搜索→关注→互动→留存
• 北极星指标：不是搜索CTR，是搜索→关注转化率（衡量搜索是否成为社区增长引擎）

✓ 参考回答要点

• 市场判断（看市场）：虚拟主播全球市场2025年约$21B，但90%+是日本VTuber模式（人驱动+皮套）。AI原生虚拟主播是下一代——关键区别是AI驱动人格和互动，不只是换皮
• 竞品格局（看竞争）：字节的AI角色（豆包）走陪伴路线；Meta的AI Studio走创作者工具路线；B站的差异化机会在于「社区原生AI主播」——在弹幕互动场景下AI角色有天然舞台
• 核心产品设计：
1) AI人格引擎：不是通用LLM，是用UP主语料+弹幕文化fine-tune的社区原生人格
2) 实时互动系统：读弹幕→理解上下文→玩梗回应→触发特效，延迟<500ms
3) 共创机制：观众通过弹幕影响AI主播的行为和剧情走向，每场直播都是独一无二的
• 商业模式：IP授权（衍生品/联名）+ 虚拟礼物 + 品牌合作，TAM估算：头部AI主播年收入可达千万级
• 风险管理：AI翻车预案（实时内容安全过滤+人工兜底+社区举报快速响应）

✓ 参考回答要点

• 本质问题（看自己）：这不是算法问题，是B站增长阶段的核心矛盾——MAU从3亿到4亿的增量用户和存量社区的融合。推荐算法是这个矛盾的产品化表达
• 竞品策略（看竞争）：抖音用算法暴力破圈（效率至上，社区感为零）；YouTube用订阅+推荐双列（各管各的）；Netflix用A/B测试极致优化（但内容是自制的）。B站需要第四条路——社区引力模型
• 社区引力模型设计：
1) 兴趣图谱不是二维标签，是三维社区拓扑——每个用户在多个社区中有不同的角色和深度
2) 破圈不是随机探索，是"社区桥梁"——找到同时活跃在两个圈层的用户/UP主，通过他们的内容做自然过渡
3) 保护机制：每个分区有"社区浓度"指标，当外部流量稀释社区浓度到阈值时自动降低推荐权重
• 量化框架：兴趣多样性指数(Shannon entropy) x 社区参与深度(弹幕/评论/投币) x 用户满意度(NPS)——三者的加权乘积作为推荐系统的优化目标，而非单一的播放时长

✓ 参考回答要点

• 战略定位（看自己）：弹幕是B站唯一不可复制的产品形态——YouTube/TikTok/抖音都没有。AI+弹幕不是功能优化，是护城河加固
• 竞品空白（看竞争）：没有任何平台在做AI弹幕创新，这是B站独占的创新空间。YouTube的评论区是异步的，TikTok的评论区是浅层的，只有B站的弹幕是同步+沉浸+社区化的
• P8级产品矩阵：
Tier 1（短期，0-6月）：AI弹幕质量治理——多维评分（相关性/创意性/互动性/合规性）+ 分层显示（优质置顶/普通正常/低质降权）+ 社区自治投票
Tier 2（中期，6-12月）：AI弹幕增强——实时翻译弹幕（国际化关键）、弹幕情绪可视化（转化为视频特效）、AI生成高能预警弹幕
Tier 3（长期，12-18月）：AI弹幕互动——AI角色驻场（每个视频有AI助手读弹幕+回应）、弹幕共创内容（观众弹幕影响视频走向）、跨视频弹幕记忆（AI记住你在其他视频的弹幕偏好）
• 北极星指标：弹幕互动密度（每分钟有效弹幕数）x 弹幕回访率（因弹幕而二次观看的比例）——衡量弹幕是否真正成为留存引擎

✓ 参考回答要点

• 市场判断（看市场）：中国在线广告市场约$150B，视频广告增速最快（+20% YoY）。但B站广告ARPU远低于抖音（约1/5），说明变现效率有巨大提升空间，但也意味着用户对广告容忍度极低——必须找到非侵入式路径
• 竞品策略（看竞争）：抖音=信息流广告工厂（算法精准但用户麻木）；YouTube=前贴片+品牌合作（简单粗暴但有效）；小红书=种草经济（内容即广告）。B站应该走小红书路线的升级版——AI驱动的内容原生商业化
• 三级火箭模型：
第一级（AI精准匹配）：不是投广告，是匹配——AI分析视频内容语义+用户兴趣图谱+品牌调性，只在三者高度吻合时展示，目标是广告相关度>80%
第二级（AI内容共创）：品牌+UP主+AI三方共创——AI生成创意brief+视频脚本+效果预测，降低商单制作成本50%，让腰部UP主也能接到优质商单
第三级（AI效果闭环）：从曝光到转化全链路AI优化——实时追踪弹幕情绪反馈（用户看到广告时的弹幕是正面还是负面）→动态调整投放策略
• 红线设计：广告占比硬上限（每10条推荐最多1条）+ 大会员免广告权益不可动摇 + UP主对商单有一票否决权
• Edge经验映射：New Tab Page广告我们用contextual placement+frequency cap，确保AI体验不被打断。B站可借鉴——广告不打断观看流，而是在自然间隙出现