✓ 关键点

Silot.ai AI风控产品 · 5人团队6个月上线 · 审批时间48h→2h · 误报率降低62% · 处理$2M+交易量

✓ 关键点

Edge Copilot Mode launch · 5+团队(产品/研发/设计/市场/搜索) · 定义Universal Topline Metrics · Non-Goals减少80%scope讨论 · Council Review只聊blocker · 按journey划分ownership不宜过细 · CVP级好评 · 设计被桌面端复用 · 因高层战略调整未GA但协作模型沉淀

✓ 关键点

LLM-as-Judge 评测 · 一致性67%→89% · 重新设计 hybrid eval pipeline · "eval of eval"机制

✓ 关键点

Edge AI DAU增长停滞 · funnel analytics · smart nudge系统 · 触发率+35% · 7-day retention+12%

✓ 关键点

OpenClaw 多Agent系统 · dispatcher+specialist架构 · pipeline state machine · 人工干预率40%→8%

✓ 关键点

Side Projects实战 · DanceFlow给舞蹈老师解释骨架检测(用“镜子+角度”类比) · Working Demo替代PPT · 多Agent用“专业团队”类比 · 量化不形容(“2小时⇒10分钟”) · 让对方信任而非懂技术

✓ 关键点

LLM 从0到落地 · 6周建立团队能力 · LLM Product Playbook · AI Paper Club · 被promote为tech lead

✓ 关键点

3PM+5工程师支持4个feature · ICE scoring · platform化 · velocity+30% · "say no with data"

✓ 关键点

Edge Copilot NPS 32→58 · intent-aware summarization · "太长"→个性化需求 · 用户留存+15%

✓ 关键点

Reverie Diary + DanceFlow 实践 · 苏格拉底式AI · 个性化学习路径 · AI TA · Assessment革新 · 教师赋能

✓ 回答要点

三层记忆架构：① 短期记忆（sliding window, 最近N轮原文保留）② 中期记忆（conversation summary，用LLM压缩历史为摘要，随对话滚动更新）③ 长期记忆（向量数据库存储关键事实/用户偏好，按相关性检索注入context）。实践中还需：token budget管理（在context window限制内动态分配给system prompt/memory/当前对话）、memory decay（旧记忆降权）、explicit memory（用户说"记住这个"时写入持久存储）。关键trade-off：全量保留太贵且噪音多，压缩太狠丢信息——需要根据场景调整压缩策略。

✓ 回答要点

AI Harness = 将LLM能力封装为可控、可测、可观测的执行环境。核心组件：① Orchestration layer（管理 prompt template + tool routing + output parsing）② Guardrails（input/output validation, content filtering, PII detection）③ Eval pipeline（自动化质量检测，包括factuality/safety/relevance评分）④ Observability（tracing每次调用的latency/token/cost/quality score）⑤ Fallback & retry（模型降级策略、timeout处理）。在Edge的实践：我们建了统一的AI Feature Harness，所有AI功能通过同一套infra接入，包含A/B test framework、feature flag、metrics collection。好处：新feature接入成本从2周降到2天，质量回归自动catch。关键设计原则：harness要对业务逻辑透明，开发者只关心prompt和tool，infra层处理可靠性和监控。

✓ 回答要点

选型取决于场景：① 通用高质量：OpenAI text-embedding-3-large（3072维，多语言强）或 Cohere embed-v3（支持search/classification不同模式）② 开源自部署：BGE-M3（多语言+多粒度）、GTE-large、E5-mistral-7b（大模型embedding，效果最好但贵）③ 轻量低延迟：text-embedding-3-small 或 all-MiniLM-L6（384维，适合端侧）。选型考量：维度（越高越准但存储贵）、多语言能力（中英混合场景必须测中文效果）、检索 vs 分类（用途不同微调方向不同）、latency要求（实时对话 vs 离线索引）。关键insight：embedding选型要看下游任务的端到端效果（retrieval recall@10），不能只看MTEB排行榜。

✓ 回答要点

Edge Copilot 不是裸GPT，是多层增强：① Context Grounding — 将当前页面/多tab内容通过RAG注入，让模型基于用户正在看的内容回答（multi-tab RAG：提取多个tab的关键内容，rerank后拼接）② Task-specific routing — 不同用户意图（summarize/compare/create/chat）路由到不同prompt template+工具链 ③ Safety layer — Microsoft Responsible AI filters，content moderation，jailbreak detection ④ Personalization — 基于用户浏览历史和偏好调整回答风格和长度 ⑤ Mobile adaptation — 端侧轻量推理（部分简单任务用小模型on-device处理，复杂任务走cloud）⑥ Eval & iteration — 自建eval framework持续监控质量，每周根据bad case更新prompt和filter rules。核心创新点：把浏览器作为context source，让AI"看到"用户正在看什么，而非无状态对话。

✓ 回答要点

AI语音产品涉及三个环节：① ASR（语音转文字）：Whisper large-v3（开源最强）、Azure Speech/Google Speech（商用低延迟）、Deepgram Nova-2（性价比高）② TTS（文字转语音）：ElevenLabs（最自然，支持clone）、OpenAI TTS（4种voice，低成本）、Azure Neural TTS（多语言+情感控制）、Fish Audio/CosyVoice（中文效果好+开源）③ Voice Agent（实时对话）：OpenAI Realtime API（端到端最低延迟~300ms）、LiveKit+各模型组合、Vapi/Bland.ai（voice agent平台）。效果最好看场景：自然度→ElevenLabs；中文→CosyVoice/Fish；低延迟实时对话→OpenAI Realtime；成本敏感→Azure Neural TTS。关键趋势：从pipeline（ASR→LLM→TTS）走向端到端speech-to-speech模型（GPT-4o style），延迟更低、表达更自然。

✓ 回答要点

这个观点有道理但过于绝对，正确答案是"看场景选工具"：① ML适合的场景：高频低延迟决策（推荐系统毫秒级响应）、有明确数据pattern的分类/回归任务、需要严格可复现性的场景（金融风控合规审计）② Agent适合的场景：复杂多步推理、需要调用外部工具、任务定义模糊需要探索、需要chain-of-thought可解释性 ③ 两者并非对立：Agent系统内部可以调用ML模型（如Agent用ML做初筛，再用LLM做深度分析）④ 关于"透明度"：ML也可以做可解释（SHAP/LIME/feature importance），Agent的"过程"未必是真正的推理过程（LLM可能rationalize而非真正reason）⑤ 实践建议：先用ML跑baseline（快、便宜、可控），只在ML搞不定时上Agent；Agent的observability要做好（每步trace），否则debug比ML更难。我在Edge的经验：AI feature用hybrid——simple intent detection用lightweight ML，complex reasoning用LLM agent。

✓ 回答要点

Agent知识库搭建全流程：① 数据收集与预处理 — 确定数据源（文档/网页/数据库/API），清洗格式化，处理多模态（图表OCR、PDF解析用docling/marker）② Chunking策略 — 不要无脑按token切，按语义切（recursive character splitter + 尊重段落/标题边界），保留metadata（来源、时间、章节），chunk size 512-1024 tokens为主 ③ Embedding & Indexing — 选合适embedding模型，向量数据库（Pinecone/Weaviate/Qdrant/LanceDB），建hybrid index（向量+keyword BM25）④ Retrieval优化 — 多路召回（semantic + keyword + metadata filter），Reranker（cross-encoder或Cohere rerank），结果去重合并 ⑤ 知识更新 — 增量索引（不要每次全量rebuild），版本管理，过期内容标记 ⑥ 质量保障 — 定期跑retrieval evaluation（recall@k, MRR），人工抽检，建golden test set。关键经验：知识库不是建完就完了，是持续运维——数据源变化、embedding模型升级、业务需求变化都需要重新评估。Agent的知识库要支持动态扩展（新tool接入自动生成对应知识条目）。

✦ 实战方案对比（亲测）

Obsidian Vault + 向量化 — 我自己的 Agent 系统用的就是这个思路。Markdown 文件作为知识源，天然支持 Git 版本控制，双向链接形成知识图谱。配合 embedding pipeline 做向量索引后，Agent 可以语义检索整个 vault。优势：知识对人可读可编辑，维护成本低，本地优先不依赖第三方服务；劣势：需要自己搭 embedding + retrieval 链路，多人协作不如 SaaS 方便。适合：技术团队、个人 Agent、对数据主权有要求的场景。

LangChain / LlamaIndex RAG Pipeline — 最灵活的自建方案。支持 40+ document loader、多种 chunking 策略、可插拔向量库。我在做投资 Agent 扫描全 A 股时用过 LangChain 的 document pipeline 处理研报数据。优势：完全可控，支持复杂 retrieval 策略（multi-query、HyDE、parent-child chunk）；劣势：工程量大，每个环节都要调参，小团队容易过度工程化。适合：有工程能力的团队、需要深度定制 retrieval 逻辑的产品。

Coze / Dify 内置知识库 — 上传文件即可用，零代码。我测试过 Coze 的知识库模块，chunking 和 retrieval 都是黑盒但效果及格。优势：10 分钟上线，非技术人员也能维护；劣势：retrieval 策略不可控，embedding 模型不可选，数据存在第三方。适合：快速 MVP 验证、业务团队自助搭建、对数据隐私要求不高的场景。

选型建议：先用 Coze/Dify 验证知识库对 Agent 效果有没有提升（1 天），确认有价值后再迁移到 Vault + 自建 RAG pipeline（1-2 周）。关键不是工具选型，是建立 retrieval quality 的评估闭环——没有 golden test set 的知识库优化就是盲人摸象。

✓ 关键点

OpenClaw/Claude Code/Cursor/Manus 深度对比 · Agent Loop 差异 · Tool Use 实现 · Memory 策略 · 开发者 vs 消费者定位 · 2026.7 八天四模型（Grok 4.5/GPT-5.6/Muse Spark 1.1/Kimi K3）前沿白热化

✓ 关键点

Orchestration/Guardrails/Eval/Observability/Fallback 五层架构 · Edge AI Harness 实践经验

✓ 关键点

Edge DAU 3M→20M 增长经验 · funnel 分析 · smart nudge · 个性化 · 社区运营

✓ 关键点

任务完成率/用户满意度/效率提升 · eval framework 经验 · implicit feedback · A/B test

✓ 关键点

Edge Copilot multi-tab RAG · context grounding · dynamic chunking · token budget · OpenClaw memory 三层架构

✓ 关键点

反馈分类体系 · NPS 32→58 · implicit feedback · “用户说的≠真实需求” · 量化+定性结合

✓ 关键点

Edge AI Feature Council · 跨时区协调 · 成为技术翻译者 · 统一 eval metric

✓ 关键点

开源优势/性价比/推理能力 · 对比 ChatGPT/Claude · 产品化差距 · 移动端体验 · 2026.7 竞争白热化：Intelligence Index>50 实验室2→6家 · Kimi K3 2.8T参数开源第一 · GPT-5.6 Sol Coding Agent Index 80 · DeepSeek需加速Harness产品化

✓ 关键点

Edge RAI filters · 入/出双向 moderation · jailbreak detection · grounding check

✓ 关键点

多 Agent 系统→编排能力 · iOS App→全栈交付 · DanceFlow→AI+垂直场景 · 从PM到Builder

✓ STAR 关键点

S: Edge用户关注主题但不想每天手动搜索
T: 设计智能监控系统，重要变化时主动通知
A: ①定义"重要变化"信号源(新专利/论文/竞品更新) ②用户兴趣画像(行为推断+明确设定) ③Agent推送策略(频率控制/优先级:breakthrough>incremental/渠道适配) ④闭环验证(打开率/深度阅读/后续动作)
R: Edge smart nudge触发率+35%，7天留存+12%。推送不是越多越好，是"每条都有价值"才能建立信任。

✓ STAR 关键点

S: 研发人员痛点：时间碎片化、信息源分散(专利/论文/博客/竞品)、需要深度非广度
A: ①用户画像拆分(初级=全景/资深=精准监控/管理=趋势判断) ②嵌入工作流 ③高密度结构化呈现(摘要+数据+原文) ④Delta视图("这周有什么新变化")
R: Edge技术用户NPS最高功能="帮我总结关键点"——要效率不要花哨。直接适用Pulse。

✓ STAR 关键点

S: AI产品通病——用户尝鲜后不回来，留存最难
A: ①Habit Loop(触发→行动→30秒扫一眼→奖励→投入调整偏好) ②个性化进化(用越久越懂你) ③社交层(团队内共享/评论/@同事) ④里程碑感("本月你比92%用户更早发现竞品新专利") ⑤融入决策流(导出到立项报告)
R: Edge Copilot DAU翻6倍，核心策略：Passive→Active→Indispensable。

✓ STAR 关键点

三个进化阶段：
1.0 关键词匹配→噪音大用户疲劳
2.0 语义理解+优先级→AI过滤噪音，只推高价值+一句话解读
3.0 主动分析+建议→"这条信息对你意味着什么"、影响FTO分析
实现：用户行为+偏好→兴趣向量→RAG+Reranker筛Top-K→LLM生成insight→Feedback loop
R: Edge中context-aware推送比rule-based打开率高2.3倍。核心不是"推了什么"而是"帮用户省了多少时间"。

✓ STAR 关键点

S: Edge AI功能团队对"多tab对比分析"有争议
T: 在没有足够数据时快速验证产品假设
A: ①周末自己用Chrome Extension+OpenAI API做prototype ②10个内部用户试用一周 ③记录使用场景、频率、反馈 ④带真实数据和用户quote回去讨论
R: 7/10人表示"killer feature"，直接推动Edge Copilot multi-tab RAG进入正式路线图，上线后成为使用率最高功能之一。PM最大说服力=working prototype+真实用户反馈。

✓ 关键点

双Grader框架(Pairwise盲评+Rubric逐条打分) · Orchestrator/Subagent评估架构 · 消除Identity Bias(匿名化) · 多评估者多数投票 · 确定性计算(Python自动化) · Sector-specific skills提升行业准确率 · 评估维度：相关性/时效性/信息密度/可行动性/用户后续行为

✓ Key Points

Edge AI feature — defined primary metric (task completion) + guardrail metrics (latency p95, bounce rate) · 2-week test, 5%→20%→full rollout · Automated monitoring dashboard · Result: task completion +18%, latency within budget · Framework became team standard

✓ Key Points

Silot.ai — speed improvement caused false positive spike · Cohort analysis: edge cases < 2% volume · Business impact calc: $50K savings vs $3K remediation · Shipped with guardrails + phased rollout · Long-term: approval 48h→2h, false positive -62%

✓ Key Points

Edge Copilot — 500+ surveys, 30 interviews → 3 strategic pillars → quarterly OKR breakdown · Bi-weekly sprint reviews across 3 time zones · Monthly stakeholder updates · DAU 3M→20M over 18 months · Roadmap adopted as department strategy

✓ Key Points

AI Feature Council (bi-weekly, rotating chair) · Shared backlog + RICE prioritization · Single source of truth dashboard · Escalation path for conflicts · Time-to-ship -30% · Zero duplicate initiatives · Cross-team satisfaction 3.2→4.5/5

✓ Key Points

Initial hypothesis: users wanted faster responses · Multivariate analysis showed accuracy was #1 driver of repeat usage · Pivoted roadmap to retrieval quality over latency · Saved 2 sprint cycles · User satisfaction +22% next quarter

✓ Key Points

Quarterly customer advisory board · Monthly NPS surveys · Self-serve docs + office hours · Prioritized by adoption impact × effort · Platform adoption 2→5 teams in 6 months · Internal NPS 32→67 · Support tickets -40%

✓ Key Points

Framework: funnel analysis (search→view→book→complete) · Identify biggest drop-off · Hypothesize causes (price transparency, trust signals, UX friction) · Design experiment to test · Primary metric: booking completion rate · Guardrails: average booking value, cancellation rate · Consider supply-side effects on marketplace balance

✓ Key Points

Primary: flexible date search adoption rate, booking conversion from flex-date users · Secondary: avg booking value change, date flexibility (do users shift dates?) · Guardrails: overall search latency, partner impression fairness · Counter-metrics: cancellation rate (are flex bookings less committed?) · Experiment: 50/50 split, 2-week minimum, segment by user type (business vs leisure)