# Suhail Doshi - 如何测量产品 > 原文：[https://jotengine.com/scriptions/ibih0u1yglitz64mh61kqa](https://jotengine.com/scriptions/ibih0u1yglitz64mh61kqa) > Geoff Ralston: 我们非常感谢 Mixpanel 的 Suhail Doshi，他在近 10 年前与人合伙创建了 Mixpanel，现在将讨论如何测量您的产品，正如您从 Gustaf 听到的，这实际上是增长硬币的另一面，以及帮助您构建人们真正需要的东西的一切。你想用也会用。 就这样，苏海尔。 > Suhail Doshi: 好吧。 大家好。 我很高兴来到这里。 令人惊叹的。 我觉得我开始的时候会有点像，有时候我会根据观众的不同，尝试改变一下我的演讲。 我想我只想问一个非常快速的问题，只是一个快速的举手展示，我要把用户定义为，使用你的产品的人，是否是……A B 对 B 公司，免费支付，他们在你的产品中做了什么并不重要。 现在有多少人喜欢零用户？好吧，酷极了。 有多少人有 100 或更少？好吧，好吧，你在 1 到 100 之间有大于零的。 好吧，太棒了，太棒了。你们中有多少人喜欢超过 10000 人？好吧，太棒了，好吧，我们有……我想说，大多数人现在都没有用户。 酷。 太棒了，太棒了。 对于那些没有听说过 mixpanel 的人来说，我将从一开始就简单介绍一下我，我创办了一家名为 mixpanel 的公司，我认为第一行代码在技术上是在 2008 年 10 月编写的。 我好像 20 岁。 我当时在我父母的卧室里，10 年后，公司有大约 300 名员工。 我们已经筹集了一大笔资金，我们有大约 7000 名付费客户，我们开始接近每年约 1 亿美元的经常性收入，只是为了给你一种 2008 年的感觉。 Cool. Awesome. 如果你不知道 mixpanel 是什么，我们可以制作这样漂亮的图。 我们帮助你衡量人们在产品中的行为，就像是有人邀请同事加入他们的应用程序。 我们可能会帮助您测量漏斗，并查看打开应用程序的人对喜欢查看文章的转化率，我们将帮助您测量保留率。 我知道古斯塔夫今天有点过火了。 我只是向你们展示这一点，因为就像我今天所说的，基本上……是你们可以在 mixpanel 或者其他工具中做的事情。 有很多工具可以很好地测量这些东西，但我想让你知道，如果你走出家门，想申请一点，你完全可以。 这就像一个高级计划，我们非常迎合初创企业，这些都是我们的早期客户，所以请随意这样做。 Awesome. 伟大的。 今天，我想深入研究的是，我认为我会采用自上而下的方法来思考分析和度量，而不是用图表、可视化、数字和类似的东西来对付你，我认为最好是考虑一下你正在尝试的问题。要想真正解决问题并暂时忽略这些问题，你必须进行复杂的分析和计算。 你会明白的。 这并不难，或者你只需要使用一些工具就可以让你更容易地做到。 这是我想我会做的一件事。 我选了这三样东西。 我努力想，当我创办一家公司时，我到底关心什么，比如对我来说有什么关系？我在想什么？我想，好吧，我想第一件事就像人们都知道我做了什么，MixPanel 在最初的 18 个月里很难做到这一点。 我们必须改变很多事情，大多数人都会这样做。 第二件事是，好的，很好，他们有点理解它是什么，但是他们发现在第一天使用这个产品相对容易吗？这是一种永无止境的使命，当你开始你的公司，当你运送你的产品时，你最终会接受。 最后一件事是，我试着把它配对一下，但我认为最重要的是下一件事，人们会回来使用我的产品吗？我想你会发现…我知道古斯塔夫说过这个，我会非常重复，因为这是早期创始人犯错误的最重要的事情之一。 是的，所以从那以后，我想我也会尝试……我想这对你也会有帮助的，看，它有点分解成一个公式。 这是一个公式，我喜欢从第一原则来考虑问题，对吗？什么东西会让你成长？它们很简单，对吧？就像那些访问某个页面或应用程序的人一样，是的，基本的，你每天都会体验到这一点，然后就像那些注册的人，然后那些做了一些事情的人……这些人中有多少人做了一些有价值的事情，比如看视频、做菜谱或上合组织。奥特，骑摩托车。 那么，在这些人中，有多少人最终会在一段时间后回来，还有多少人愿意传播这种产品，比如告诉朋友，分享它，甚至可能有一个销售团队，谁知道呢？这五件事基本上是平等的增长，这是你的杠杆。 我想强调的是，今天我要介绍一些基础知识，但我想告诉你，基础知识非常重要。 即使是千家万户的公司也会犯基本错误。 事实上，你会发现，如果你不明白……即使是这一千个人的公司都喜欢弄错，他们往往会过度复杂化他们应该实际测量和跟踪的事情的数量，而且很容易让 25 个指标想到它们，将它们对齐，并将它们全部除以……givE 每个团队五个，然后真正过度复杂的事情实际上是相当简单的做和当你过度复杂，发生的是，公司，甚至大公司立即瘫痪。 即使是中型大公司也有类似的决策问题。 我以前在 mixpanel 有一个有趣的短语，我常说所有的数据都是可竞争的。 你可以看到这个数字在右边，然后你说，“好吧，我不知道，外面就像阳光明媚的……”这就是为什么人们这么做，人们喜欢这些论点，不管是什么，因为因果关系真的很难发现。 我发现，只要选三到五样东西，一颗北极星，真正简化它，对你会有更多好处，我知道，因为我不仅看到成千上万的公司在各种规模上犯了这个错误，我也犯了这个错误。 我有一篇论文，大概有 25 个子指标，几乎不可能真正跟踪它，人们最终做的是现实，人们关心的是有指标指导团队，有指标帮助您监控和评估是否有任何问题，以及今天，我们将讨论指导团队的事情，好吗？酷。 Great. 有了这个公式，你应该能够评估公司的任何问题，对吗？如果你有一个非常混乱的登陆页面，你应该能够理解。 如果您的注册过程太困难，您应该能够理解这一点。 如果你有一个产品，人们并不真正看重它，你只需要用这个公式就可以得到它。 就这么简单，然后你会变得更复杂，对吗？你可以说，好吧，登陆页面的浏览量突然下降了，为什么？是吗……让我看一看按国家划分的部分，也许发生了什么，也许我在另一个国家改变了什么。 你应该能够从一开始就评估你为什么没有成长。 这就是为什么我说，简单的开始会持续很长时间。 这就是它看起来的样子，对吧？把这两个想法联系在一起，你就有了这样一个漏斗，从拜访到最终保留和传播产品，就像在每一件事情上一样，你试图基本上解决这三个问题中的一个。 容易理解吗？开始容易吗？人们回来是因为他们发现它有价值吗？然后它会循环，有趣的是，即使你像 Airbnb，你有成千上万的人，优化每一个步骤的过程永远不会结束，不管你的规模是多少，你都会你在改变一些事情，你可能有竞争，所以你别无选择。 太棒了，一旦你能够测量这五件事并评估出问题所在，你就有了自己的杠杆，你就应该能够采取行动并解决其中的任何一件事，组建一个团队，也许你正在解决它。 这真的很简单。 Awesome. 我们将从第一件事开始，那就是，我的产品容易理解吗？为了说明这个想法，我决定，这会有点同情你，因为我可以向你展示喜欢的，非常棒的类似大公司的登陆页面，或者我可以向你展示开始时的感觉。 我还想说，有一个非常糟糕的登录页面，有一个非常棒的引用，PG 曾经在我们的批，我想我会告诉你，这是像，人们基本上只是有他们的鼠标悬停在后退按钮，他们只是等着说，“我不知道这是什么，很困惑，“回来。 这正是大多数公司因继续经营而失去大部分用途的直接原因。 记住你的敌人是后退按钮。 这是 MixPanel 在 2009 年的第一个头版。 这已经不是我们的标志了。 这是我的设计，我的原创设计，在它所有的荣耀中，如果真的喜欢去复习单词，有很多语法错误，因为我在写作方面很糟糕。 出于某种原因，我想，“我知道公司的口号应该是什么。 “我想，我认为原因是因为我认为这些图表与现有的图表相比看起来非常漂亮，所以我认为这将是一家公司的价值主张。 当然，这是完全错误的，就像你们都会笑。 我真希望我能做这个登陆页，把它呈现给你，然后你们都会嘲笑我，我想，“好吧，我应该改变那个东西。”我没有。 当时我没有用户，是的，我试图瞄准小公司和大公司。 我不知道我的目标是谁，应用程序开发人员，我想把所有人都作为目标。 我认为这是……在登录页面上犯的每一个错误都像是这里，对了，就像注册按钮一样。 至少我是对的。 谢谢你，Adora 教我如何优化幻灯片上的按钮。 我把它弄得像黄色的，但这也许就是我所得到的一切，对吧？大概就是注册按钮。 然后，经过大量的工作，大量的努力工作，大量的迭代，大量的与客户交谈，大量的测量，最终几年后，它变成了这样，对吗？我喜欢，设法让自己喜欢这个标志。 “注册”按钮类似于黄色和金色。 经过很多时间和大量的精力，我们发现，我们从一个会让你流口水的指标转变为一个比页面浏览更能让你说话的指标，你会注意到这一点非常突出，原因是因为我们作为一个公司会得到的第一个问题是帕尼是的，很酷，但就像你和谷歌分析有什么不同，我不明白，对吧？结果我们在头版看到了这样一条标语，持续了五年，因为它非常区分了我们的参与度，我们做了一些不同的事情，比如谷歌关于页面浏览量，我们是关于，人们对你做了什么。R 应用程序和它产生了共鸣，然后，从那里，我们试图解释什么是各种各样的……我们试图敦促人们浏览网站，喜欢看不同的功能，看看这些东西是否有价值。 我们试图在副本中以利益为导向，试图向客户和案例研究展示那些可能发现它有价值的人。 在这之后，我们大概做了四次改变。 我想我之所以提出这一点，是因为它可能会持续下去，就像我们所做的和我们所说的那样，基本上保持不变，但很多设计变化。 真正的问题是，很好，就像我如何衡量……你如何衡量人们是否真正理解……他们是否理解你在做什么。 我想有一个尝试过的共享号码。 这很简单，只是人们都费心报名了吗？注册并不意味着他们会使用你的产品。 这是完全不同的事情。 注册的麻烦就像是，“我不知道，我有点感兴趣，我的意思是，我会踢轮胎的。 这对我来说似乎有点有趣和酷。”这会告诉你很多关于你所做的事情是否对人们有价值。 第二件事，你可以尝试，这些只是想法，试图找到比例的人，从中，就像点击你的网页，对，然后做任何事情之后。 不是 saka，不是按 back 键，对吧，就像他们是不是点击了 segmentation，funnels 或者 attention，在这种情况下，他们是不是费心这么做？我知道有很多 B 对 B 公司。 事实上，一个简单的问题是，有多少人会成为一个 B 对 B 公司？是的，太好了，大概是房间的一半，所以我想我应该给 B 对 B 倾斜。 我发现有一件事是人们…很多你的用户会点击顶部的定价页面链接。 一般来说，如果你是一个从 B 到 B 的人，这就像大多数点击链接的第二或第三个一样。 我认为……这是完全有争议的，但我发现点击你的定价页面的人实际上是相当不错的指标，比如，“好吧，酷，你有一些有价值的东西，好吧，多少钱？”“即使是这样的事情，我想也能告诉你很多。 那么，如果你是一个消费者，作为一个消费者的好处是你通常拥有……通常会有成百上千的用户，这样你就可以真正去做一个 AB 测试，而在 B 到 B 中，要做到这一点要困难得多。 我真的……我认为古斯塔夫是绝对正确的，你应该尽可能多地进行实验，真正的 AB 测试你的文案，找出什么与人产生共鸣。 这些都是你能做的事情，基本上你能理解，这很容易吗？酷。 第二个问题是，开始使用我的产品容易吗？这方面的问题是，很多人……前两个问题的问题是，如果你不让第一步变得容易，如果很容易理解，很多人在尝试 B 时投入了太多的精力。建立一个公司，我们试着像所有的酷的功能和我们可以使之对客户真正有价值的东西一样思考。 问题是，如果你甚至没有把第一步做对，你甚至没有机会在接下来的任何一步。 当我们想到喜欢，是不是很容易开始我的产品…忘记密码是一种无用的功能。 如果你有一小部分人根本不想开始工作的话。 事实上，我记得有一家叫 Zenter 的 YC 公司变成了谷歌的幻灯片。 我记得 Robbie Walker 在我们周二的一次晚宴上说，他们甚至没有为喜欢他们的在线 PowerPoint 执行“保存”按钮，因为他们知道他们的用户都不想问任何问题，比如“嘿，我能保存这个吗”，他们甚至没有费心去做，因为他们不想这样做。o 看看有没有人会使用 PowerPoint 演示文稿产品。 当他们告诉我这一点时，我就想，“哇，这太疯狂了”，就好像，我不知道，也许像 18 个月的 mixpanel，我们甚至没有忘记密码，因为我们只是如此无情地试图优先考虑对客户来说真正重要的事情。 结果我们还是没收到多少要求。 这真的很重要，这里有一个易于使用的例子，你每天都会用到它。 这实际上是一步。 你只要去谷歌，输入它，你就可以立即使用这个产品。 没有注册，没有 Captchas，都没有，对吧？一个更复杂的例子是 Airbnb，它可能有 10 个台阶或者类似的台阶。 我们与 Airbnb 合作了一段时间，帮助他们优化初始用户体验。 即使 Airbnb 可能有 11 页……你必须去 Airbnb，然后你必须填写这张表格，然后你得到结果，然后你点击这些结果，然后你点击许多不同的结果，因为你正在尝试价格比较，你要去在这个非常复杂的退房过程中，有很多在线预订的步骤。 Airbnb 必须弄清楚，我们如何 a，描述我们正在做什么，我们提供什么，什么对世界有用，b，我们如何帮助人们尽快和尽可能容易地开始工作。 这是 airbnb.com，他们有一个非常简单的例子，“预订独一无二的房子和体验这个”，你填写这个非常基本的东西，然后点击搜索，就这样了。 这是他们的入门经验。 这不是他们的整个流程，但这是第一个开始的方法。 他们甚至尝试着喜欢一些不纯的东西，比如你可能会发现的东西，他们在 Airbnb 上设法找到的东西。 问题是，这看起来很简单，对吗？这看起来像是一件很容易做的事情，不需要……这有多难，对吧？你可以用 Twitter 的引导程序在很短的时间内做到这一点。 问题是，真正困难的事情是，发现这是正确的事情，这是非常困难的。 这需要……他们可能会在发现之前改变 50 次，这是目前公司的最佳选择。 这需要大量的工作，你必须非常努力才能达到这一点。 问题是，“好吧，太好了，那么你怎么……你怎么测量这样的东西？“嗯，我认为真正简单的答案是漏斗。 有多少人会从登录页面转到注册页面，做一些有价值的事情，比如看视频，做……在 Airbnb 的情况下，他们只会做一次搜索，至少一次搜索。 一旦你克服了这一点，就可以测量整个初始用户体验的漏斗。 就像，在游戏中的情况，游戏可以有 20 个步骤，我看到了游戏公司的数百个漏斗，即使它们可能有 20 或 30 个步骤，有时你也可以……它们实际上转换得很高，就像它们可能得到 80 个一样，这 20 个步骤的转化率都达到了 90%。 只有前两个，实际上是有最大的落差。 最后一件事就是速度。 这是一个我认为很多人不实际做的。 这就像一个人能以多快的速度开始工作，这会告诉你很多关于你的经历有多复杂的事情。 有时候慢是可以的，这取决于业务，但速度真的很重要。 他们花了五分钟才弄明白，还是花了一分钟？在 MixPanel 的例子中，我们非常关心……我们有一个复杂的流程，不仅需要注册，而且需要有正确的代码。 这真的很复杂，这是一个缺点，我们不确定人们在哪里……使用谷歌分析，你只需复制和粘贴 javascript，使用 mixpanel，你必须喜欢实际去跟踪一行代码。 我们心里有个问题，够简单的吗？速度对我们非常重要。 有人能做到多快。 我想给你一些提示和技巧。 我所看到的公司所做的事情一般都不太好。 第一，你是一个初创企业。 你没有很多欺诈问题。 你没有……你可能没有太多人向你提供服务。 你可能不会有太多像假演员在系统中试图注册。 如果你没有这些问题，不要为它们优化，直到你这样做，我只是希望你知道，一般来说，电子邮件和文本确认有一个巨大的下降。 我说的是，在 100%的人中，只有 30%的人会继续点击那些电子邮件确认或者 40%。 你花了很多时间来优化它，然后甚至让事情变得更糟，就像你必须向上帝祈祷那样，不要变成垃圾邮件。 这真是一次可怕的经历。 小心点，这样会损失很多用户。 迭代您的初始用户体验非常重要。 这将是一个永无止境的过程。 你将永远这样做。 即使……特别是当产品发生变化时，喜欢有人在上面变得非常重要，所以至少有一个负责人一直在思考这个问题。 那么，最后一件事是，不是每个公司，不是每个产品都能做到这一点，但在某种程度上，你可以让用户进入产品，这样做总是更好的。 在 MixPanel 的例子中，这是不可能的，因为我们需要获取你的数据，所以你必须注册，但是我们尝试了这样的方法，如果有人只是复制和粘贴了 javascript，但他们没有注册，我们只是收集了他们的数据，然后我们要求他们注册我们做过这样的实验，所以，在你能做到的范围内，这是非常棒的，很好的例子，这实际上就像 Airbnb 和 Google，你只是在那里尝试，但这些规则总是有例外。 例如，像 Pinterest 让你注册。 他们以前不习惯，但现在却习惯了，这是有充分理由的。 那么，最后一个，肯定不是最不重要的，人们会回来吗？对我来说，这可能是大多数初创企业都非常忽视的衡量标准之一，这也是我看到公司（即使拥有数百万用户）实际上死亡的原因。 我见过大概 15 家不同的公司，它们都是病态增长，然后就死了。 公司倒闭了。 我想用图表来证明这一点。 我称之为鱼翅效应。 我之所以称之为鱼翅效应，是因为，好吧，一个是因为 mixpanel…在 mixpanel 中，第一个数据点的默认线条颜色是蓝色，而且它总是…对我来说，它总是看起来像水中的鱼翅，看起来非常像这样，发生的事情是你在浪费你找到了一个传播病毒的方法，对吗？也许你在 facebook、instagram 或其他网站上变得超级病毒式，你会说，“哇，我赚了不少钱。 我拥有大量的用户，我的生活棒极了，我将成为亿万富翁，这太棒了，“对吧？问题是，如果它发生得太早，但你没有充分考虑保留，那么它就会成为真正的问题，这会伤害到公司。 基本上，这个应用程序会变成病毒，最终，你失去用户的速度会变得足够高，以至于你无法获得新的用户。 事实证明，尽管我们喜欢尝试成为非常理性的人，但这确实很难，因为就像当应用程序流行起来时，你会说，“哦，天哪，我需要喜欢……利用这一时刻。”“如果我没有得到它，如果我的竞争对手发现了它怎么办？”所以我要做的就是优化，优化，优化，“结果发现，它不是很有价值，因为如果你只是失去了所有的用户，你很难重新激活它。 如果你和曾经做过类似于重新激活活动的人交谈，重新激活活动通常不会很顺利。 你通常喜欢失去那些用户，直到他们决定也许他们想给产品第二次机会。 不是这样的，你的回答是这样的……当这种情况发生时，很多人的回答是这样的：“哦，我们失去了用户，因为我们的应用程序没有价值。”“让我们再给他们发邮件，看看他们是否会回来。”这真的不是一个好主意。 这可能是真的……这真的很重要，通过留任思考，你真的不想成为这个人。 鱼翅的效果真的非常糟糕。 事实上，生活社会就是一个很好的例子。 很多人都不知道像 LivingSocial 这样的应用程序，基本上是在 Facebook 上的，与 Groupon、Deal Cutting 之类的应用程序无关，它们在上面超级流行……我记不清产品是什么。 LivingSocial 必须让整个公司基本上与 Groupon 竞争，因为当时的应用程序不是很有保留力。 有一些非常基本的方法来衡量人们回来了。 我希望大多数人都知道的最明显的一点是……这只是新用户，所以要确保你跟踪的是一个全新的用户，一个刚注册的用户，其中有多少用户会像一周后或 30 天后回来。 跟踪更长的时间是非常重要的，因为一周后只是不够严格的衡量标准，而且很重要的一点是要看看你会以多快的速度失去用户，因为你必须找到找到新的方法，而且在某种程度上，如果国家统计局你已经成为…的用户数量开始变得相当高。 第二种是日常活跃用户。 可能有人不同意这一点。 我不认为有太多，但我现在认为，每月活跃的用户已经成为像新的 BS 指标一样，那就像非常相似一样，就像注册用户的数量一样，注册用户的数量就像一个非常愚蠢的指标。 我记得七八年前，我想……我想说的是，就像 LinkedIn 出来说的，“我们有 2 亿注册用户。”我想，谁在乎有多少人在使用 LinkedIn，我现在开始认为像 Mau 这样的人正在变得越来越接近这一点。 日常活跃的用户很难维护。 我的意思是，你每天使用多少产品。 如果你只是看看你的手机，浏览所有可能的应用程序，你每天实际使用的应用程序有多少。 我认为这是一个非常严格的衡量标准，我们在 MixPanel 上发现了这一点……所以即使你是一家 B 对 B 的公司，你可能会想，“好吧，我不知道，我销售的业务是这样的，我真的能像每天活跃的用户一样保持下去吗，特别是在周六和周日，”我们实际上事实上，与日常使用和流失率有着很强的相关性，人们喜欢不再为产品付费。 它不需要太多的用户，它就像一个点，每天四个活动想减少流失像一美元流失到 10%以下，这是难以置信的。 我真的很强调测量 DAU，最后一件事是，A B 对 B 倾斜再次是我认为很多 B 对 B 公司犯的早期错误。 事实上，这不仅仅是一个 B 对 B 的公司。 实际上是一些公司提供订阅服务，所以我不知道是否有公司会认为他们可能提供任何类型的订阅服务，比如你是一个冥想应用程序或类似的东西。 这只是美元……这是每月的美元波动，所以如果你每月向客户收费，许多企业每年收费，但通常大多数初创企业都是从每月开始的，因为每年的承诺有时对早期采用者来说很难。 这只是衡量收入变动。 我想给你一个网站故事，如果你有收入流失，你的收入流失率是每月 7%，对吧，你可能会想，“太棒了，我每个月都保留 93%的收入。 这太棒了，我做的真的，真的，真的很好。”问题是，这是一个 7%的月流失率，如果你推断超过 12 个月，你实际上在一年内损失了 58%的收入。 这真的很严酷。 很多人喜欢……因为某种原因，这件事对大多数人来说，在数学上是不直观的。 我不知道为什么。 在我刚开始的时候，这甚至不是数学上的直觉，如果你考虑一下，就好像你把所有的精力都花在了营销上，改进了登陆页面，改进了入门流程。 你在做所有这些，如果你没有保留，如果你每个月都损失 7%，你必须以某种方式弥补你在新年损失的 58%。 如果你开始这样想，“哇，我们赚了 100 万美元，我们损失了 58 万美元，我们开始这样的一年，”你不仅要这样做，而且还要在上面成长。 一旦你的收入基础变得非常高，你就很难跟上，基本上你会有一个很长的弧，就像鱼翅效应。 看看你每月的客户流失情况真的很重要，这将是造成类似债务的唯一原因，但问题是，这就像是最糟糕的债务。 就像债务一样。 它真的像…它真的是平缓的增长，但如果你能获得用户，它最终会在四五年内发生。 我提到这一点，不仅是因为……我和一些创始人谈过这一点，而且这也是在 mixpanel 的早期阶段真正伤害我们的事情，我们真的需要找到一种方法来解决这个问题，而且有各种方法可以使用产品，可以使用定价。 有各种各样的方法来尝试这个，但这件事可能给了我最大的噩梦和睡眠不足，我认为有史以来。 我真的想在这里强调所有的 B 对 B 公司。 真的，仔细想想这个数字，想一想，“好吧，如果客户流失保持不变，我们的增长率会是多少？”“这真的很重要。 Cool. 我想谈两件事。 第一，我认识到这里有很多人没有用户，所以他们就像，我到底要测量什么？如果我的用户少于 50 个怎么办？事实上，我真的想不出比基本上更好的主意，你只需要和你的用户谈谈。 我想我会给你一个小故事，至少是关于我们所做的混合面板。 当我们没有喜欢的用户，我有那个页面，也就是说，指标你会流口水，一个技巧，我使用的是，我有可能 10 或 11 或 12 个客户，老实说，我只是把他们所有的人都放在即时通讯上，像在聊天或其他什么。 我不知道这些天孩子们用的是什么，也许是什么东西。 老实说，我只是想像什么一样纠缠他们，聊什么，聊什么，然后问他们。 我记得有一次我们试图重新设计我们的漏斗用户界面，我们曾经有一个垂直的漏斗，但是我们的竞争对手有一个水平的漏斗，这似乎是一个更好的主意。 对于客户来说，这似乎更直观。 我真的不知道如何获取数据，因为我真的想知道他们是否喜欢这两个统计研究所中的一个。 只是我和一个共同创办人，那我们到底是怎么喜欢在这个特性上做 AB 测试的呢？没有现实的方法可以做到这一点。 我所做的只是做了一个我认为会更好的非常糟糕的 UI 版本，一个漏斗的水平版本。 有点像灰度。 我做了一个非常漂亮的彩色版本，就像我们控制的垂直版本。 然后，我问了 11 个人，哪一个更好？然后我想给大家留下深刻的印象，因为古斯塔夫提到这是三角洲，这是 AB 测试中最重要的区别，不是说这就像一个真正完美的 AB 测试，而是说，我问了 11 个人，一天内得到了反馈，11 个人中有 10 个人说，水平漏斗，然后我们就做了它和我们建造的，我们从来没有回头看，这是完全正确的决定在回顾。 我不认为有任何东西可以让你穿裙子，和顾客交谈，但这是和顾客交谈的好处，尽管这可能比看图表更乏味。 通过与客户交谈，您将获得比在图形中查看数据点更多的信息和深度。 无论你对数据进行多大程度的切片、切块和分段，无论你对数据有多数学化，你永远不会得到那么多的信息和建立自己的直觉，而不仅仅是与客户交谈，而且你做到这一点非常关键。 当时我希望我能做的一件事就是我希望我能把它写下来。 我希望我写下大量的反馈，因为我认为这会有所帮助……我的联合创始人会帮助公司的员工走上这条路，真正开始旅程。 让他们觉得他们是和我一起去旅行，而不是扮演一个角色，感觉他们是如此的分裂。 那么，我认为我要提的最后一件事就是在一开始就告诉大家我说过的话，那就是，我认为人们在分析方面犯的最大错误之一就是过于复杂化，认为他们需要过于复杂化，认为他们需要跟踪 K 各种疯狂的团队，他们需要有一个仪表盘，上面有 30 种疼痛感，就像负载一样，我们有任务控制。 我不认为这是必要的。 我有，它不起作用，很难用这种方式管理公司。 同样会发生的是，当你建立你的团队时，它会真的……对你的团队来说，在这 30 种痛苦中，我需要关注哪一种痛苦，这会让人困惑？我认为我们需要一些东西……人类只需要简化一些事情，所以我会选择一个北极星度量标准。 在这种情况下，我选择的北极星指标是，你愿意把公司赌在哪个数字上，对吗？如果这个数字往南，你就应该死。 如果这个数字上升，你会喜欢……你会喜欢在宇宙中留下一个巨大的凹痕。 那是什么指标？我不是说，你需要永远选择这个指标，但要选择六个月。 投入一些时间，如果你发现它实际上是错误的度量，这可能是你第一次选择，通常你的度量是错误的。 然后，你可以改变它，但是在另外的六个月内再次承诺，但是选择一个数字，然后，如果你在开始时要做的基本上就像打印出来，然后把它放在办公室里，那么就这么做，因为人们会开始疯狂地关注它，他们会显示直到开会，然后说，“是的，但是这个数字就像是下降了，我们要怎么做？“真正复杂的是发现这个数字为什么会下降或上升。 那时候你可以变得非常老练。 这时，你可以把它切成薄片，切丁，找出它的保持力是什么，像什么，然后用漏斗测量，但要保持简单。 然后，第二件事是，不要煮海。 选择三到五件其他的事情，我认为少就是多，就呆在那里，告诉甚至是大公司……大多数大公司不这样做，这通常是非常不和谐的工作人员。 有你想监控但不关注的数字是完全可以的。 太棒了，我想就是这样，然后，对于那些有点无聊的人来说，因为我复习了基础知识，我想我会帮助你，为以后的阅读提供一些高级的主题。 真的，这些都是我认为非常有用的东西。 我最喜欢的是这个，陈冠希的下一个故事谬论。 正是这个想法，我们一直认为，接下来我们要做的就是改变公司发展轨迹的事情，也就是说。 就像下一个特性就在拐角处，我们将是巨大的，我真的建议你读那篇文章。 真是太棒了。 我最喜欢的一个，所以对于高级的东西，这些只是值得关注的人，阅读，可以给你比我今天给你的更多的想法。 Awesome. 谢谢您。 杰夫，Q 和 A。 可以。 Cool. All right. > Geoff Ralston: 你要我挑吗？你要我挑吗？ > Suhail Doshi: 是的，我想公平。 我不喜欢，如果每个演讲者都选择在前面的人。 > Female: 你会建议什么转换，一些人转换或尝试从访问者转换到注册，考虑注册与订阅，获取订阅。 > Suhail Doshi: 是的，问题是，它是这样的……是的，是的，我想有人问，什么是好的基准……考虑到这五个步骤，访问，注册，使用产品，这些步骤中的任何一个都有什么好的转化率。 图表中的基准部分是，它如此依赖于 B 到 B 的业务，就像从访问到注册一样，我认为 4%到 5%的转换率是相当不错的。 我想我喜欢和斯图尔特交换笔记，因为我们有类似的登陆页面。 我想我会问他们，你们的转化率是多少？我想我们两个从拜访到签约都在 4%到 5%左右。 也就是说，比如，我不知道 Airbnb 这样的东西会是什么样的，它就像进入一个登陆页面，然后寻找你想要预订的第一个地方。 我觉得这真的很依赖。 我知道 mixpanel 在其博客上发布了很多基准测试。 我知道那里的营销团队是这样做的，他们喜欢发布各种基准，比如，如果你是一家游戏公司，如果你是一家电子商务公司，如果你是一家从 B 到 B 的公司，比如，社交公司，视频公司，等等。 我认为你可以去那里找到各种基准报告，但它确实依赖于业务，是的。 > Male: 当你进入注册过程时，你如何看待数字的变化，如果你想创建一个帐户名和密码，做所有的注册，而不是像用谷歌或 LinkedIn 登录，是的，如何转移，如果有更多的人有这样的单点选择注册伊恩，你看到更多的人因为必须使用其中一个而下车吗？ > Suhail Doshi: 我认为问题在于，什么样的转换方式更像那些社交按钮，你可以像 Facebook Connect 那样快速验证，而不是像标准注册那样，是这样吗？是的，所有这些问题，都需要很高的特异性，因为事实上，这是非常不清楚的。 那样的话，我真的不知道。 我真的不知道，所以我想回答这个问题的方法是找一些不喜欢和你竞争的行业的朋友，但基本上是这样做的，然后就像“嘿，你的转化率是多少？”你试过什么吗？“实际上，我并不认为这些数字中有很多是现实中的秘密。 我的意思是，你不能去问你的竞争对手，但这些东西大多数都不像超级骗子的秘密类型的东西，他们要么给你信息，然后给你 6 个月的时间，要么他们会说……或者你试试看，但保守秘密有点奇怪。所以我想给你一些你能发现的方法。 我只会问有创业机会的朋友，即使他们在大公司工作，有时他们也愿意分享。 是的。 Cool. > Male: 你谈到让用户更容易使用，开始使用你的产品，然后有一张幻灯片在那里[听不清]。 你如何平衡简单性和告知访客，比如你在做什么，他们为什么要使用你的产品？你还没有那种品牌知名度，客人已经有了... > Suhail Doshi: 是的，对。 > Male: 你如何平衡这两者？ > Suhail Doshi: 是的，是的。 问题是，Airbnb 的登陆页面非常简单，你如何平衡呢，我的意思是，如果很多人只知道 Airbnb，他们只知道使用 Airbnb 是为了什么，那么这就是为什么他们可以保持它的简单，而不是像拥有更复杂的东西。 一个很好的例子就是 Craigslist，它太疯狂了。 如果你去他们的克雷格列表首页，那简直是疯了。 即使是亚马逊，如果你去 amazon.com，对吗？尽管亚马逊有着巨大的品牌认知度，但你还是可以登陆亚马逊网站。 就像，“哇，”一下子就有上百万的事情发生，对吧？这些公司是如何找到平衡的，他们是如何找到应对这种复杂性的方法的，事实是，我发现有一个指导原则很重要。 你到底想优化什么，对吗？以 YouTube 为例，让我们以 YouTube 为例，对吧？YouTube 就像是谷歌，就像，你看起来怎么样，你想看什么？他们可以这样做，但他们不能。 我认为真正的问题是，就像 YouTube 的团队在努力优化什么？他们只是想让你喜欢看录像吗？Airbnb 只是想让你搜索任何类型的酒店，或者不是酒店，而是 Airbnb？我认为团队必须首先建立一个假设，即什么是重要的……我们认为什么是重要的，然后从那里开始，进行实验并试图弄清楚这一点很重要。 结果似乎不是太…再次，它是关于人们实际上会更倾向于什么样的三角洲。 如果你做了一个很简单的经历，但喜欢的人就像是真的很困惑，因为他们甚至不费心去做或者你问他们，那么你就有点喜欢新的信息，我认为关键是找到你需要添加的最少数量的东西来让别人开始。 我不认为有什么……我相信亚马逊已经像疯了一样测试了首页，他们发现它是非常理想的。 是啊。 > Male: 根据你的个人经验，你认为短时间的视频超过两分钟[听不清]。 > Suhail Doshi: 他们可以。 这取决于产品。 在 MixPanel 的例子中，我将给出一个例子。 对不起的。 Yeah. 问题是视频……一到两分钟的视频教程是否有效、公平？是的，所以我觉得这很复杂。 例如，我们在流程中做了一个视频教程视频，我想说的是，很多人没有如实观看，这就是我所说的实验。 很多人没有看那个视频教程。 我的意思是，实际上我认为在前三个步骤中消除了它，但是我们发现的是发生了一件有趣的事情，由于查找和测量了一些东西，我们在 mixpanel 中有一个特性，在这里您可以看到用户采取的每一个操作。 我真的很想去每一个用户，然后就像一个毛骨悚然的人一样观看，就像一个人在产品中所做的一切一样。 最终，当你这样做的时候……当你做上百个这样的事情，你只是看了上百个这样的事情，你开始产生某种感觉，好吧，你开发的是一个想法，一个假设，所有这些事情都需要艺术和科学，我认为那些把它做得太远的公司，他们就像把它带到科学的太远，最后出错，他们最终优化了一些奇怪的东西。 你可以把一个按钮做得越来越黄越来越大。 这并不能让用户最终满意。 不管怎样，为了回答你的问题，我发现很多人只是像所有的侧菜单选项一样随机点击，我的假设是，他们还没有集成 mixpanel，所以没有什么可看的，所以你在做什么，就像点击一个漏斗保留，你为什么要这样做？我的假设是，他们只是好奇，就像产品做了什么，他们做了什么，所以我们做了 AB 测试，在那里我们喜欢有一个没有什么相似的控制，只是经常点击周围，看到像一些图像，然后我们有另一个有类似视频的。 然后我们试着看看是什么让人们喜欢做他们的整合，他们的第一次整合，转化率是多少，结果像视频，像超级韩元。 实际上，我们做了一个比这更简单的测试。 我想我们刚刚给人们发了一个视频，然后说，“看这个视频，超级基础”，我甚至没有费心在网站上实现它，我有一个惊人的转换率。 然后，我们决定把视频全部添加到所有那些标签页上，不管怎样，它们都不会是任何东西。 这就是为什么我想说，像，我想强调这个，这真的取决于什么，重要的是你运行这个实验来发展一个假设，也就是说。 艺术不是科学，然后测量它，这是一门科学，用来找出你所想到的事情是否是正确的。 Yeah. > Geoff Ralston: 一直到后面。 > Male: 我有个问题要问你，这就是客户流失，收入流失。 这与[听不清]有什么关系？ > Suhail Doshi: 一年内收入减少 58%。 Yup. > Male: 你证实了我们关注的是……我们关注的是保持力[听不清]。 > Suhail Doshi: 是的，所以有两种不同的东西。 一个类似于用户保留，另一个类似于美元搅动。 在美元暴跌的情况下，我提出美元暴跌的原因是，即使……就像你完全可以拥有一个没有人使用产品的公司，而该公司继续为其付费，对吗？我发现，像大多数公司一样，他们很有动力削减开支，员工也很有动力，因为他们在预算中损失了开支。 关于美元流失，你可以有很多……例如，在一个 B 对 B 公司，你甚至可以有一个用户使用该产品，但该公司可以继续在它上面花钱，你可能会看到 40%的保留率。 也许可以，只要公司继续支出，但一年内损失 40%的美元确实很难，而且不好，留着。 这有道理吗？这些事情并不完全联系在一起。 它们没有直接联系。 Yeah. 是的，给你一个类似聊天应用的基准，就像经常使用的一样，保留率大概是 60%，70%。 这些是最具保留力的东西。 像 slack 这样的东西可能有 80%的保留率。 有点难以置信。 就像我们的产品，比如 MixPanel，当我们像第一年一样开始的时候，我认为我们有 30%的保留率，40%的保留率，这并不是很好，这是我们的头几年。 Yeah. > Male: 这些是全部的指标吗，我认为你们都有四个指标，那是硬件初创公司吗，就像你们构建的一样，我们需要去实现它吗？ > Suhail Doshi: 是的，问题是，这些度量标准可以用于硬件启动吗？ 是的，我不知道为什么。 我们和颌骨一起工作了很长时间，我们和 Fitbit 一起工作。 大多数硬件…你的硬件公司有软件组件吗？ > Male: 实际上，我们使用订阅模型，比如[听不清]。 > Suhail Doshi: 好吧，这是一家有订阅模式的硬件公司。 是的，当然。 作为一家硬件公司，跟踪可能更具挑战性，但有时，这是完全可行的。 大多数硬件都是以某种方式连接到互联网的，所以我不知道为什么，像许多小型摩托车公司一样，它们都是连接到硬件的，并且有一个软件组件。 其实没什么区别。 Yeah. > Male: [听不清]。 > Suhail Doshi: 是的，所以问题是，第一页的目标是像各种规模的公司一样，然后像 2012 年一样，像 mixpanel 的第二次登陆，基本上没有处理过，而且有一些非常不同的地方，它是市场特征和东西，你怎么知道的？就像从那一点到下一点基本上要做什么。 是的，所以我认为基本要点是……所以你可以清楚地看到，我不知道我们的客户是谁，然后在几年之后，你和用户交谈，你问他们他们是什么规模的公司，如果他们注册，如果你想，我们没有这样做，但我们只是花了很多时间……很明显，就像当时注册 mixpanel 的所有人一样，这是一家初创公司。 在我们的情况下，我们称之为小企业。 > Male: [听不清] > Suhail Doshi: 我想我们大概花了不到六个月的时间才知道我们不会签一家大公司。 Yeah. 我们只是没有这个产品，它只是不在那里，我们没有足够长的时间来开发它，所以唯一愿意尝试的人是那些可以冒风险尝试它的公司，而且这些公司中的大多数无论如何都没有任何东西，所以更容易。 如果目标公司没有什么，而且……愿意承担风险，那么大多数时候，我总是使用这个技巧，我只是……我会为此收取费用，如果他们拒绝，我会免费给他们，因为反馈更多的是重要的。 我一直想知道他们是否会为此付出代价，所以唯一愿意这样做的人也是小企业，事实证明。 对我们来说，这就像……它打了我们一巴掌，打了我们的脸，不难弄清楚。 Yeah. > Male: [听不清] . > Suhail Doshi: 是的，所以说得清楚，我们不一定是为了吸引新用户而建造的。 不好意思，问题是你们建立了，忘记了……你们决定不建立忘记了密码，你们怎么知道什么时候建立生活质量特性，而不是仅仅获得新用户的特性？是的，所以我认为我们没有……它不是那么多，只是建立功能来获得新用户。 我们构建功能以获取新用户并保留现有用户。 我们非常专注于产品的某些部分，这些部分实际上会产生影响，对吧，与其他所有可能的选择相比，它们会有明显的区别。 有一件事是你是否忘记了密码，对吧？就像是在桶里一样，喜欢的东西也许并不重要。 我认为这个问题真的像，什么时候它对你来说足够成为一个问题，值得去建立它，对吗？如果你发现忘记密码的请求数量在增加，然后手动执行这个过程，这会让你很恼火。 然后，您应该构建这个特性，因为您知道如果您不构建特性，它们就不能登录，那么您就不能保留它们，然后您就失去了它们。 这就变成了飞轮效应，保持飞轮效应的唯一方法就是这样做。 事实上，即使 mixpanel 没有构建忘记密码，大概 12 到 18 个月，我们最终还是……我们发现人们会尝试多次密码，当我看到用户将要采取的每一个操作的流时，我发现人们会喜欢去 Lo。在屏幕上显示 5 次。 我只是很困惑。 我想，“他们为什么要去登录屏幕五次？“我是说，”我想这是因为他们不能登录。“有些人甚至没有按忘记密码，他们只是喜欢尝试，尝试，尝试。 我敢肯定你们都是像对待银行之类的事情那样做的，你们会说，“我明天就做，”你们甚至都不费心。 事实证明，即使发生了这种情况，所以我们走了这么远，即使我们没有这样做，我喜欢这样想，就像我们真的弥补了这以后。 到目前为止，我们发现 Facebook 使用了一个巧妙的技巧，那就是，当你三次登录 MixPanel 失败时，我们只会给你发一封电子邮件，上面写着“我们刚刚给你发了一封电子邮件”。 只需转到您的电子邮件并单击按钮，您将立即登录。 不要担心忘记它，不要担心更改密码，只需登录即可。“事实证明，这样做有很好的保留效果，因为当时我们确实专注于保留。 Yeah. > Geoff Ralston: 好的，再问几个问题。 > Male: [听不清] > Suhail Doshi: Yeah. 你如何衡量产品市场的适合性？你如何衡量产品市场的适合度？我认为有很多人可能已经……会像人们一样谈论或已经谈论过……我认为他们很好，所以我会给你一个定量的倾斜，而不是定性的倾斜。 有些定性的倾向是当人们愿意把你传播给他们的朋友时，这种事情。 这个定量的版本实际上只是测量你的记忆力，比如有多少人……它像 dau 一样测量，它实际上是测量一周后，30 天后回来的人的百分比。 很多人都喜欢变得几乎需要你的产品，或者他们觉得生活会更糟。 我认为你完全可以通过他们如何使用它来衡量这一点，所以我认为定量测量基本上是找到一些基准，一些美分对于你的行业，也许是 30%，记住，基准可能是平均水平，你的愿望基本上是高于平均水平。 如果你喜欢大大超过这个基准，那么我认为你真的喜欢……你做得比产品市场适合性更好。 我认为这是一回事。 我想另一件事是，你可以试着像整体一样测量，重复使用，像一天中频繁使用。 你可以制定非常严格的指标。 例如，对于 dau，你可能会说，“我不希望它像他们做的一样成为日常活动的用户。 我想要的是……那个用户必须看了五个视频，然后，只有这样，他们才算是一个每天都活跃的用户，”所以你可以对这个标准特别苛刻，对吧？有人来了，喜欢……这就是为什么我说 Mau 现在是一个 BS 指标，因为你来观看一个视频，然后再也不回来了，你喜欢计数，这不像是一个非常健康的行业，所以我认为找到方法严厉对待你的北极星，我认为你会你达到了产品市场的契合度，是的。 是的，我认为 MixPanel 的保留率是 30%，40%，这真的很可怕，我们还没有完全适应产品市场。 Yeah. > Geoff Ralston: Okay. 最后一个问题。 > Male: 你认为通常错误的传统创业智慧之一是什么？ > Suhail Doshi: 这就像一个彼得·泰尔的问题，你认为什么是一个普遍错误的传统智慧？ > Male: 关于初创企业。 > Suhail Doshi: 关于初创企业。 > Geoff Ralston: 这是最后一个难题。 > Suhail Doshi: It’s a hard last question. 一切都很好。 我想……我不知道，我需要考虑一下，但我认为有一件事对我来说已经很清楚了，我认为在做了大约十年的 mixpanel 之后，我发现……我试图在今天的谈话中把它传授给你，就是说，它好多了。就像……我认为我们像人类一样，往往会把事情复杂化，这就像所有事情一样。 例如，我们倾向于将一个产品的一个版本制作成第二个版本，然后我们会说，“好了，我们完成了。”我们会说，我们完成了，我们解决了问题，然后经常会发现，我们会觉得，有点分心，然后去做下一个产品，下一件事。他们还没有意识到他们的保留率可能不高，或者他们的经营利润率为负，或者像所有这些事情一样。 同样的事情也发生在数字上，比如我们选择三个指标，然后我们作为一个企业继续变得更加复杂，然后我们添加接下来的 20 个指标，然后我们做所有这些事情，就像……希望喜欢，感觉我们更好地控制了局面，我认为这些都是我分心和犯错，我认为普通创始人很难真正专注于无聊的事情。 我们往往有 80 岁左右的人，我们只是决定很容易分心，我认为很难做点什么……做 4 到 5 年同样的事情，因为我们不喜欢再觉得有挑战，我认为这是创始人经常犯的一个巨大错误，我不喜欢要知道有人说，“哦，那简直是大错特错了，苏海尔。”无论出于什么原因，像每个创始人都会重复这句话。 一定有什么，我不知道……一定有某种智慧，我们都认为这是正确的，我犯了那些错误。 我做了不该有的新产品。 我测量了太多的东西，过度优化的东西不需要优化，所以是的，就是这样。 Cool. 谢谢。 > Geoff Ralston: 谢谢你，苏海尔。