# Fotolog 扩展成功的秘诀 > 原文： [http://highscalability.com/blog/2007/10/2/secrets-to-fotologs-scaling-success.html](http://highscalability.com/blog/2007/10/2/secrets-to-fotologs-scaling-success.html) Fotolog 是一个以照片为中心的社交博客网站，从 2004 年的 30 万用户增长到 2007 年的 1100 万用户。尽管他们最初经历了快速增长的不可避免的痛苦，但他们克服了问题，现在管理着 3 亿张照片和 80 万张照片 每天都会添加新照片。 产生如此美妙的内容的是每月有 2000 万唯一身份访问者，以及每天由 30,000 新用户组成的志愿军。 他们的表现如此出色，一个令人印象深刻的求婚者以 9000 万美元的高价买下了他们。 这样的规模可以满足任何人的成功标准。 他们是如何做到的呢？ 网站：http：//www.fotolog.com ## 信息来源 * [扩展世界上最大的照片博客社区](http://www.slideshare.net/frankmashraqi/fotolog-scaling-the-worlds-largest-photo-blogging-community)* [祝贺 Fotolog 向 Hi-Media 出售$ 90mm 的交易](http://www.beyondvc.com/2007/08/congrats-to-fot.html)* [Fotolog 超越 Flickr 吗？](http://www.kottke.org/07/01/fotolog-overtaking-flickr)* [Fotolog 吸引了 1100 万会员和 3 亿张照片](http://www.stockphototalk.com/the_stock_photo_industry_/2007/09/fotolog-hits-11.html)* [本周网站：PC Magazine 的 Fotolog.com](http://www.pcmag.com/article2/0,1895,2150030,00.asp)* [CEO John Borthwick 的博客](http://www.borthwick.com/weblog/category/fotolog/)。* [DBA Frank Mash 的博客](http://mysqldatabaseadministration.blogspot.com)* [Fotolog, lessons learnt](http://www.borthwick.com/weblog/2008/01/09/fotolog-lessons-learnt/) by John Borthwick ## 该平台 * 爪哇* 的 PHP* Sun* Solaris 10* 的 MySQL* 阿帕奇* 冬眠* 记忆快取* [3PAR](http://www.3par.com/index.php) （用于实用程序计算的简单，高效且可扩展的分层存储阵列）* [IBRIX](http://www.ibrix.com/) （单个名称空间并行文件系统，可伸缩的卷管理器，高可用性功能）* 强邮* CDN: Akamai/Panther ## 统计资料 * 从 2002 年开始。在 2004 年，他们有大约 30 万或 40 万成员，3 名员工，没有可扩展的基础架构，也没有收入模型。* 由于快速增长，该站点经常遇到技术问题，2005 年他们不得不将新的免费成员限制为每天 1,000 名。* 2007 年，他们拥有超过 1100 万用户，并以 9000 万美元的价格卖给了 Hi-Media。* 成员来自 200 多个国家/地区，多数在南美。 超过 20％的网页浏览量来自欧洲。 他们拒绝了以美国为中心的战略，而是建立了一个全球性和互动性的受众。* 每月产生超过 35 亿的页面浏览量，每月接待超过 2000 万的唯一身份访问者，并获得了 Alexa 排名前 20 位。* 管理超过 3 亿张照片，每天上传超过 500,000 张照片。* 每天新增 30,000 多个新成员，每天吸引 460 万以上的用户。 无需市场营销或会员激励即可扩展。* 超过 500 个用户生成的社区。* 20％的成员每天访问该网站，平均花费 24 分钟。* 32 个 MySQL 服务器和 30 个 memcached 服务器群集。 ## 架构 * 网站最初是用 PHP 编写的。 -他们的新“ Fotolog 成员页面”功能是用 Java 编写的，具有显着的性能改进。 页面更清洁，响应时间更短。 -他们现在使用不到一半的盒子为网站提供服务。 -由于性能提高以及需要注册才能发布留言簿消息，因此每日注册量增加了 35％以上。 -新的代码库使他们可以在会员体验方面进行更多创新。 * 他们已经超过 Flickr，成为了牢固的 Web 1.0 应用程序。 -没有标签，没有 API，没有 JavaScript 窗口小部件，也没有 Ajax。 -他们具有西班牙语选项，可以将网站扩展到广泛的用户群。 -他们使用的文字很少。 它主要是可视的，因此可以被广泛的用户使用。 -他们的界面是可定制的，许多人喜欢表达自己的身份。 -他们的唯一访问者比 Yahoo 的访问者少 1 毫米，但网站上的总访问时间却是 Yahoo 的两倍，网页的访问时间是 3 倍。 * 收入模式： -金牌会员（每月约 5 美元）意味着您每天可以上传 6 张照片，而不是 1 张，每张照片有 200 条评论，而不是 20 条，这是您个人资料的自定义标题图片，是您的微型缩略图 留言簿中您名字旁边显示的最新照片，以及在首页上显示您的照片的可能性。 -Adsense。 考虑到来自来宾簿的其他上下文数据，来自 Google 的收入增长趋势预计约为 15％。 -将在其成员中转向点对点广告。 -会员将能够使用小额付款服务买卖真实和虚拟物品。 * 他们有每天发布一次的规则，即用户每天只能发布一张照片。 该规则不会抑制增长，而是通过增加观看照片的机会并吸引正面评论来确保质量并产生出色的用法。 人们通常会在博客上说不出话来，而人们总是可以找到要拍照，上传和谈论的图片。* 只能上传小于 2,000 kb 的照片。 它们会自动调整为 500x500 格式。 页面看起来更整洁，加载速度更快。* 模型正在浏览搜索。 鼓励机会性的偶然性寻宝活动。* 无需许可即可自动添加朋友。 这会为您的照片吸引观众。* 支持按组浏览功能，该功能具有“颜色”和“情感”等类别。* 该网站特意简单。 -他们抵制了一个又一个地添加功能的诱惑。 相反，他们的愿景是提供一些功能，类似于 Craig 的列表，重点是内容和对话。 -页面必须具有社交性。 -页面不仅需要包含您的图片，还需要包含来自整个网络的图片，以提供可视化导航，从而今天可以驱动他们的会员在网站上花费的大部分时间，这是一个自我形成的有机分布系统，让会员可以看到 并被看到。 -注释和留言簿条目是对这种图像社交网络的补充，使这种体验成为媒体与交流相交的地方，每天都有数以百万计的图像与数十亿次对话相撞。* Photobucket 与 Fotolog -Photobucket 存储基于图像的媒体，然后将其分发到 Myspace，Bebo，Piczo，Friendster 等社交网站上的页面上。 -Fotolog 是目标。 -第一代社交网站强调通过连接（从 Geocities，Tripod 到 Blogger）进行自我发布。 下一代主要关注人际关系（六度和 Friendster 是这里的经典示例-收集朋友和人际关系的工具，因为社会资本在理论上是与人际关系最多的人积累的）。 第三代和当前的站点将媒体与联系融合在一起-每个站点都有不同的侧重点。 * 备份：Sun 6540 磁盘阵列* 他们的 32 台 SQL 服务器分为四个集群 -用户，GB（来宾），PH（照片），FF（朋友和收藏夹列表） -使用非持久连接。 -Java 端的连接池。 -InnoDB -分区由应用程序层处理。* 每个群集： -带有一组应用程序服务器。 -分为一组碎片。 -每个分片都有 MySQL 只读主-主配置，该配置提供了几个只读从属。 -应用服务器将其读取请求发送到从属服务器，并将其写入请求发送给主服务器。 -基于某种特定于群集的分区密钥将数据分配给共享。 幼稚的分区算法可能会导致非常不均匀的分片负载，您希望每个分片上的负载更加均衡。* MySQL 仅用于存储图像元数据。 这似乎很标准。 几乎没有人似乎在数据库中存储重要的 Blob，因为它会减慢数据库操作的速度。* 照片存储使用 3PAR 和 IBRIX。 CDN 用于热点内容。* 虚拟存储系统尽管价格昂贵，但运行良好。* 随着更多选择的使用，自动递增密钥的锁争用也会增加。* 通过数据库优化，他们已经能够在同一 32 台数据库服务器上从 400 万成员增长到 1100 万成员。 这也提高了在 Solaris 10 上运行 MySQL 的效率，并增加了内存缓存群集，移植到 Java 并增加了 RAM。* Happy with memcached. - Created a distributed cluster of 50 memcached servers with a total cache size of approximately 150 gigabytes, supporting around 4 billion page views/month. Peak load times dropped from 10 seconds to 2 seconds. - Quote from [CTO](http://mashraqi.com/labels/memcached.html) : > *我有一个新的内存缓存用户要添加到您的列表中：我们在世界最大的照片博客社区 Fotolog 上使用它，我们很喜欢。 我刚刚滚动了我们的第一个代码以将其用于今天的生产，它一直是救生员。 我迫不及待地开始在依靠伯克利数据库来分担某些数据库工作的地方开始使用它。 我们也不是每天浏览数百万页的网站。 Fotolog 是一个每月十亿页以上的网站（每天对我们而言典型的浏览量是 35 到 4000 万）。 最近，我们克服了一些与数据库相关的重大性能问题，这些问题使我们的网站流量激增，并且在流量负载沉重的情况下再次陷入停滞（恢复到 10 秒，有时在高峰时段加载页面）。 每次可以轻松地以相同的形式共享列表至少 5 到 10 分钟时，服务器就会浪费时间重新创建列表。 因此，我们引入了内存缓存，创建了一个总共有 4 个演出的分布式 30 服务器集群，并制作了一个非常小的代码 mod 以使用内存缓存，并且我们的高峰时段加载时间回落到 2 秒左右。 它允许持续增长和令人难以置信的效率。 我无法说何时对如此简单的作品感到满意。”* ## 得到教训 * 受欢迎程度是由活跃的用户群驱动的，而不是丰富的炫酷功能。* 网络是全球性的，它的尾巴很长。 通过以语言和特定于文化的设计吸引美国以外的用户，您可以与大个子竞争。 对于 Google，Yahoo 等而言，最艰难的竞争来自本地初创公司，他们着眼于当地人的需求。* 如果您想获得大量嗡嗡声，请执行 alpha 怪胎希望您做的任何事情。 如果您想让很多快乐的用户去做他们想要您做的事情。* 像诗歌一样，网站中的约束可以使事情变得出乎意料的更好。 每天只允许用户发布一张照片的规则创建了一个环境，使人们对彼此的照片发表更多评论，从而创建了一个更加互动的社区。 谁知道？* 限制您的网站。 限制图片，评论等的大小，以免资源使用量急剧增加。* 有远见。 对您的网站应该是什么以及为什么要有一个深刻的认识，然后利用这一愿景来决定您应该构建什么以及应该如何构建它。 他们围绕每日照片构建的社交网站的愿景导致了一个与您的目标是存储所有照片的网站截然不同的网站。* 可以添加创收功能，而不会破坏网站的完整性。 我非常喜欢他们如何免费为人们提供合理的功能集，然后为他们需要的更多资源收取费用。 这些功能还有助于扩展和增强其网站的社交视野。 看看他们的新获利策略如何发挥作用将很有趣。* 不要害怕扩大规模。 通过添加更多的缓存，更多的 RAM，更多的 CPU 和更高效的 CPU，您可以在相同数量的计算机上处​​理更多的负载。 从数据中心空间和强大的 POV 来看，这是一件好事。* 使 MySQL 执行： -查找问题的根源。 -成熟的系统主要是磁盘绑定的。 -查询缓存可能会伤害您。 -添加 RAM 以帮助躲避子弹。 -分割磁盘。 -重组表以获得最佳性能。 -使用 libumem.so 查找内存泄漏。* 要记住的事情： -了解问题 -了解您的应用程序 -了解您的存储引擎 -了解您的要求 -了解您的预算 -使用所有这些信息来决定 系统的哪些部分真正需要投入时间，金钱和测试才能实现高可用性。 ## 相关文章 * [Flickr 架构](http://highscalability.com/flickr-architecture)* [数据库设计的非传统方法：碎片](http://highscalability.com/unorthodox-approach-database-design-coming-shard)的来临 托德 嗨，我是 Fotolog 的 CTO，您在组装和分析所有这些信息方面做得非常出色。 知道那里仍有记者愿意做腿法，这真是令人鼓舞。 我只想做几个小笔记。 在统计方面：我们现在每天大约增加 800,000 张照片...主页计数器有时可能会滞后。 此外，我们首次实现内存缓存时就写了内存缓存引号。 我们目前对它的使用更为广泛。 现在，我们在大约 50 台服务器上运行它，总缓存大小约为 150 GB，每月支持大约 40 亿的页面浏览量。 此外，我们仍处于 ibrix 实现的中间。 再次，伟大的工作。 -沃伦 感谢您的晋升，但我只是一个可替换的程序员部门：-)我必须承认，直到您被收购时，我才听说过 Fotolog，但这是一个有趣的故事。 您如何将愿景和网站完美地结合在一起，可以学到很多东西。 并感谢您的更新。 那是很多照片，我想您为什么选择 Ibrix。 您能否谈谈为什么要使用 Ibrix，希望完成什么以及如何为您工作？ 嗯，内存缓存。 当我*没有*看到它部署时，我感到很惊讶。 另一方面，我认为这很有趣：“他们有一个每天发布一次的规则，即用户每天只能发布一张照片。” 我从未听说过如此严格的限制。 - Dustin Puryear 作者，“管理 Linux 和 UNIX 服务器的最佳实践” [http://www.puryear-it.com/pubs/linux-unix-best-practices](http://www.puryear-it.com/pubs/linux-unix-best-practices) >我从未听说过如此严格的限制。 我认为这不是资源 POV 的局限性，而是创建某种社区的一种方式。 这就是为什么我认为这是一个如此出色的举动。 信息太少：） 您是否正在使用 memched 将数据缓存在前端 Web 服务器，数据库或应用程序服务器（或全部）上。 您正在使用哪种应用服务器。 您在应用服务器上使用哪种缓存提供程序？ 它是事务性的吗（如果不是，您是否在应用程序本身中管理事务，例如通过使用 EJB3 版本注释）？ 感谢您撰写此摘要。 我喜欢普及性是关于用户而不是功能，以及愿景应对公司产生的影响。 我最近在 [http://trooji.wordpress.com/2007/12/04/soviet-vs-us-design-philosophy/](http://trooji.wordpress.com/2007/12/04/soviet-vs-us-design-philosophy/) 阅读了类似的文章 嗨，沃伦，Fotolog 的 CTO，您将休眠与 memcached 一起使用还是开发了自己的缓存管理系统？ 我想知道是否有人使用 memcached 作为休眠的缓存解决方案。 问题：在此过程中，PNG 是否被用作扩大成功的手段？ 如果是这样，请描述可能的过程。 感谢您撰写此摘要。 Fotolog 的惊人发展。 出于好奇，我想知道它使用了哪些收入流来产生收入。 他们打算使用 [http://www.stumblehere.com“](<a rel=) >在线分类还是基于广告的获利解决方案？ 这全都与名声有关。 即使您的网站没有任何内容，如果您拥有良好的搜索引擎优化 ----- [http://underwaterseaplants.awardspace.com“](<a rel=) >海洋植物 [http://underwaterseaplants.awardspace.com/seagrapes.htm“](<a rel=) >海葡萄... [http://underwaterseaplants.awardspace.com/plantroots.htm “](<a rel=) >植物根 这真的是很棒的信息，谢谢，这正是我所需要的