# 如何使用微服务建立财产管理系统集成
> 原文: [http://highscalability.com/blog/2016/2/10/how-to-build-your-property-management-system-integration-usi.html](http://highscalability.com/blog/2016/2/10/how-to-build-your-property-management-system-integration-usi.html)
![](https://img.kancloud.cn/6a/9a/6a9a0d3354542c1842403cd48aabccab_225x151.png)
*This is a guest post by Rafael Neves, Head of Enterprise Architecture at [ALICE](http://info.aliceapp.com), a NY-based hospitality technology startup. While the domain is **Property Management, it's also a good microservices intro.* 在零散的款待系统世界中,集成是必不可少的。 您的系统将需要与来自不同提供程序的不同系统进行交互,每个提供程序都提供自己的应用程序接口(API)。 不仅如此,而且当您与更多的酒店客户整合时,将需要更多的实例来连接和管理此连接。 物业管理系统(PMS)是任何酒店的核心系统,随着行业变得越来越紧密联系,集成至关重要。
为了在酒店业提供软件解决方案,您肯定需要与 PMS 提供者建立 2 路集成。 挑战在于大规模建立和管理这些连接,并在多个酒店中使用多个 PMS 实例。 您可以采用几种方法来实现这些集成。 在这里,我提出一种简单的架构设计来构建集成基础,随着您的成长,该基础将增加 ROI。 这种方法是微服务的使用。
## 什么是微服务?
企业软件设计思想领袖 Martin Fowler 提供了微服务的全面定义[:](http://martinfowler.com/articles/microservices.html)
> 在过去的几年中,出现了“微服务体系结构”一词,用于描述将软件应用程序设计为可独立部署的服务套件的特定方式。 尽管没有这种架构样式的精确定义,但围绕业务能力,自动部署,端点中的智能以及对语言和数据的分散控制,组织周围存在某些共同特征。
本质上,微服务是很小的软件组件,专注于真正做好一件事情。 不必编写一个大型的整体应用程序,而是可以使用微服务将其分解,每个微服务在给定的域中管理一个集中的功能。
因此,它们是自治的,彼此独立执行。 因此,对一项服务的更改不应要求对另一项服务的更改。 随着您的成长和进行更改,您无需担心会影响其他微服务。
微服务是:
* 小
* 专注于
* 松耦合
* 高内聚性
## 为什么微服务功能强大
微服务架构提供了很多好处。 主要优点包括:
### 可扩展性
* 您的单个系统将与具有不同属性的多个 PMS 实例集成。 从规模上讲,当与 1000 个属性进行集成时,即使它们正在运行来自同一供应商的相同 PMS 系统,您也需要显式管理不同的 1000 个集成。 为了增加复杂性,这些实例可以来自不同的提供程序。
* 随着您添加许多 PMS 实例和属性,它可以优雅地扩展。 如果您使用的是整体应用程序,则必须将所有内容扩展为一个大块。 在流量高峰期间,可能很难理解性能瓶颈在哪里,而对于微服务而言,透明度要高得多。
* 当您拥有微服务时,很清楚哪些服务存在性能问题,您可以轻松调整其容量(底层硬件),而不必增加运行正常流量负载的其他服务的容量。
### 弹性
* 旅馆中的 PMS 实例可能已关闭或出现性能问题,这不会影响系统的性能或正常运行时间。
* 您可以实现任意数量的微服务。 部署的次数越多,容错和对更改的管理就越多。
### 技术堆栈独立性
* 您可以具有多个技术堆栈; 每个服务都将拥有最适合的技术堆栈。 您的访客配置文件可能在关系数据库中,而他们的请求可能在 NoSQL 数据库中。
* 对特定技术栈没有长期的承诺; 毕竟,您可以拥有多个。
### 添加,更改或取消功能&重构 [
* 微服务非常小(通常只有几百行代码)。
* 由于代码具有内聚性,因此更容易理解:它可以做一件事。
* 对其所做的更改不会直接影响其他服务。
* 删除整个微服务更容易,并且不会对整个系统造成风险
### 部署方式
* 酒店希望提供卓越的服务。 如果您的系统已关闭或未提供其所有功能(例如,不将来宾入住请求推送到您的 PMS 或从中读取更新),他们将无法交付。
* 回滚也更容易。 如果出了什么问题,回滚一个带有自己数据库的微服务要比回滚一个单个数据库的整个系统要容易。
* 部署单片应用程序的下一版本时,总是很麻烦:即使您仅添加了一个功能,也必须立即部署整个应用程序。 一起部署所有内容都是有风险的。 ,
请记住,如果仅集成一个 PMS,则微服务是一个过大的杀伤力。 如果要与具有 1000 个不同属性的 1000 个 PMS 实例集成,那么该体系结构的好处就显而易见了。
## 传统方法:单片应用程序
借助传统方法(整体应用程序)开始您的业务并开始新产品是很有意义的,因为它更容易。 目前,您仍在学习域以及域如何集成。
整体更易于开发和部署,采用整体方法,则更容易回答诸如如何建模预订服务以及如何在访客配置文件微服务中实现访客对帐操作之类的问题。
但是,就像您的公司一样,整体式增长非常迅速,并且随着系统的增长,很难扩展:
添加了新功能,推出了新的代码行,并且当系统变得太大时,它变得难以驯服和理解。 更改系统需要进行严格的回归测试,以确保新功能不会破坏系统的其他部分,因为整体应用程序通常不具有内聚力,也没有松散耦合。
故障排除和调试更加困难,因为存在更多具有更多相互依赖性的代码。 更新服务可能需要更改共享的基础结构代码,并且在引入错误时可能导致感染。 庞大的代码库使新手开发人员难以入职和培训。
它影响部署:应用程序越大,启动时间就越长。 是的,您可以简单地添加更多服务器并在所有服务器上复制应用程序,但是您仍然只有一个数据库。 不仅如此,系统的某些部分可能会更占用内存,而其他部分则需要大量 CPU。 那么,当您无法分别缩放每个组件时该怎么办? 您添加更多服务器!
这是非常昂贵的。 这样,一旦您对域有了更好的了解,就可能想要开始将系统分解为微服务。
## 架构概述
现在,我们已经解释了采用微服务架构的长期好处,让我们研究一下如何设计此微服务框架的一些细节:
这里的关键是隔离:集成的系统应该彼此独立运行。 IE:您的核心系统独立于在属性 X 上运行的属性管理系统,并且独立于在属性 Y 上运行的系统。
通过在核心系统和要与之集成的所有资产管理系统之间引入连接器(中间件),可以实现这种隔离。
中间件由消息队列和后台工作者组成:
* 可用于实现的服务示例:
* 消息队列:RabbitMQ,IronMQ 等。
* 背景工作者:IronWorker,AWS Lambda 等。
消息队列提供系统之间的异步通信。 发件人系统(例如您的系统)将消息发布到队列中,并一直位于该队列中,直到后台工作人员(订阅该队列)在以后处理该消息为止。
然后,后台工作人员负责处理消息(解析其内容),然后管理与 PMS API 的集成。 同样,它将数据保存到中间件数据库中。
请记住,后台工作程序可以是像 AWS Lambda 这样的云服务,也可以是内部用 Java 开发的应用程序,也可以是在 Windows 服务中开发的应用程序。 正如我们将在下面详细介绍的那样,微服务的技术堆栈并不重要。
请记住,一个消息队列保证 FIFO(先进先出),因此队列中的所有消息都按照它们进入的顺序进行处理。如果您有多个队列,则将一条消息发布到队列中 可以比发布到队列 Y 的消息更早地处理 X,这在您的设计中应予以考虑。
另外,虽然 PMS 可能位于酒店的内部,但您的系统也不一定要位于云中或内部。
请记住,此服务控制与预留关联的所有生命周期事件,因此它不仅是 CRUD 包装器。 如果您需要为该预订分配房间,添加陪同客人或什至办理入住手续,则可以将适当的请求发送给该同一工作人员。
现在让我们根据 Martin 的描述来分析微服务的每个主要特征,以及我们的架构如何实现它们:
## 1-围绕业务能力的组织
每个工作人员都实现了如何与 PMS 集成的逻辑。 您可以将多个工作人员插入到属性中的同一 PMS 实例中,在其他酒店中添加更多连接到同一属性管理系统(同一供应商)的工作人员,还可以在以下位置添加连接到不同属性管理系统(不同供应商)的其他工作人员 其他属性。
因此,假设您需要更改与某些 API 方法的交互方式,则只需将新版本部署到其中一个工作程序,而不会影响其他工作程序。 您可以让一个工人来处理预订,另一个可以来宾。
可以在 Linux crontab 中安排一些后台工作程序,以按照给定的时间表重复执行。 其他消息始终在运行,在到达队列时处理消息。 其他后台工作人员也可以回调您的核心系统 API,以插入或更新从 PMS 收集到的新信息(即从 PMS 中获取/读取数据并将其加载到您的核心系统中)。
在萨姆·纽曼(Sam Newman)撰写的 *Building Microservices* 一书中,他指出“从事较小代码库的较小团队往往生产力更高。”这是通过微服务实现的
它不仅可以提高生产率,还可以使团队或个人从一种微服务转移到另一种(通用共享代码库)。
它也可以促进创新,因为长时间从事同一项目的个人或团队可能只会提出有限范围的新想法。 而如果您允许您的团队在产品和项目之间切换,他们可能会提出成千上万个新想法。
## 2-自动部署
微服务需要以自动化方式进行部署。 为什么? 首先,因为您有很多。 如果必须手动部署它们中的每一个,这将很容易出错并且非常耗时。 这取决于您拥有的微服务数量。 您可以彼此独立地分别释放每个服务。
请注意,我的意思是在此处将新版本部署到微服务,而不是分解新的工作程序实例。 您已经在运行工作程序,但是您想部署新版本的代码。 让我们用一个例子说明一下:
* 假设您必须与 1000 个属性集成,其中 500 个属性使用供应商 1(PMS_1)的 PMS,其中 500 个属性使用供应商 2(PMS_2)的 PMS。
* 由于无论 PMS 供应商如何,这里的域上下文都非常相似,因此每个 PMS 实例将很可能具有相似数量的工作线程,除非您想通过添加更多相同类型的工作线程来扩展给定的连接。 简单来说,假设每个 PMS 实例有 5 个工作线程(一个用于保留,一个用于来宾配置文件,等等)。
* 由于 PMS_1 API 与 PMS_2 API 不同,因此与 PMS_1 集成的保留服务的代码与与 PMS_2 集成的保留服务的代码不同。
* 在 1000 个属性上,您有 5000 个工作人员,然后:
* 2500 名 PMS_1 员工
* 500 名预订工人,每个属性中带有 PMS_1 的一名
* 500 位访客资料工作人员,每个属性中带有 PMS_1 的一名
* 500 名 X 工人,每个资产带有 PMS_1 的一名工人
* 500 名 Y 工人,每个属性为 PMS_1 的工人
* 500 名 Z 工人,每个属性中带有 PMS_1 的一名工人
* 2500 名 PMS_2 员工
* 500 名预订工人,每个属性为 PMS_2 的一名
* 500 位访客资料工作者,每个属性中带有 PMS_2 的一名
* 500 名 X 工人,每个资产带有 PMS_2 的一名工人
* 500 名 Y 工人,每个属性为 PMS_2 的工人
* 500 名 Z 工人,每个资产中带有 PMS_2 的一名工人
* 假设您对与 PMS_1 集成的 Reservation 服务的代码进行了更改,它已经过测试并且可以发布。
* 假设您有一个源代码存储库,并且每个微服务都内置有您选择的持续集成工具,这是非常明智的选择,那么您需要将代码部署到 500 个工作程序(与 PMS_1 集成的 500 个保留工作程序)。
其次,微服务的目的之一是要具有敏捷性,并且要具有敏捷性,您需要自动化。 这就是持续集成(CI)和持续交付(CD)的神奇之处:
CI 是一种开发实践,要求开发人员一天几次将代码集成到共享存储库中。 然后,提交触发构建。 如果构建失败,则每个人都会收到警报(原则上会发出偏差警报)。 此处的关键是尽早确定提交问题(即代码问题)。 如果构建成功,则可以将其部署到您的应用程序服务器。 这导致我们实现持续交付:
连续交付是确保成功构建的工件可以快速部署到生产中的一种做法。 这是通过首先将您的应用程序部署到暂存环境(具有与生产环境相同的特征)来实现的。 只需按“部署”按钮,就可以将应用程序部署到您的生产环境中。 最好的是,因为它只是一个按钮,所以您无需中断软件工程师的工作。
* 可用于实现 CI / CD 的服务示例:Atlassian Bamboo,TeamCity,Jenkins 等。
虽然,请不要将持续交付与持续部署混淆。 我不会在这里详细介绍它,但是我会留下 PuppetLabs 的[很棒的文章](https://puppetlabs.com/blog/continuous-delivery-vs-continuous-deployment-whats-diff)来介绍持续交付和持续部署之间的区别。
还应注意,微服务的部署要比单片应用程序安全得多,这应有助于自动化。
## 3-端点的智能
后台工作人员封装了如何与 PMS 集成的逻辑。 如果我们需要更改逻辑或 PMS API 已更改,我们只需要在一个地方进行更改-它不在您的主系统中(将其与对下游 API 的更改隔离开来)。
另外,每个 PMS 都有自己的 API,因此您可以隔离与核心系统中的每个 API 进行通信的逻辑。
## 4-语言和数据的分散控制
每个微服务可以拥有自己的技术堆栈。 让您拥抱技术的异质性。
例如:如果我们需要提高特定组件的性能,则可以选择能够实现所需性能的其他技术堆栈。 新服务不依赖于较早的技术定义,而是在适当时利用新的语言或技术。
每个工作程序可以使用不同的技术构建:工作程序 1 可以使用 Java 开发,带有 MySQL 数据库以处理来宾配置文件,而工作程序 2 可以使用 C#开发,具有 NoSQL DB 来处理来宾消息。 记住:他们是独立的。
您需要担心它们的集成,即它们之间如何实际通信。 您将实现返回 JSON 的 RESTful API 还是使用 XML 的 SOAP API?
现在,让我们更深入地研究中间件。
## 中间件
中间件提供了系统与要集成的多个属性管理系统之间的隔离。 它由消息队列和后台工作者组成。
中间件不应保持状态:两端的系统(即您的系统和 PMS 系统)负责保持有关酒店,访客资料,预订等的状态。中间件只是在两者之间创建映射。 这样做的原因是,您不想引入一个新的组件,该组件还存储可能导致一致性问题的状态:您将在 3 个不同的系统(酒店物业管理系统)中存储相同的实体(例如,预订)。 ,中间件和核心应用程序),并且由于集成中的某些错误,它们可能会有所不同。 在这种情况下,谁持有关于保留真实有效状态的真相?
中间件必须提供允许您协调核心系统中的内容与 PMS 中的内容的方法。 因此,如果在核心系统中创建了新请求,但是由于某种原因(实例处于脱机状态,软件错误,网络问题等),则该请求未保存到 PMS 中(例如,向来宾作品集收费) ),中间件应提醒用户该问题并提供重新处理集成的方法。 它必须清楚地显示每条消息在队列中的位置以及每个后台工作人员的状态。 它必须允许您查看给定消息失败及其失败的原因,并提供重试(重新处理)给定消息的机制。
您可以在中间件数据库的顶部具有一个缓存层,以便更快地访问常见对象,例如城市代码,信用卡类型等。 一些财产管理系统将此作为具有键-值对的枚举来实现。 可用于提供缓存层的工具示例包括:自托管的 Redis,托管的 Redis 解决方案(例如 AWS Elasticache),Memcache。
## 使用微服务的挑战
在构建任何软件时,尤其是在大规模集成系统中,总是存在挑战。
纽曼在《构建微服务》一书中提醒我们,“故障成为大规模的统计确定性”,而在实现微服务时(这是整体的)肯定是这种情况。
接受一切都会失败(硬盘,网络等)并接受这一事实,很难处理多个独立服务的失败。
分布式和异步体系结构难以实现且难以调试。 您需要查看散布在多个实例中的日志,并查看分布式事务性,以了解为什么最终会出现古怪的状态。 如果在同步工作流的中间发生错误,则很难回滚状态。 了解故障发生的位置非常困难,因为工作可能并行进行,并且可能引入了难以管理的竞争条件。
确保与微服务的大规模一致性是另一个挑战。 想象一下,您有一个管理来宾个人资料的服务,另一个服务来管理预订。 如果新客人首次在您的酒店预订了预订,则预订微服务将创建新的预订记录,而客人资料微服务将需要创建新的客人资料。 如果访客个人资料存在错误并且未成功创建新的访客个人资料怎么办? 如果管理不正确,最终将导致一个孤立的预订,该预订未绑定到任何访客个人资料。 从规模上讲,这可能很难跟踪和管理。
异步分布式体系结构可能会导致其他问题。 让我们想象一下系统发送到事务处理队列的某种类型的请求会使您的工作人员崩溃。 另外,假设您添加了多个工作程序,它们从同一队列中提取消息以加快处理速度。 第一个工作人员从队列中提取消息,然后死亡。 当它死亡时,对请求的锁定将超时,并将原始请求消息放回到队列中。 然后,您的下一个工作人员将从队列中提取相同的消息并获得相同的结果:消息将死亡。
另一个挑战是,您将不得不监视不断重新部署的数百种服务。 这将促使需要专用的 DevOps 资源或团队来管理大量服务。
您还需要考虑整体系统性能,因为您有很多通过网络进行的远程呼叫。 众所周知,网络不可靠:数据包可能会延迟,丢失等。此外,系统之间的消息不是实时流动的:您将消息发布到队列中,然后在( 不久),它将得到处理。
最后,使用微服务很难有效地实现版本控制:您最终将更改服务的接口。 您将如何处理?
使用每种架构方法都需要权衡。 尽管微服务存在挑战,但每种方法都存在挑战。 当大规模管理多个 PMS 集成时,使用微服务的好处远远超过成本。
**考虑大规模实施的经济性:**
以下是实现微服务时要考虑的一些比较成本:
* 大规模部署时,100 个不同的 PMS 集成可能需要 100 个服务器。
* 使用单片方法,这些服务器始终处于运行状态。
* 在微服务世界中,微服务在需要时唤醒,在不需要时关闭。
* 借助 AWS Lambda 或 IronMQ 等云服务,您需要为 CPU 时间而非服务器时间付费。
* 当采用按需供应系统(如 Amazon Web Services 提供的系统)时,我们可以根据需要对需要的那些组件应用此扩展。 这使我们能够更有效地控制成本。 ,
因此,随着时间的流逝,微服务在为计算能力付费时会更具成本效益,因为有需求可以使您更紧密地管理成本并最终减少浪费。 很少有一种架构方法可以与几乎立即节省成本紧密相关。
那么,从这里去哪里呢?
## 拆解整体结构
我经常听到的一个常见问题是:“我已经构建了单片应用程序。我是否需要从头开始重新构建它以实现微服务架构?”
简短的答案是:**否**。
长的答案是,您可以将您的整体碎片分开。 它应该是一种渐进的方法,以便您可以了解有关核心功能以及它如何与其他核心功能交互的更多信息。 这对于您了解服务应该是什么以及它们如何相互通信至关重要。 采取“边走边学”的方法,逐步定义系统的哪些部分应成为微服务。 我将在以后的文章中保留有关如何设计和实现此策略的详细信息。
我希望这可以解释其好处或使用微服务方法来构建 PMS 集成。 随着您的系统和微服务数量的增长,这种方法将帮助您以更灵活,高效和经济高效的方式进行扩展。
## 相关文章
* [关于 HackerNews](https://news.ycombinator.com/item?id=11074151)
* [微服务-不是免费的午餐!](http://highscalability.com/blog/2014/4/8/microservices-not-a-free-lunch.html)
* [伟大的微服务与 Monolithic Apps Twitter 近战](http://highscalability.com/blog/2014/7/28/the-great-microservices-vs-monolithic-apps-twitter-melee.html)
* [来自 Google 和 eBay 的关于建立微服务生态系统的深刻教训](http://highscalability.com/blog/2015/12/1/deep-lessons-from-google-and-ebay-on-building-ecosystems-of.html)
* [生产中的微服务-好的,坏的,有效的](http://highscalability.com/blog/2014/10/27/microservices-in-production-the-good-the-bad-the-it-works.html)
* [微服务中最讨厌的七个反模式](http://highscalability.com/blog/2015/8/3/seven-of-the-nastiest-anti-patterns-in-microservices.html)
* [改变一切的融合:数据重力+容器+微服务](http://highscalability.com/blog/2015/3/25/the-convergence-that-changes-everything-data-gravity-contain.html)
* [我们如何构建更好的复杂系统? 容器,微服务和持续交付。](http://highscalability.com/blog/2015/4/27/how-can-we-build-better-complex-systems-containers-microserv.html)
诸如此类的技术是使物业管理更加有效和高效的好方法。 我们希望将来能看到更多诸如此类的技术创新。 感谢您分享本文,这是设置此集成的不错的教程。
- LiveJournal 体系结构
- mixi.jp 体系结构
- 友谊建筑
- FeedBurner 体系结构
- GoogleTalk 架构
- ThemBid 架构
- 使用 Amazon 服务以 100 美元的价格构建无限可扩展的基础架构
- TypePad 建筑
- 维基媒体架构
- Joost 网络架构
- 亚马逊建筑
- Fotolog 扩展成功的秘诀
- 普恩斯的教训-早期
- 论文:Wikipedia 的站点内部,配置,代码示例和管理问题
- 扩大早期创业规模
- Feedblendr 架构-使用 EC2 进行扩展
- Slashdot Architecture-互联网的老人如何学会扩展
- Flickr 架构
- Tailrank 架构-了解如何在整个徽标范围内跟踪模因
- Ruby on Rails 如何在 550k 网页浏览中幸存
- Mailinator 架构
- Rackspace 现在如何使用 MapReduce 和 Hadoop 查询 TB 的数据
- Yandex 架构
- YouTube 架构
- Skype 计划 PostgreSQL 扩展到 10 亿用户
- 易趣建筑
- FaceStat 的祸根与智慧赢得了胜利
- Flickr 的联合会:每天进行数十亿次查询
- EVE 在线架构
- Notify.me 体系结构-同步性
- Google 架构
- 第二人生架构-网格
- MySpace 体系结构
- 扩展 Digg 和其他 Web 应用程序
- Digg 建筑
- 在 Amazon EC2 中部署大规模基础架构的六个经验教训
- Wolfram | Alpha 建筑
- 为什么 Facebook,Digg 和 Twitter 很难扩展?
- 全球范围扩展的 10 个 eBay 秘密
- BuddyPoke 如何使用 Google App Engine 在 Facebook 上扩展
- 《 FarmVille》如何扩展以每月收获 7500 万玩家
- Twitter 计划分析 1000 亿条推文
- MySpace 如何与 100 万个并发用户一起测试其实时站点
- FarmVille 如何扩展-后续
- Justin.tv 的实时视频广播架构
- 策略:缓存 404 在服务器时间上节省了洋葱 66%
- Poppen.de 建筑
- MocoSpace Architecture-一个月有 30 亿个移动页面浏览量
- Sify.com 体系结构-每秒 3900 个请求的门户
- 每月将 Reddit 打造为 2.7 亿页面浏览量时汲取的 7 个教训
- Playfish 的社交游戏架构-每月有 5000 万用户并且不断增长
- 扩展 BBC iPlayer 的 6 种策略
- Facebook 的新实时消息系统:HBase 每月可存储 135 亿条消息
- Pinboard.in Architecture-付费玩以保持系统小巧
- BankSimple 迷你架构-使用下一代工具链
- Riak 的 Bitcask-用于快速键/值数据的日志结构哈希表
- Mollom 体系结构-每秒以 100 个请求杀死超过 3.73 亿个垃圾邮件
- Wordnik-MongoDB 和 Scala 上每天有 1000 万个 API 请求
- Node.js 成为堆栈的一部分了吗? SimpleGeo 说是的。
- 堆栈溢出体系结构更新-现在每月有 9500 万页面浏览量
- Medialets 体系结构-击败艰巨的移动设备数据
- Facebook 的新实时分析系统:HBase 每天处理 200 亿个事件
- Microsoft Stack 是否杀死了 MySpace?
- Viddler Architecture-每天嵌入 700 万个和 1500 Req / Sec 高峰
- Facebook:用于扩展数十亿条消息的示例规范架构
- Evernote Architecture-每天有 900 万用户和 1.5 亿个请求
- TripAdvisor 的短
- TripAdvisor 架构-4,000 万访客,200M 动态页面浏览,30TB 数据
- ATMCash 利用虚拟化实现安全性-不变性和还原
- Google+是使用您也可以使用的工具构建的:闭包,Java Servlet,JavaScript,BigTable,Colossus,快速周转
- 新的文物建筑-每天收集 20 亿多个指标
- Peecho Architecture-鞋带上的可扩展性
- 标记式架构-扩展到 1 亿用户,1000 台服务器和 50 亿个页面视图
- 论文:Akamai 网络-70 个国家/地区的 61,000 台服务器,1,000 个网络
- 策略:在 S3 或 GitHub 上运行可扩展,可用且廉价的静态站点
- Pud 是反堆栈-Windows,CFML,Dropbox,Xeround,JungleDisk,ELB
- 用于扩展 Turntable.fm 和 Labmeeting 的数百万用户的 17 种技术
- StackExchange 体系结构更新-平稳运行,Amazon 4x 更昂贵
- DataSift 体系结构:每秒进行 120,000 条推文的实时数据挖掘
- Instagram 架构:1400 万用户,1 TB 的照片,数百个实例,数十种技术
- PlentyOfFish 更新-每月 60 亿次浏览量和 320 亿张图片
- Etsy Saga:从筒仓到开心到一个月的浏览量达到数十亿
- 数据范围项目-6PB 存储,500GBytes / sec 顺序 IO,20M IOPS,130TFlops
- 99designs 的设计-数以千万计的综合浏览量
- Tumblr Architecture-150 亿页面浏览量一个月,比 Twitter 更难扩展
- Berkeley DB 体系结构-NoSQL 很酷之前的 NoSQL
- Pixable Architecture-每天对 2000 万张照片进行爬网,分析和排名
- LinkedIn:使用 Databus 创建低延迟更改数据捕获系统
- 在 30 分钟内进行 7 年的 YouTube 可扩展性课程
- YouPorn-每天定位 2 亿次观看
- Instagram 架构更新:Instagram 有何新功能?
- 搜索技术剖析:blekko 的 NoSQL 数据库
- Pinterest 体系结构更新-1800 万访问者,增长 10 倍,拥有 12 名员工,410 TB 数据
- 搜索技术剖析:使用组合器爬行
- iDoneThis-从头开始扩展基于电子邮件的应用程序
- StubHub 体系结构:全球最大的票务市场背后的惊人复杂性
- FictionPress:在网络上发布 600 万本小说
- Cinchcast 体系结构-每天产生 1,500 小时的音频
- 棱柱架构-使用社交网络上的机器学习来弄清您应该在网络上阅读的内容
- 棱镜更新:基于文档和用户的机器学习
- Zoosk-实时通信背后的工程
- WordPress.com 使用 NGINX 服务 70,000 req / sec 和超过 15 Gbit / sec 的流量
- 史诗般的 TripAdvisor 更新:为什么不在云上运行? 盛大的实验
- UltraDNS 如何处理数十万个区域和数千万条记录
- 更简单,更便宜,更快:Playtomic 从.NET 迁移到 Node 和 Heroku
- Spanner-关于程序员使用 NoSQL 规模的 SQL 语义构建应用程序
- BigData 使用 Erlang,C 和 Lisp 对抗移动数据海啸
- 分析数十亿笔信用卡交易并在云中提供低延迟的见解
- MongoDB 和 GridFS 用于内部和内部数据中心数据复制
- 每天处理 1 亿个像素-少量竞争会导致大规模问题
- DuckDuckGo 体系结构-每天进行 100 万次深度搜索并不断增长
- SongPop 在 GAE 上可扩展至 100 万活跃用户,表明 PaaS 未通过
- Iron.io 从 Ruby 迁移到 Go:减少了 28 台服务器并避免了巨大的 Clusterf ** ks
- 可汗学院支票簿每月在 GAE 上扩展至 600 万用户
- 在破坏之前先检查自己-鳄梨的建筑演进的 5 个早期阶段
- 缩放 Pinterest-两年内每月从 0 到十亿的页面浏览量
- Facebook 的网络秘密
- 神话:埃里克·布鲁尔(Eric Brewer)谈银行为什么不是碱-可用性就是收入
- 一千万个并发连接的秘密-内核是问题,而不是解决方案
- GOV.UK-不是你父亲的书库
- 缩放邮箱-在 6 周内从 0 到 100 万用户,每天 1 亿条消息
- 在 Yelp 上利用云计算-每月访问量为 1.02 亿,评论量为 3900 万
- 每台服务器将 PHP 扩展到 30,000 个并发用户的 5 条 Rockin'Tips
- Twitter 的架构用于在 5 秒内处理 1.5 亿活跃用户,300K QPS,22 MB / S Firehose 以及发送推文
- Salesforce Architecture-他们每天如何处理 13 亿笔交易
- 扩大流量的设计决策
- ESPN 的架构规模-每秒以 100,000 Duh Nuh Nuhs 运行
- 如何制作无限可扩展的关系数据库管理系统(RDBMS)
- Bazaarvoice 的架构每月发展到 500M 唯一用户
- HipChat 如何使用 ElasticSearch 和 Redis 存储和索引数十亿条消息
- NYTimes 架构:无头,无主控,无单点故障
- 接下来的大型声音如何使用 Hadoop 数据版本控制系统跟踪万亿首歌曲的播放,喜欢和更多内容
- Google 如何备份 Internet 和数十亿字节的其他数据
- 从 HackerEarth 用 Apache 扩展 Python 和 Django 的 13 个简单技巧
- AOL.com 体系结构如何发展到 99.999%的可用性,每天 800 万的访问者和每秒 200,000 个请求
- Facebook 以 190 亿美元的价格收购了 WhatsApp 体系结构
- 使用 AWS,Scala,Akka,Play,MongoDB 和 Elasticsearch 构建社交音乐服务
- 大,小,热还是冷-条带,Tapad,Etsy 和 Square 的健壮数据管道示例
- WhatsApp 如何每秒吸引近 5 亿用户,11,000 内核和 7,000 万条消息
- Disqus 如何以每秒 165K 的消息和小于 0.2 秒的延迟进行实时处理
- 关于 Disqus 的更新:它仍然是实时的,但是 Go 摧毁了 Python
- 关于 Wayback 机器如何在银河系中存储比明星更多的页面的简短说明
- 在 PagerDuty 迁移到 EC2 中的 XtraDB 群集
- 扩展世界杯-Gambify 如何与 2 人组成的团队一起运行大型移动投注应用程序
- 一点点:建立一个可处理每月 60 亿次点击的分布式系统的经验教训
- StackOverflow 更新:一个月有 5.6 亿次网页浏览,25 台服务器,而这一切都与性能有关
- Tumblr:哈希处理每秒 23,000 个博客请求的方式
- 使用 HAProxy,PHP,Redis 和 MySQL 处理 10 亿个请求的简便方法来构建成长型启动架构
- MixRadio 体系结构-兼顾各种服务
- Twitter 如何使用 Redis 进行扩展-105TB RAM,39MM QPS,10,000 多个实例
- 正确处理事情:通过即时重放查看集中式系统与分散式系统
- Instagram 提高了其应用程序的性能。 这是如何做。
- Clay.io 如何使用 AWS,Docker,HAProxy 和 Lots 建立其 10 倍架构
- 英雄联盟如何将聊天扩大到 7000 万玩家-需要很多小兵。
- Wix 的 Nifty Architecture 技巧-大规模构建发布平台
- Aeron:我们真的需要另一个消息传递系统吗?
- 机器:惠普基于忆阻器的新型数据中心规模计算机-一切仍在变化
- AWS 的惊人规模及其对云的未来意味着什么
- Vinted 体系结构:每天部署数百次,以保持繁忙的门户稳定
- 将 Kim Kardashian 扩展到 1 亿个页面
- HappyPancake:建立简单可扩展基金会的回顾
- 阿尔及利亚分布式搜索网络的体系结构
- AppLovin:通过每天处理 300 亿个请求向全球移动消费者进行营销
- Swiftype 如何以及为何从 EC2 迁移到真实硬件
- 我们如何扩展 VividCortex 的后端系统
- Appknox 架构-从 AWS 切换到 Google Cloud
- 阿尔及利亚通往全球 API 的愤怒之路
- 阿尔及利亚通往全球 API 步骤的愤怒之路第 2 部分
- 为社交产品设计后端
- 阿尔及利亚通往全球 API 第 3 部分的愤怒之路
- Google 如何创造只有他们才能创造的惊人的数据中心网络
- Autodesk 如何在 Mesos 上实施可扩展事件
- 构建全球分布式,关键任务应用程序:Trenches 部分的经验教训 1
- 构建全球分布式,关键任务应用程序:Trenches 第 2 部分的经验教训
- 需要物联网吗? 这是美国一家主要公用事业公司从 550 万米以上收集电力数据的方式
- Uber 如何扩展其实时市场平台
- 优步变得非常规:使用司机电话作为备份数据中心
- 在不到五分钟的时间里,Facebook 如何告诉您的朋友您在灾难中很安全
- Zappos 的网站与 Amazon 集成后冻结了两年
- 为在现代时代构建可扩展的有状态服务提供依据
- 细分:使用 Docker,ECS 和 Terraform 重建基础架构
- 十年 IT 失败的五个教训
- Shopify 如何扩展以处理来自 Kanye West 和 Superbowl 的 Flash 销售
- 整个 Netflix 堆栈的 360 度视图
- Wistia 如何每小时处理数百万个请求并处理丰富的视频分析
- Google 和 eBay 关于构建微服务生态系统的深刻教训
- 无服务器启动-服务器崩溃!
- 在 Amazon AWS 上扩展至 1100 万以上用户的入门指南
- 为 David Guetta 建立无限可扩展的在线录制活动
- Tinder:最大的推荐引擎之一如何决定您接下来会看到谁?
- 如何使用微服务建立财产管理系统集成
- Egnyte 体系结构:构建和扩展多 PB 分布式系统的经验教训
- Zapier 如何自动化数十亿个工作流自动化任务的旅程
- Jeff Dean 在 Google 进行大规模深度学习
- 如今 Etsy 的架构是什么样的?
- 我们如何在 Mail.Ru Cloud 中实现视频播放器
- Twitter 如何每秒处理 3,000 张图像
- 每天可处理数百万个请求的图像优化技术
- Facebook 如何向 80 万同时观看者直播
- Google 如何针对行星级基础设施进行行星级工程设计?
- 为 Mail.Ru Group 的电子邮件服务实施反垃圾邮件的猫捉老鼠的故事,以及 Tarantool 与此相关的内容
- The Dollar Shave Club Architecture Unilever 以 10 亿美元的价格被收购
- Uber 如何使用 Mesos 和 Cassandra 跨多个数据中心每秒管理一百万个写入
- 从将 Uber 扩展到 2000 名工程师,1000 个服务和 8000 个 Git 存储库获得的经验教训
- QuickBooks 平台
- 美国大选期间城市飞艇如何扩展到 25 亿个通知
- Probot 的体系结构-我的 Slack 和 Messenger Bot 用于回答问题
- AdStage 从 Heroku 迁移到 AWS
- 为何将 Morningstar 迁移到云端:降低 97%的成本
- ButterCMS 体系结构:关键任务 API 每月可处理数百万个请求
- Netflix:按下 Play 会发生什么?
- ipdata 如何以每月 150 美元的价格为来自 10 个无限扩展的全球端点的 2500 万个 API 调用提供服务
- 每天为 1000 亿个事件赋予意义-Teads 的 Analytics(分析)管道
- Auth0 体系结构:在多个云提供商和地区中运行
- 从裸机到 Kubernetes
- Egnyte Architecture:构建和扩展多 PB 内容平台的经验教训
- 缩放原理
- TripleLift 如何建立 Adtech 数据管道每天处理数十亿个事件
- Tinder:最大的推荐引擎之一如何决定您接下来会看到谁?
- 如何使用微服务建立财产管理系统集成
- Egnyte 体系结构:构建和扩展多 PB 分布式系统的经验教训
- Zapier 如何自动化数十亿个工作流自动化任务的旅程
- Jeff Dean 在 Google 进行大规模深度学习
- 如今 Etsy 的架构是什么样的?
- 我们如何在 Mail.Ru Cloud 中实现视频播放器
- Twitter 如何每秒处理 3,000 张图像
- 每天可处理数百万个请求的图像优化技术
- Facebook 如何向 80 万同时观看者直播
- Google 如何针对行星级基础设施进行行星级工程设计?
- 为 Mail.Ru Group 的电子邮件服务实施反垃圾邮件的猫捉老鼠的故事,以及 Tarantool 与此相关的内容
- The Dollar Shave Club Architecture Unilever 以 10 亿美元的价格被收购
- Uber 如何使用 Mesos 和 Cassandra 跨多个数据中心每秒管理一百万个写入
- 从将 Uber 扩展到 2000 名工程师,1000 个服务和 8000 个 Git 存储库获得的经验教训
- QuickBooks 平台
- 美国大选期间城市飞艇如何扩展到 25 亿条通知
- Probot 的体系结构-我的 Slack 和 Messenger Bot 用于回答问题
- AdStage 从 Heroku 迁移到 AWS
- 为何将 Morningstar 迁移到云端:降低 97%的成本
- ButterCMS 体系结构:关键任务 API 每月可处理数百万个请求
- Netflix:按下 Play 会发生什么?
- ipdata 如何以每月 150 美元的价格为来自 10 个无限扩展的全球端点的 2500 万个 API 调用提供服务
- 每天为 1000 亿个事件赋予意义-Teads 的 Analytics(分析)管道
- Auth0 体系结构:在多个云提供商和地区中运行
- 从裸机到 Kubernetes
- Egnyte Architecture:构建和扩展多 PB 内容平台的经验教训