On-Designing-and-Deploying-Internet-Scale-Services

<br /> <br />James第一条经验“Design for failure”是所有互联网架构成功的一个关键。互联网系统的工程理论其实非常简单，James paper中内容几乎称不上理论，而是多条实践经验分享，每个公司对这些经验的理解及执行力决定了架构成败。<br /> <br />http://www.mvdirona.com/jrh/talksAndPapers/JamesRH_Lisa.pdf<br /> <br />Three simple tenets<br />1. Expect fai

发布周期和测试 在生产环境下的测试是必需的，所有的大规模服务都应该把它作为QA方案的一部分。对于大多数服务来说，都至少会有一个尽可能接近生产的测试环境，同时所有优秀的工程团队都会用实际的生产负载来驱动测试系统。但我们的经验表明，无论测试环境有多好，总是不可能会与生产环境完全一致。与生产相比，总是或多或少会有些差别。随着测试环境与生产系统的接近，成本也会逐步与生产系统相当。   我

LinkedIn贡献的分布式消息系统 - 请参考这里 kafka集群：producer写入消息，consumer读取消息 消息分为不同主题，每个主题可以分为多个partition（并行），每个partition可以多个副本，每个partition内保证消息顺序，consumer读取消息时也可以保证顺序（一个partition的消息只发送给一个consumer），如果要保持同一主题所

作者：Leslie Lamport （非常厉害的老头了） 在使用消息进行通信的分布式系统中，使用物理时钟对不同process进行时间同步与事件排序是非常困难的。一是因为不同process的时钟有差异，另外也是因为在计算中时间表示的精度也是有限的，两个时间标签相同的时间便无法区分前后了。 Lamport提出逻辑时钟的概念。在同一process中，事件发生的顺序很容易定义与区分,不同process

1) 启动副本集 三个shard，每个shard三个副本，三台机器（170/171/172），每台机器分别对应三个shard中的一个副本 #170 mongod --shardsvr --replSet shard-a --dbpath /mongo-data/rs-170-a --port 30000 --logpath /mongo-data/rs-170-a.log --fork --no

数据可视化 https://github.com/showcases/data-visualization