最近看到的另外一个介绍Twitter技术的视频[Slides] [Video (GFWed)]，这是Twitter的John Adams在Velocity 2009的一个演讲，主要介绍了Twitter在系统运维方面一些经验。 本文大部分整理的观点都在Twitter(@xmpp)上发过，这里全部整理出来并补充完整。
Twitter没有自己的硬件，都是由NTTA来提供，同时NTTA负责硬件相关的网络、带宽、负载均衡等业务，Twitter operations team只关注核心的业务，包括Performance，Availability，Capacity Planning容量规划，配置管理等，这个可能跟国内一般的互联网公司有所区别。
1. 运维经验
* Metrics
Twitter的监控后台几乎都是图表(critical metrics)，类似驾驶室的转速表，时速表，让操作者可以迅速的了解系统当前的运作状态。联想到我们做的类似监控后台，数据很多，但往往还需要浏览者做二次分析判断，像这样满屏都是图表的方法做得还不够，可以学习下这方面经验。 据John介绍可以从图表上看到系统的瓶颈-系统最弱的环节(web, mq, cache, db?)
根据图表可以科学的制定系统容量规划，而不是事后救火。
* 配置管理
每个系统都需要一个自动配置管理系统，越早越好，这条一整理发到Twitter上去之后引起很多回应。
* Darkmode
配置界面可以enable/disable 高计算消耗或高I/O的功能，也相当于优雅降级，系统压力过大时取消一些非核心但消耗资源大的功能。
* 进程管理
Twitter做了一个”Seppaku” patch, 就是将Daemon在完成了n个requests之后主动kill掉，以保持健康的low memory状态，这种做法据了解国内也有不少公司是这样做。
* 硬件
Twitter将CPU由AMD换成Xeon之后，获得30%性能提升，将CPU由双核/4核换成8核之后，减少了40%的CPU, 不过John也说，这种升级不适合自己购买硬件的公司。
2. 代码协同经验
* Review制度
Twitter有上百个模块，如果没有一个好的制度，容易引起代码修改冲突，并把问题带给最终用户。所以Twitter有一强制的source code review制度, 如果提交的代码的svn comment没有”reviewed by xxx”, 则pre-commit脚本会让提交失败, review过的代码提交后会通过自动配置管理系统应用到上百台服务器上。 有@xiaomics同学在Twitter上马上就问，时间成本能否接受？如果有紧急功能怎么办？个人认为紧急修改时有两人在场，一人修改一人review也不是什么难事。
* 部署管理
从部署图表可以看到每个发布版本的CPU及latency变化，如果某个新版本latency图表有明显的向上跳跃，则说明该发布版本存在问题。另外在监控首页列出各个模块最后deploy版本的时间，可以清楚的看到代码库的现状。
* 团队沟通
Campfire来协同工作，campfire有点像群，但是更适合协同工作。对于Campfire就不做更多介绍，可参考Campfire官方说明。
3. cache
- Memcache key hash, 使用FNV hash 代替 MD5 hash，因为FNV更快。
- 开发了Cache Money plugin(Ruby), 给应用程序提供read-through, write-through cache, 就像一个db访问的钩子，当读写数据库的时候会自动更新cache, 避免了繁琐的cache更新代码。
- “Evictions make the cache unreliable for important configuration data”，Twitter使用memcache的一条经验是，不同类型的数据需放在不同的mc,避免eviction，跟作者前文Memcached数据被踢(evictions>0)现象分析中的一些经验一致。
- Memcached SEGVs, Memcached崩溃(cold cache problem)据称会给这种高度依赖Cache的Web 2.0系统带来灾难，不知道Twitter具体怎么解决。
- 在Web层Twitter使用了Varnish作为反向代理，并对其评价较高。
好文，收藏至20ju.com
多谢分享!
果然最近服务器稳定了不少，第三方很很少API错误鸟~
赞，朋友也在运维，多谢分享。 : )
I’ve said that least 3582846 times. The problem this like that is they are just too compilcated for the average bird, if you know what I mean
这个NTTA，有链接吗？或者其他一些更为详细的介绍？
Document was first studying several any articles using this site and additionally Document conceive this approach web site is normally really instructive! Retain putting up.
I have discovered some points through your blog post. One other thing I would like to convey is that there are many games available and which are designed specially for preschool age small children. They contain pattern identification, colors, pets, and models. These normally focus on familiarization in lieu of memorization. This helps to keep children and kids occupied without feeling like they are learning. Thanks
roblox hack http://robloxhackrobux.com/
> On an average day how much time do you spend on Reddit and/or philosophy? Almost none for philosophy, I check reddit periodically throughout the day but I don’t really browse > What experience do you have of philosophy in general? A degree with > Why do you think you can be an effective moderator? TheRedPill taught me some good leadership and decision > Do you bring any other skills or assets to the table? > What time zone do you live in? Or if you keep unusual hours, which time zone best represents your schedule? EST
As an avid player of Fortnite, I abhor those who frequently use hacks to get an advantage in every game and just defeats the purpose of playing a video game in the first place. If you want to win then practice and get better at the game. It is not that hard to be better at the game. If you play a minimum of 4 hours per day, then you will regularly improve your character stats each day. To know more about how to improve your game, go here to their official dragon city site.