在使用Twitter几年的时间里面,经常思考微博如何更好的实现,恰好最近几个月也参与了相关工作,大部分都是工程实践,总结实践会促生更具实际价值的理论。因此在QCon Beijing 2010这次演讲参考了不少网友的意见后选择了《构建可扩展微博架构》的题目。
由于在决定选题时知道来自Twitter总部有30万followers的@nk也会讲一个类似的题目,心中当时有点忐忑,最大的顾虑就是要讲的领域更他重叠,如果他讲得更深入,我就没必要班门弄斧了。后来考虑到以下几个原因还是决定继续
- Twitter架构是单IDC设计,从它递增的tweet id就可以看出,后来当面向@nk提问也得到了证实。
- 中美网络环境差异,单IDC和多IDC有很多设计上的不同
- 大部分参会人员未必能对英文演讲有深入理解及感悟,中文的演讲可以讲一些细节解释更透彻。
- Twitter对故障的容忍度大,国内公司对服务故障通常更敏感。因此国内架构师会考虑设计方案尽量简单可靠,服务需要更稳定。国外开发团队更倾向追求在工作中应用技术创新,因此会导致架构设计理念的不少差异。
演讲的slide如下,登录slideshare之后可以下载。
Build scalable microblog qcon beijing 2010
View more presentations from Tim Y.
这里再补充在qcon演讲未来得及考虑成熟的一个方面,用户规模影响设计,具体是指用户数每上一个数量级,许多设计需要重新考虑。
10万用户级别
- 单服务器,前端、后端、cache、db在一起。
百万级
- db和cache单独部署服务器,db或按业务进行拆分(sharding)
- cache或使用一致性hash扩展。
- 前端后端还是在一起,但是根据业务拆分,每个业务可分配不同数量的服务器
千万级
- 开始重视架构设计,有专门技术架构师
- 需跨机房部署,前端在远程增加反向代理加速,数据库在异地机房使用slave数据库副本
- 后端拆分出来,系统内部需要远程调用,内部需远程调用协议。
亿级
- 架构更细分,或增加数据架构师,cache架构师,分布式架构师
- 数据库sharding碰到烦恼,开始考虑分布式数据服务
- 数据访问需要根据业务特点细分。
- 开发、运维、测量、调优具备有自己的专有工具。
- 所有服务需要地理多机房分布,具备IDC容灾设计。
- 服务可降级
上面的数字仅供理解“用户规模影响设计”,数字本身并无具体指导价值。
另外在slide中也提到了,目前新浪微博团队急需人才,对上面相关技术领域感兴趣的架构师及各层次开发人员(熟悉PHP,Java, C或数据架构任意一种)可随时跟我联系,工作地点为北京,联系方式见博客首页。
非常好的技术分享。
文中日期应该是笔误啊“QCon Beijing 21010年”,太超前了,:)
这些演讲都没有视频或者录音么
我觉得主办方要是弄一下就好了
[…] Tim yang […]
多谢分享,学习~
多谢楼主分享!
PPT的第11页可能是个笔误:
查看:所有关注对象Inbox(重) => 查看:所有关注对象Outbox(重)
@jarfield 你说得对。
问几个问题:
1.新浪微博是push方式?采用MQ去push?
2.删掉关注对象后,也会删除push的内容?
3.push策略?有选择的push?先push热点?名人?活跃用户?
4.twitter是push or pull?
3ks
[…] 构建可扩展的微博架构(qcon beijing 2010演讲 Posted by admin 学习记录 Subscribe to RSS feed […]
这周六,在杭州有个阿里巴巴的的关于架构方面的技术交流会,我去听听,如果有收获,也在这里留个言啊。
这个有视频地址吗,想边听边看。。。。。
[…] 转自 http://timyang.net/architecture/microblog-design-qcon-beijing/ […]
[…] 构建可扩展的微博架构(qcon beijing 2010演讲) […]
我们的模块设计上要去状态,我们任意一个单元可以支持任意节点。
去中心化,这个容易理解,不过去状态就不理解了,感觉貌似跟去中心差不多,可以帮忙解释一下吗?thx~
Excellent work, Nice Design Cp Sex Tgp
%) Cp Nude Pics
8-DDD Real Cp
8673 Imgboard Pthc Cp
xsrow Forbidden Young Grils Underage Cp
😀 Russian Cp
sbvoax Real Cp Sites
8OOO Young Lolita Cp
jief Cp Pussy
606 Cp Porn Clips
>:-[ Cp Dreamzone
udrryx Cp Nude
crfzz Cp Sex Child
743 Cp Pedo
%-) Little Little Girls Cp
:-)) Preteen Cp Galleries
3201 Russian Bbs Models Cp
xre Nude Young Girls Models Cp
qqchoq Preteen Lolita Cp
gultf Russian Teen Cp Models
qnxl
Excellent work, Nice Design Preteen Pedo
:OO Free Pedo Pics
ppmomu Pedo Paradise
wsl Loli Pedo Cp
=] Free Pedo
323 Pedo Lolita
qngde Pedo Child Gallery
8-] Pedo Links
qhl Top Pedo Sites
uhnsew Pedo Stars
🙁 Free Pedo Stories
98816 Illegal Pedo
vryms Pedo Gallery
eraa Lolita Pedo
😯 Loli 12 Years Pedo
:] Pedo Russian Girl
4854 Pedo Tube
qvct Little Girl Pedo
esshqp Pedo World
8-)) Illegal Pedo Pics
327
[…] 构建可扩展的微薄架构,by TimYang […]
I’m retired youngest preteen taboo 610 japanese preteens nude odusjo extreme models preteens =-OOO shock preteen babes amnxxx preteen pee pic yjdar hot preteens babes 648057 shy preteen lesbians :]] wonderful preteen pics >:] preteen whores xxx 🙂 gymnastics panty preteen oxoem blonde pre teen >:-[ preteen porn images igsjt 12 14yo preteen hzs naked x preteens 9183 preteen tiny blowjob elody naked preteen cocksucker =-PPP japanese preteen bekinis 081 thai preteens pics 958 preteen chat lines ilvr preteens nudist underage =-DDD
I’m interested in this position jailbait preteen pictures 😀 model preteen toyland >:-] black preteen site :]] preteen hairy free 72720 top preteentgp sites 50865 preteens tits pics =-]]] raygold preteen girls 629716 naked preteen photography >:]]] preteen artistic models :-]] preteen legs pictures 158 dawn preteen model aik katia model preteen 1059 preteen nude gymnist 3729 preteen nudist shower 57585 preteen ls nn :DDD preteen stories bondage 47532 illegal preteen masterbation 8-[[[ preteen candid photographs jkiryy alli preteen model 652481 naturist girls preteen 096574
I’d like to withdraw $100, please 12-14 teen models 0417
I’ve been made redundant max4 teen bbs bptoj
Could you ask him to call me? imageboard jp preteen >:-(
I hate shopping lola luv before picture zacpkd pure pre nude lolita vput lolita nude 10 13 :DDD pre teen lolita tube kvd svens lolita models pictures =D lolita preteens no nude 9313 lolita pics board post >:P top ten lolita galleries 91429 gothic lolita hair style :]] lolita nn models teenie 18189
ppt第22页,get和set写反了。
[…] 参考TimYang的《构建可扩展的微博架构》和《新浪微博cache设计谈.pdf》 […]
[…] 参考TimYang的《构建可扩展的微博架构》和《新浪微博cache设计谈.pdf》 […]