2010年微博写得比较多,博客更新有点少,在2010还没跑完之前,用微博的方式总结4点
架构
很多技术人员发展方向是架构师,希望能像Google的架构师一样具备前瞻的架构设计能力。不过放松点,尽管大部分业内公司没有好的架构设计能力,但并没妨碍这些公司的业务正常运转,大部分情况公司生存之道不在技术之上,前提是技术不要成为绊脚石。
架构方面可以总结的一点是,架构师要有完美心态,今年有很多感悟,如果没有这种心态,始终需要有人为设计缺陷买单。明年会进一步坚持这个原则。
编程语言
虽然Erlang发展没有达到预期,但是函数式编程语言在分布式及互联网领域依然非常受重视,Erlang, Scala, Clojure 等语言缺少一个契机走向主流。
行业现状从TIOBE排行来看,除了Objective C异军突起,其他语言变化乏善可陈。
2010,团队中不少基础不错技术人员,由于只埋头在一种编程语言里限制思维的广度。一个优秀的技术人员至少精通两门编程语言,2011在团队内推广一下第二语言。
数据
MySQL并不适合存储海量数据,它的优势在可靠性和运维经验。
Web编程语言如PHP也不适合处理海量数据,它的优势在Web编程及敏捷开发。
MapReduce框架如Hadoop可以处理海量数据,但是它的优势是离线处理,在throughput而非latency。
实时性的海量数据怎么更好处理是一个问题。
技术交流
北京由一些媒体公司组织的技术交流活动较多。本有计划组织一些民间小范围交流,倾向于交流即所有参与者都能发出声音,而不是分享,但由于精力原因未能完成。
团队内部的技术交流也坚持了半年,虽然每次准备不是很充分,从小范围的了解来看,大家还是持肯定态度,今天也进行了本年最后一期。
楼主的海量数据访问,其实主要侧重在访问速度吧?
架构师需要完美心态:我很多次都看到有人说不要有完美心态,所以这句话是不是应该有场景,可否举例。
一直关注你的微脖,学到了不少的东西。一心想成为一个架构师,可是有很多茫然的地方。希望多发写经历之类的微脖,比如如何追求完美种种!
“离线处理”能具体讲讲场景吗?
设计完美 VS 后期重构
到底该如何?
或许说mysql不太好解决伸缩性更准确,所以前期的架构设计部署尤为重要。请问新浪微薄用的是什么nosql产品?
关于实时的海量数据处理,Google在去年的OSDI上有一篇相关的论文,放弃使用MapReduce进行Web Indexing转而考虑使用在Bigtable 中使用类似于数据库中trigger的方式来进行
Web编程语言如PHP也不适合处理海量数据,它的优势在Web编程及敏捷开发。.
PHP在新浪主要是做前台开发?如果不适合处理海量数据的话,那么对于web前端,新浪考虑采用什么展现?
this was good post
Thanks for the great article. I have learned from this article, Love the site!
that was awesome article
关注。
实时性的海量数据得要内存数据库应该涉及到多核+大内存,压缩+列存储或者像redis那样便于分析的数据结构。
[…] 2010年总结 […]
2011年已经过去了,杨老大在团队内部推广的第二语言是什么呢?
[…] 2010年总结 […]
[…] 2010年总结 […]
[…] 2010年总结 […]
[…] 2010年总结 […]
[…] 2010年总结 […]