Google：从研究项目到技术巨擘

Google， 作为全球最大的搜索引擎，其技术发展历程堪称一部现代互联网技术的史诗。从1997年的研究性项目， 到如今的技术巨头，Google的技术革新始终围绕着可伸缩性、性能、成本和可用性四个方面。

创立初期

1997年， Google诞生于斯坦福大学，一开始是一个名为“Backrub”的研究项目。该项目网页的重要性，并以此构建搜索引擎的索引。当时 Google的索引是通过sharding的方式分散到多台服务器上，具体网页数据同样通过sharding的方式分散。

技术改过

因为索引的不断增加， Google开始对技术进行改过以应对不断增长的访问量和数据量。

• 1999年Google增加了一个Cache Cluster，用来缓存查询的索引后来啊和文档片段信息。一边， 将Index Server和Doc Server通过Replicate的方式变成了Cluster，提升了网站的响应速度、可支撑的访问量以及可用性。
• 2000年Google开始自行设计DataCenter， 并采用各种方法来优化PUE，一边对自行设计的服务器也做了很多改进。
• 2001年Google对Index的格式进行了修改， 将所有的Index放入内存，极大提升了网站的响应速度和可支撑的访问量。
• 2003年Google发表了文章《Google Cluster Architecture》， 其Cluster结构组成为硬件LB+Index Cluster+Doc Cluster+大量廉价服务器，通过并行处理+sharding来保证在降低对硬件要求的一边，响应速度仍然很快。
• 2004年Google 对Index的格式进行了修改，使得网站的响应速度继续提升。同年， Google发表关于MapReduce的论文，任务。
• 2006年Google发表了关于BigTable的论文， 使得海量数据的分析能够达到在线系统的要求，这对于Google提升网站的响应速度起到了很大的帮助。

以上三篇论文彻底改变了业界对于海量数据的存储、 分析和检索的方法，也奠定了Google在业界的技术领导地位。

Facebook：开源精神的践行者

Facebook， 作为全球最大的社交网络平台，其技术发展历程也颇具特色。Facebook的技术改过主要围绕在可伸缩、 性能、成本和可用性四个方面一边坚持“在能用开源产品的情况下就用开源，根据情况对其进行优化并反馈给社区”的原则。

• 缓存层Facebook先说说在LAMP结构中增加了Memcached， 用来缓存各种数据，从而大幅度提升系统的响应时间以及可支撑的访问量。
• 服务层Facebook增加了Services层， 将News Feed、Search等较通用的功能作为Service提供给前端的PHP系统使用，前端的系统通过Thrift访问这些Service。
• 编程语言Facebook采用了多种语言来编写各种不同的Service， 主要是针对不同的场景选择合适的语言，比方说C++、Java、Erlang。
• 性能优化Facebook通过改过采用UDP的方式来访问Memcached，以降低单连接上的网络流量。
• 数据库优化Facebook对MySQL进行了很多优化和改进，比方说Online Schema Change等。
• 存储优化Facebook开发了Haystack来存储图片， 可采用廉价的PC Server进行存储，大幅度降低了成本。
• 数据存储Facebook尝试自行设计DataCenter以及服务器， 以降低其运行成本，并对外开放了其构建的PUE仅1.07的DataCenter的相关技术。

Twitter：快速发展的技术之路

Twitter， 作为全球最大的社交网络平台之一，其技术发展历程也颇具特色。Twitter的技术改过主要围绕在可伸缩以及可用性上。

• 编程语言Twitter决定逐步往Java迁移， 选择了Scala作为主力的开发语言，采用Thrift作为其主要的通信框架，开发了Finagle作为其Service Framework。
• 数据存储Twitter的数据存储一直采用MySQL， 并采用分库分表的方式来支撑大数据量，使用Memcached来Cache tweet，timeline的信息则迁移为用Redis来Cache。
• 数据中心2010年， Twitter在盐湖城拥有了第一个自建的DataCenter，主要是为了增加可控性。

从Google、 Facebook、Twitter等知名网站的技术发展历程可以看出，每家网站在技术不同发展阶段中会采用不同的方法来支撑业务的发展，但基本都会围绕在可伸缩性、可用性、性能以及成本这四个点上。因为互联网的不断发展，这些技术结构还将继续进行演变。