In the plex
千度
读过 In The Plex
第四部分 Google的云
他开始寻找有意思的初创公司。他在 Slashdot 上听说过 Google ,那 是一个在线讨论网站,就像给极客们的晚间娱乐节目,然后他开始使用 Google 的搜索引擎。他 对 Google 富有想象力的解决有趣技术难题的方式印象深刻,于是给 jobs@google.com 发去了简历,邮件被退回了,因为服务器宕机了,不过他坚持发简历,最终得到了一个电话面试机会,然后是一场面对面的面试。 果然机会留给有准备的人,当你被拒绝之后,就再试一次,不行就10次!
你的网站反应很慢,你该做什么?什么资源受到限制?因为一定有一个瓶颈。是cpu受限吗?还是磁盘受限?你必须理解这些最基础的东西,是什么让事情快或者慢。这是个相当好的问题 确实是一个很好的面试题
2001年中,Buchheit 发现自己被解放了,因为那年 Page 和 Brin 发动了管理起义,把产品 manager 都解散了 确实是工程师驱动的文化, 让人意想不到的举动
“第一版所能做的就是存储和搜索邮件--Lary和Sergey说如果有回复功能就更好了”,Buchheit说,“我说, ‘好,我想我能加上这个功能'" 敏捷开发?第一版虽然捡漏,确实是可交付的
“我们俩都用了Gmail 提供的2GB 免费存储一般多的空间。(Google 早就把存储从1G 扩 展到2G。 ” Google用云计算重新定义了邮件,其实做系统不在于别人做了我们在做就没有创新了,我们可以做同样的产品在进行创新,比如存储空间大了100倍(这对用户来说就完全不一样了)。
比如chrome的v8引擎是原先的性能的10倍,是ie的50倍,虽然以前也有js引擎,如此大的性能提升带来了全新的用户体验.
google file system: 传统上也有分布式文件系统比如nfs, 也有集群文件系统,但是这些系统虽然功能很全(提供posix接口),但是可用性以及扩展性受限,gfs抛弃了随机写但是来了极大的扩展性,而且可以容忍机器级别的故障,从而引发了大数据的浪潮.
新能源车:话说特斯拉从功能角度讲跟之前的油车也没多啥东西,但是加速快,更加安静,更加智能,所有这些东西加在一起就是一个新的产品。
作为权宜之计,工程师们实现了一种把索引数据放在不同的硬盘驱动器上的办法,如果作为权宜之计,工程师们实现了一种把索引数据放在不同的硬盘驱动器上的办法,如果一个台机器垮了,每个人的呼机都会嘀嘀响,即使是在午夜,他们也会马上冲到办公室里,停止爬虫,拷贝数据,修改配置文件 Google的系统刚开始也不完美,也需要不停的迭代,发现系统的不足恰恰是工程师的机会,比如gfs, 比如borg(jeff dean 抱怨部署程序特别麻烦) ,比如dremel(刚开始也不是计算存储分离的,后来才迁移到gfs上的), 所以发现系统的问题,其实是一个机会,发挥自己价值的机会.
这次经历引发了对 Google 整个架构处理文件的方式一次雄心勃勃的修整。“我一直想构造这样一个文件系统,很显然这是我们不得不做的事情”,小组的领导 Ghemawat 说。虽然之前有处理分布在多个文件中的信息的系统, 这也说明google为什么喜欢招博士,需要类似的研究经历,才会有构造一个新的文件系统的想法,否则只是看到了问题,然后抱怨,没有解决方案.
“只有涉及相当多 T 的数据时,问题才变得有趣,它会驱使你在解决问题时,以数十万台计算机为一般规模进行思考。”当你有这样的能力解决问题时,除了能够解决得更快,你还有了做更多事情的能力,可以处理以前从没有考虑过的问题。 只有数据量超大,才能发挥工程师的价值,否则跟普通做业务的公司有啥区别呢,只有大规模的问题,别人解决不了,公司才会有竞争力,自己才有价值.
“只有一个数据中心的话,Google 很容易受到攻击 。首先,它要确保有多根光纤连接到 建筑中——否则的话一个偏离路线的公共工程施工人员就能让Google 宕掉” “很长一段时间,Google 都恐惧一种末日般的场景,一个数据中心的灾难事件让一个 Google 产品甚至整个Google 都宕掉,现在它数十亿美元的投资和能够容忍失效的基础架构 让这种场景不大可能出现了。 “我们可以失去一整个数据中心,所有东西都可以迁移到其他数据中心” 即使是在2022年,很多公司也无法做到一个机房挂了,服务不受到影响
“Google 认为现在的数据中心非常低效,特别是它们耗电的方式” 重新定义数据中心
“通过让软件变得完美,有自己的光纤,在能源保持技术方面的创新,Google 能够以竞争对手花费的三分之一运行自己的计算机。 “我们真正的优势是这样一个事实,“我们有大量并行的冗余的计算机网络,可能超过世界上任何人,包括政府”,Jim Reese 说,“我们意识到我们不想让竞争对手知道。 ” 技术上领先才是真正的核心竞争力,虽然都在做同样的产品,但是成本如果是别人的1/3,对于机房这样的基础设施来说,就是巨大的优势。
“这个系统负责并行计算,你不需要考虑数据存在什么机 器上,或者机 器失效,有坏数据或者其他任何情况发生时如何同步” Fault Tolerance
他叫Sundar Pichai,出生在印度Madras , 像很多Google 员工一样,他上过Indian Institute of Technology。毕业后,他沿着铺好的路到了美国,在Stanford 获得了一个计算机科学硕士学位。不过Pichai 在1995 年离开了学术圈。 “读博士看起来要花太长时间了”,他说,“我就是想工作。 ”他在半导体公司做过各种各样 的工作,逐渐喜欢上产品管理和商务管理,所以去了商学院。” Sundar Pichai的求学经历也是很丰富让人敬佩,国内很少有人拿到了计算机的硕士,转头在去读个商学院
Google宣布,云就是它的命运,也是我们的 云给我们带来了什么呢?可靠性的提升(多个副本),算力的提升(并行计算),扩展性、弹性扩容(成本降低),成本的降低,基础像水电煤一样按量付费。
# 第五部分 其他创新
国外都批评中国的“微创新”, 回头看一下国外的公司,苹果也不是第一个做手机甚至是智能手机的,之前也有塞班、黑莓,Google就更不用说了从搜索引擎到Adwords,再到google办公套件(Google doc), Gmail ,再到Android,之前也都有类似的产品了,他们做的也都是不断的改善之前的产品, 但是又重新定义了这些产品,搜索加入了page rank;Adwords引入了机器学习,拍卖机制;Google docs引入了云计算;Gmail引入了更大的存储;Chrome更快的性能;Android这个貌似就是开源版的ios。
如何创新呢? 从技术的角度考虑10~100倍的性能提升,成本的下降,更快,更准确都是产品的核心竞争力,体现工程师价值的地方。
从产品的角度考虑,更好的用户体验,比如iphone这种多点触摸的交互方式;在中国小米基于中国用户的体验,这些都是创新,让用户用的更方便.
# 第六部分 google在[China]的困境
“CEO Robin Li 选择在国庆节与Brin 和Page 开会,这样他们就不知道他雇佣了多少工程师。Google 创始人们拒绝吃Baidu 提供了Subway 三明治,这冒犯 了Li” 不管按照哪个国家的道德标准Google创始人的视为确实是很傲慢
“更复杂的一种是付给网吧老板的费用,大量比例的[China] 用户在这种地下室之类的场所 上网,那里烟雾缭绕,很像电话交易所和食品扑克赌场的跨界之作,每个小时都有成百上千 的终端在运行” 在2022年互联网产品打广告早就不新鲜了,Google当时网吧的策略也是很正确,可惜中国研发中心没有足够的自主权,在激烈的竞争面前反映总是慢一拍, 从google vs Baidu, ebay vs taobao,uber vs 滴滴 都是如此。
“或者他们只是被要求进行搜索, 寻找不成功的查询——基本上是执行那些在其他国家由不太胜任的测试人员为Google 做的任务。 “每天搜索, 搜很多东西,告诉我们哪里不对”,Kai-Fu Lee 说,“这不需要访问代码。 ”但这也让那些工程 师处于一种有创造力的天才都被浪费的 位置上。这让他们很愤怒。” 虽然是在Google工作,但是仅仅是做这样的工作的话,那又何必加入Google,更何况他们计划是最聪明的一批人
“到那时Kai-Fu Lee 早已经决定离开Google ,但还没有给出声明。和业界常规一样,四年 后他的期权都归属个人了,这些事件也足够他来重新为自己考虑了, 他已经确定自己的强项 是建设,而不是建好之后的管理” 作为打工人,不管多么难也要拿到公司给与的期权。
说明 · · · · · ·
表示其中内容是对原文的摘抄