D is for digital读书笔记

第一章 计算机里有什么
PC机，很多年过去了，基本构造一直都没变。
逻辑构造：CPU、主存储器（RAM）（内存）、大容量的存储器（磁盘）和其他各种各样的部件（鼠标、键盘、显示器CD、打印机）用总线连接起来。
冯诺依曼的论文到现在都还值得读，这种体系结构称为冯诺依曼体系结构。

CPU：英特尔双核酷睿2.1GHz，两个核即两个CPU，Hz每秒可以运算的次数

RAM：随机访问（CPU可以以同样速度快速访问其中任何地方的信息）内存是易失性的。

摩尔定律：戈登 摩尔，Intel联合创始人及长期CEO，《在集成电路里填入更多部件》：随着技术的发展，在给定大小的集成电路内部可以制造的设备（主要是晶体管）数量大约每年翻一番。后来修正为2年，另一些人认为是18个月。

到了某个阶段，摩尔定律会失效。以前多次有人断定摩尔定律极限已经到来，但是后来又发现了突破极限的方法。现在又到了这样的阶段：有的电路里经包含极少数电子，这么小的结构已经很难控制。

第二章 比特、字节与信息表示

模式转换：模拟信号转换成数字信号。声音、图像、字符ASCII和Unicode

“世界上只有10种人，理解二进制的和不理解二进制的。”

第三章 深入了解CPU
用一个玩具计算机解释CPU如何工作的。

RAM和CPU相比运算及其慢。CPU和RAM间通过少量的高速存储器来保存最近使用的指令和数据，这种高速处理器叫缓存。还有其他方法让处理器跑得更快，比如流水线（让CPU交替地取得和执行指令）另一种是同时运行多个CPU。比较CPU的速度并没有什么意义，一个处理器比另一个更快，也不必太当真，具体问题具体分析。

典型的CPU一般有两到三个缓存，容量依次增大，速度递减。一级缓存、二级缓存和三级缓存。
缓存的思想几乎无处不在，打开word关闭，再打开，打开速度会提高，甚至Google搜索一个关键词，一会再搜索，速度都会提高。

所有的计算机都是等价的：通用图灵机。

图灵测试：一台计算机和一个人，通过键盘和显示器雨另一个提问者交流。通过回答，提问者确定哪个是人，哪个是计算机。

缩写词CAPTCHA＝Completely Automated Public Turing Test to tell Computers and Humans Apart为了区分计算机和人的完全自动化的公共图灵测试。可以理解为验证码。

尽管如此，我们还是有太多太多的事物不知道怎么用比特来表示，更不必说怎么用计算机来处理了。比如，日常生活中最重要的一些事物：艺术、创造力、真理、美、爱、荣誉和价值。

第四章 算法

算法：保证特定计算过程正确执行的一系列步骤。
线性算法：花费的时间与处理的数据量成正比

二分搜索：想找到电话簿的指定的人，中间先找，每次舍去一半，类似查字典。也应用在比赛的淘汰赛，每轮淘汰一半。

排序：快速排序，托尼 霍尔，先对要排序的所有分组，化整为零的一种方法。

难题雨复杂性：随着数据量的增加，工作量增加的情况。对于快速排序，是N logN，比线性的N差，但是可以接受，其次是N^2，其次是指数增长.

第五章 编程和编程语言
汇编语言：还没太搞懂，就是低级的机器语言吧，不可移植。
高级语言：通过编译器把代码转换为目标处理器的汇编指令。

计算机的大部分软件都是C或者C＋＋编写的。

针对特定的任务，总会有多种写程序的方式。从这个意义上说，编程就像是文学创作。没错，风格以及恰如其分地运用语言对写作至关重要，对写程序同样至关重要，而且还是区分真正伟大的程序员与普通程序员的标志。程序员对特定的计算任务可以有如此丰富的表达方式，也意味着不难识别从他人程序中复制的非原创代码。我每次上编程课的时候都会着重强调这个观点，但还是有学生认为改改名字或者挪挪代码，就可以掩盖剽窃的事实。很抱歉，这是行不通的。

经验丰富的专业程序员也可能会熟悉或粗通十几种语言，但他们不会对多种语言都同样熟练。

Benjamin Whorf： 语言塑造我们的思维方式，决定我们可以思考什么。

库、接口和开发工具包
函数库是通过API(Application Programming Interface)应用程序接口的形式描述给程序员的。大型的系统开发会用到SDK(Software Development Kit)

Firefox十八个月经历19次修订，修复了100个安全漏洞，不意味着Firefox的程序员都不够格，说明编写一个耐用的程序非常难，而坏人始终都在寻找你的弱点。

必须持续不断的小幅更新，这是软件开发和维护的一大问题，但是不做还不行。如果不这么做，程序就会遭遇“比特腐烂”，一段时间之后，也许就不能用了，或者想更新都更新不了了，因为重新编译无法通过，或者它所依赖的库已经变化太多了。与此同时，无论更新还是修复问题，通常会产生新的bug，或者改变用户熟悉的行为。

软件资产 知识产权
开放源代码：源代码可以被任何人阅读、研究和改进。
MIT的Richard Stallman希望能修改和加强自己使用的某些程序，但是这些程序的源代码时别人私有的，自己根本看不到。为此1983年发起了一个GNU's Not Unix创立了Free Software Foundation, GNU General Public License

保证程序对所有用户来说仍然是自由软件。基于GPL的软件能够被自由使用，而如果再把它分发给其他人，则必须公开源代码，并同样遵守GPL约定。

网路：电话和调制解调器=>有线和DSL。局域网和以太网
读取网络上的所有消息的内容——嗅探
wireshark的免费软件，可以显示以太网包括无线网流量的各种信息。Firefox有个叫firesheep的插件，不仅可以显示谁在访问什么站点，还可以轻松伪装成其中的某个用户。
通过包package作为容器传输。

手机都有唯一的识别码，相当于以太网的地址。启动手机，就会广播自己的识别码。距离最近的基站收到手机信号后，会通过后台系统验证识别码。随着手机移动，基站实时更新位置信息，向后台系统报告，如果有人呼叫该手机，后台系统就能通过一直与它保持联系的基站找到他。如果小区的信号很弱，它就会因为拼命查找基站而大量耗电。手机信号塔的位置同样重要，伪装成松树“弗兰肯松树”。

互联网：
最早的互联网：APRANET
现在的互联网由成千上万个松散连接的独立网络构成，其中每个网络都连接到另外的一个或者多个网络。临近的计算机通过局域网连接，然后网络和网络通过网关连接。信息通过IP包来传送。
地址：IPv4或者IPv6
名字：域名www.baidu.com
路由：从源地址到目标地址的路径。让包在网关之间传输
协议：TCP DHCP

互联网的协议很多，基础有俩：互联网协议(Internet Procotol, IP)定义个单个包的格式和传输方式。
二是传输控制协议(transmission control Protocol, TCP)定义了IP包如何组合成数据流以及如何连接到服务。

IP包都是不可靠无连接的。不可靠指的是，尽力而为，不能保证传输的质量，出错就出错了，像在陌生的地方把明信片丢进邮箱，一般会送达，但是中途可能受损，可能彻底寄丢。但是实际上互联网协议还是相当可靠的。IP包的最大值约为65KB，所以长消息就要拆分成小数据块分别发送。TCP和IP的最初设计者后的了2004年的图灵奖。

高层协议：TCP提供双向通信方式，数据在两台计算机之间可靠地来回传输。
HTTP
客户机：应用程序→TCP→IP→IP网关→IP网关→IP网关→IP网关……→IP网关→IP→TCP→应用程序；服务器

FTP文件传输协议：研究人员可以从别的站点获取各种信息。不认识客户机的IP地址，允许匿名访问，不检查口令。

Telnet远程登录
开放的，如果能接受没有口令的登陆，那就不需要口令。而且用明文传递，毫无安全性可言。现在都是用SSH(secure Shell)双向加密全部通信。

简单邮件传输协议SMTP Simple Mail Transfer Protocol
广泛使用的邮件接收协议有两个：POP(Post office Protocol)和IMAP(Internet Mail Access Protocol)

文件共享和点对点协议：
1999年6月，美国东北大学一年级新生Shawn Fanning发布了Napster，让大家能轻而易举地共享MP3格式压缩音乐。下载Napster客户端到计算机上，选择要共享的文件，把想共享给别人的文件名上传上去。napster维护一个中心目录，里面有可以获取的文件名。Napsrter时刻更新目录。用户在中心服务器搜索时，Napster返回一个列表，里面列出在线而且愿意共享这些文件的其他人。当用户选择了某个共享着，Naspter为双方安排联系：提供IP和端口号。

这实现了新的模式，以前是客户机－服务器的模型。现在中心服务器只列出可以共享的音乐，音乐本身还存储在用户自己的计算机上。当文件传输时，不经过napster中心系统。Napster希望通过此来规避版权问题。

后来Napster被起诉关闭，二其他的文件共享流行起来。把服务器放在美国国外。而且采用分布式的目录方案，只关闭一台服务器并不能停业务。

现在的文件共享都使用BitTorrent的点对点协议。是Bram Cohen于2001年设计的，适合于

BitTorrent适合热门资源共享，而另一个点对点共享系统eDonkey适合偏门／古旧资源。

带宽：
数据在网络中流动的速度受限于最慢的链路。电路中的信号传递比真空中慢，实际上还要经过路由器，

压缩：
数据压缩是有效利用现有内存和带宽的好方法。
ASCII编码的第八位总是0，完全可以省略。
霍夫曼编码：可以有条不紊地实现每个字母提供最佳压缩效果的编码值。

上述都是无损压缩，在压缩过程中不丢失信息，解压以后数据和原始数据一样，另外一些情况，不需要无损，只需要差不多就好了。最常用处理给人看或者给人听的内容。比如照片，.jpg格式，JPEG算法就是感知编码，可以控制压缩率，较高的品质意味着较低的压缩率。电影时采用MPEG格式压缩的，单独的一帧可以用JPEG压缩。把连续的、变化不大的一系列压缩，另外预测运动结果，甚至把运动的前景从静止的背景里面分离出来。

MP3是MPEG里面的音频部分，利用了人耳无法听到20KHz以上的频率（随着年龄增长，这个值会降低），明亮声音掩盖轻柔声音等事实。

手机音频主要集中在人类语音，可以压缩更高。

所有的压缩算法的思路都是减少或者去掉那些不能物尽其用的位串，采用的主要方法包括把出现频率较高的元素编码成短位串，构造频率字典，用数字代替重复内容等。数字电视的撕裂成块或者声音断断续续，说明解压算法遇到了输入错误，可能是数据到达的速度不够快。任何压缩都是有限度的。

错误检测和校正：
美国的信用卡和借记卡卡号有16位，但是并不是所有的16位的号码都是有效的号码。
IBM公司的Peter Luhn 在1954年设计了一个校验和(checksum)算法，来避免常见错误：单个数字错误、由于两个数字写错位置而引起的大多数换位错误。

从最右的一位数开始向左，每个数字交替乘1或者2，如果结果大于9，就减去9，各位数的计算结果加起来，最后总和能够被10整除，这个卡就是有效卡号。

10位或者13位的ISBN书号也采用了类似的算法。

上面说的是十进制，二进制的检测方法是奇偶校验码，这种算法为每组二进制位上附加了一个奇偶校验位，其值的选择要满足如下条件：使该组的二进制位中，值为1的位有偶数个。所以内存可以抵御随机位置上出现的一位错误，CD冷防止错误影响后面的播放。手机能抵御噪声。

万维网

万维网和互联网是两个东西。万维网连接着提供信息和请求信息的计算机，提供信息的叫服务器，请求信息的叫客户端。通过互联网建立连接和传递信息，并且为互联网支持的其他服务提供人机界面。

万维网有四个最基本的组成要素。
URL ＝ Uniform Resource Locator 形如：http://amazon.com
http
HTML
浏览器。

http是协议名字，偶尔看到其他协议：file表示信息来自本机，ftp表示FTP协议传输文件，https表示加密的http协议
://后面是愚民，即服务器的名字。域名后面可以跟着斜线/和任意一串字符串。这些字符串会原样传回服务器，由服务器决定如何处置。最简单的情况就是域名之后什么都没有，连斜线都没有，这种情况下，服务器将返回默认页面。如果域名之后有文件名，就返回对应文件的内容。文件名之后如果有问号，一般表示句号前面的部分是程序，服务器会运行该程序并且把问号后面的部分作为参数传入。比如：
http://www.bing.com/search?q=funny+cat+pictures

加号表示空格，前面冠以百分号的十六进制代码表示其他字符比如：
8%22%20to%202%27
= 8" to 2'
因为十六进制22表示双引号，27表示单引号，20表示空格。

HTML
如果图像标签<img>里面的文件无法访问，浏览器可能会在那个位置显示出一张破损的替代图片。

表单：
HTTP里面有一个从客户端向服务器传递信息的机制，通用网关接口Common Gateway Interface
<form>...</form>里面放入文本输入区、按钮等常见的界面元素。再加上一个提交按钮，可以吧表单里面的数据发送到服务器，服务器用这些数据作为输入。

cookie
HTTP是无状态的，不必记住不同客户端请求的信息，只向客户端返回了请求的页面，就可以丢弃这次数据交换的全部记录了。
有时候服务器必须记住某些东西，输入密码，1994年Netscape公司才发明了一种叫cookie的解决方案。利用客户端的内存记住哪个浏览器曾经访问过他。服务器为每一个客户端分配一个唯一的识别码，包含在cookie里，和识别码相关的永久信息比如登录状态、购物车内容、用户喜好，由服务器的数据库来维护。

动态网页：
设计万维网的时候并没有考虑在客户端运行程序。动态网页就是把某种语言写的代码下载到客户端计算机来运行。
“如果坏蛋能说服你在自己的计算机上运行他的程序，那你的计算机就不是你的了。”

Netscape Nacigator早期版本可以运行java程序，浏览器本身就可以替代操作系统，这让微软坐立不安，排挤java，各种原因下，java没有成为扩展浏览器的主要途径。1995年Netscape推出了专门用于浏览器的语言Javascript，不过这种语言和java一点关系也没有。

浏览器的插件可以做什么呢？理论上可以为所欲为。可控性最差的浏览器插件是微软的ActiveX，代码不受限制，可以运行任何windows功能。

其他动态内容：
邮件里面的HTML格式，PDF里面的javascript，word、excel等等里面的宏和flash

病毒和蠕虫：
最早的病毒是Robert T. Morris最初只是想了解互联网的规模，蠕虫用两种方法把自己从一个系统复制到另一个系统：一是利用常用程序的缺陷，另一个使用字典供给。蠕虫有一段代码时检测计算机是否收到感染，如果没有才继续运行并且传播。这样很容易通过伪造传染检测标志来免疫，Morris修改了代码，使集市已经感染仍然有1/7的概率传播，扩散趋势是指数级的。

万维网的安全：
三种攻击形式：
1.对客户端的攻击：
cookie跟踪监控上网行为
垃圾邮件，很多垃圾邮件都是从windows电脑上发出来的，这些电脑很容易被安装上恶意软件malware

网络钓鱼：伪装成银行或者是你的朋友
间谍软件：运行在你的计算机上、把你的信息发送到别的地方去的程序。有几台笔记本电脑预装了包探测器程序pinger，开机自动运行，定期链接到厂家的服务器。
入侵者还会在计算机安装僵尸程序zombie。平时潜伏着，一旦控制者从互联网发来指令，执行发送垃圾邮件等攻击。这些程序也成为bot肉鸡，控制它们的各个网络被称为僵尸网络botnet。万维网上已知的僵尸网络有上千个，控制了几十万到上亿台肉鸡待命出击。

入侵计算机后，可以查看文件系统，或者安装按键记录器抓取用户输入口令或者其他数据，从源头获取信息。加密也没用。而且能开启计算机的话筒和摄像头。

2.对服务器的供给
SQL注入：SQLinjection服务器一般在后台运行数据库，访问数据库通常使用标准接口SQL(Structured Query Language)，如果没有严格限定访问权限，机灵的攻击者就可以提交精心构造的SQL查询指令来检查数据库结构，从而提取未授权的信息，甚至还可能在服务器上运行他们自己写的代码，从而控制整个系统。

系统一旦沦陷，特别是取得root权限以后，会为所欲为。

拒绝服务攻击(DoS, Denial of Service)，将大量的网络流量引导到一个网站，密集访问使其停止响应。通常使用僵尸网络来控制。

不幸的是，防御者需要防住所有可能的攻击，而攻击一方只需要找到木桶的一块短板就行了。

3.对传输中信息的攻击
https加强型的http能对请求和应答双向数据加密。

中间人攻击：攻击者截取信息，按照自身需要修改后发出去，看起来是直接来自源头的。

密码：
最早的事凯撒密码，消息移动三位。
苏格兰女王玛丽就因为加密不当上了断头台。
1943年日本的军用加密系统不够安全，情报机关破解了山本五十六的飞行计划，击落了座机。
英国人靠着阿兰图灵的计算机知识和技术破解了恩尼格玛密码机，解密了德军的军事情报，才提前结束了二战。

如果张三和李四要交换信息，通信内容保密，并不掩盖正在通信的事实。加密消息的密文称为密钥，凯撒就是字母移动的位置。有多种方法对加密算法攻击，频率分析法可以统计密码中每个符号的出现频率。

现代密码学必须假定攻击者知道并且完全理解密码系统的工作原理，将所有的安全性寄托在密钥上。与此相反的做法是假定对手不知道加密方案，如何破解，称为隐匿式安全，时间一长，肯定完蛋，苏格兰女王、山本五十六和德军都是这样死的。如果有人鼓吹加密系统十分安全，但是不愿意说出工作原理，你可以确信它并不安全。

密钥加密：
如果选用的算法完全被人理解，并且没有缺陷，唯一方法是蛮力攻击(brute force attack)：耗时长久，尝试所有可能的密钥，直到找出来加密的那个。好一点的方法是字典供给(dictionary attack)

最常用的加密算法是DES= Data Encryption Standard是有IBM和美国国家安全局共同开发的。

DES总是使用56位密钥，随着计算机速度的增加，长度不够，使用更长的加密算法。其中使用最多的是AES(Advanced Encryption Standard)，支持128、192和256三种密钥长度，用蛮力攻击很多年也不会有结果。

AES和其他密钥加密系统面临大问题是密钥分发：参与通信的每一方都必须知道所有的密钥。如果里面有了间谍活着敌人，无法保证分发密钥的安全性 。另一个问题是密钥增生：保证彼此间独立的秘密对话，每组对话不同的密钥。直接导致了公钥加密的产生。

公钥加密：
每个人都有一个密钥对，包含一个公钥和一个私钥。这对密钥是数学上有关联的整数，具有如下性质：其中一个密钥加密过的消息只能用另外一个密钥解密，反之亦然。只要密钥足够长，无论是蛮力攻击还是从一个密钥推算另一个密钥，都是徒劳的。

公钥真是开诚布公，放在网站上。

张三给李四发消息，用公钥加密，消息受到以后，用私钥解密。一般花费的时间比AES长。

比如亚马逊，浏览器先随机生成一个临时口令，并且用亚马逊的公钥加密这个临时口令，加密的结构传给亚马逊，亚马逊私钥解密。

公钥加密可以用作数字签名。张三签署一条消息，确认收信人确认该消息是本人签字，而不是别人假冒的。首先用私钥加密，结果公布出去，任何人都能用张三的公钥解密该消息。另外，张三还可以只给李四签署消息，除了李四之外的人看不到，而李四不仅可以看到，而且可以确认是张三发的。具体做法：张三先用自己的私钥签署这条消息，再用李四的公钥加密。

最常用的公钥加密算法是RSA，先生成一个长整数，比如长度是300位，这个整数要有两个素因子，长度约为两者乘积的一半，以此作为公钥和私钥的主人。知道两个素因子的人，即私钥的主人，能迅速解开密文，而其他人解密必须先分解素因子，因为计算量太大，实际上是不可能完成的。

网站的信任。可信的第三方。访问亚马逊网站时候，网站给我一个证书来证明它的身份。浏览器使用权威机构发布的公钥来检查网站发布的证书。但是我必须相信权威机构本身。

公钥算法太慢了，一般不直接用公钥算法对文档签名，而是用消息摘要或密码学散列。？？？MD5和SHA－1

任何安全系统中，薄弱的环节都是作为用户的人，人会破坏复杂的系统。可能会用公式来生成密码，或者把密码写在纸上，但是两种做法都有风险。如果攻击者得到了我的两个密码，可能会猜到其他所有密码。

搜索引擎的每次搜索，并不是搜索互联网上所有网页，只是在自己的索引上搜索。

隐私：
想买车，打开toyota.com，浏览器会自动下载60kb的HTML文件，一张一个像素的透明的图片。图片并不是打算让人看见的。DoubleClick公司会知道我正在浏览丰田汽车公司网站，如果我允许，还会在我的计算机内保存一个cookie文件，随后我又访问了另外一个网站，其中内置了DoubleClick图片，doubleClick会绘制我的一张足迹图，如果我的足迹大多数留在汽车网站，Doubleclick会吧信息透露给广告客户。于是可以看到汽车经销商，汽车贷款，汽车配件各种。doubleclick甚至可以知道我性别，个性爱好。现在这个公司被谷歌收购了。

打开一个网页，谷歌的Ad Exchange会说网页上有一块空地，可以显示广告，同时发过去浏览着的信息，于是广告客户会对这个广告位竞价，胜出者的广告放在网页上，整个过程只有零点几秒。

推荐一个浏览器扩展Ghostery，通过禁用JavaScript跟踪代码，查看被阻止的跟踪器。

firefox的一个扩展TACO, Target Advertising CCookie Opt-out定向广告自愿回避，保存着自愿回避cookie的网站列表。作者选择直接对大多数网站关闭cookie

adobe flash是动画的缓存方便流畅播放视频，但是也会被跟踪，作者关闭了Flash cookie并不影响性能，对每台新电脑都这么做。

更可怕的手段是 深度包检测(deep packet inspection)每个IP数据包从计算机发出，经过15～20个网关才能到达目的地，每个网关都有可能检查包里面的数据。甚至某种方式修改它们。一般来说，这种入侵都是你的ISP法器的，广告客户和政府部门尤其喜欢这种信息，监视你互联网上的一举一动。

在美国，面试时候问一个人的民族，宗教信仰、性取向都是非法的，但是这些问题都可以通过社交网络和搜索引擎不费吹灰之力找到答案。