构建高性能Web站点

按有用程度 按页码先后 最新笔记

• 

  第396页

  yunweidragon (养默而后知多言之为噪。)

  带宽，(动态内容，opcode)缓存(有效期，命中率)，吞吐率，反向代理服务器Nginx Squid Varnish HAProxy，监控Cacti，分布式缓存memcached（内存），数据库优化（索引，Innodb行锁，mysqlreport，key-value数据库MemcacheDB）， WEB负载均衡（DNS负载均衡（负载均衡调度器），反向代理负载均衡（权重），IP负载均衡（NAT负载均衡（Netfilter iptables），IPVS ipvsadm，LVS-NAT(带宽瓶颈)），直接路由）。 共享文件系统 samba NFS.. (更多)

  带宽，(动态内容，opcode)缓存(有效期，命中率)，吞吐率，反向代理服务器Nginx Squid Varnish HAProxy，监控Cacti，分布式缓存memcached（内存），数据库优化（索引，Innodb行锁，mysqlreport，key-value数据库MemcacheDB），

  WEB负载均衡（DNS负载均衡（负载均衡调度器），反向代理负载均衡（权重），IP负载均衡（NAT负载均衡（Netfilter iptables），IPVS ipvsadm，LVS-NAT(带宽瓶颈)），直接路由）。

  共享文件系统 samba NFS。

  webdv scp rsync。

  分布式文件系统MogileFS, Hadoop。

  Mysql R/W Splitting,垂直分区,水平分区Sharding。

  分布式计算 Gearman，MemcacheQ。

  并行计算 Map/Reduce。

  监控 Nmon，Cacti。 (收起)

  2012-02-02 23:39:53   回应

  收藏

  推荐
• 

  第175页

  henix (It's my life.)

  缓存文件描述符： 优点：减少 open() 系统调用 缺点： 1. 对大文件不适用，因为它们的时间主要花在传输上。 2. 当文件更新后，必须重启 Apache (更多)

  缓存文件描述符：

  优点：减少 open() 系统调用

  缺点：

  1. 对大文件不适用，因为它们的时间主要花在传输上。

  2. 当文件更新后，必须重启 Apache (收起)

  2012-01-06 21:55:33   回应

  收藏

  推荐
• 

  第157页

  henix (It's my life.)

  浏览器缓存的价值： 1. 减少网络传输，减少带宽消耗 2. 对于超大静态文件，可大幅提高吞吐率 (更多)

  浏览器缓存的价值：

  1. 减少网络传输，减少带宽消耗

  2. 对于超大静态文件，可大幅提高吞吐率 (收起)

  2012-01-04 22:30:55   回应

  收藏

  推荐

• 

  第1页

  magic (stay hungry, stay foolish)

  1.mod_status模块 <Location /server-status> SetHandler server-status Order deny,allow Deny from all Allow from all </Location> www.colorfulcloud.com/server-status ps和top命令 2. apache ab命令进行压力测试 ab -n1000 -c10 http://localhost/ 3. keepalive KeepAlive On http://www.phpv.net/html/1570.html (更多)

  1.mod_status模块

  <Location /server-status>

  SetHandler server-status

  Order deny,allow

  Deny from all

  Allow from all

  </Location> www.colorfulcloud.com/server-status

  ps和top命令

  2. apache ab命令进行压力测试

  ab -n1000 -c10 http://localhost/

  3. keepalive

  KeepAlive On

  http://www.phpv.net/html/1570.html (收起)

  2011-02-25 20:01:51   1回应

  收藏

  推荐
• 

  第10页

  Bane

  等待的真相 响应时间：数据从某主机开始发送一直到另一端主机全部接收所消耗的总时间。 吞吐率：每秒处理的请求数。 浏览器计算和渲染的时间。 瓶颈在哪里 瓶颈指影响性能的关键因素，这个因素会随着系统的运行又会发生不断的变化或迁移，比如由用户习惯所造成的不同时段瓶颈各不相同、浏览器增长到不同级别时所出现的新的瓶颈。 减少视觉等待 实在不行就给用户一些提示吧！要意识到用户也许只是希望你不要不理他... (更多)

  等待的真相

  响应时间：数据从某主机开始发送一直到另一端主机全部接收所消耗的总时间。

  吞吐率：每秒处理的请求数。

  浏览器计算和渲染的时间。

  瓶颈在哪里

  瓶颈指影响性能的关键因素，这个因素会随着系统的运行又会发生不断的变化或迁移，比如由用户习惯所造成的不同时段瓶颈各不相同、浏览器增长到不同级别时所出现的新的瓶颈。

  减少视觉等待

  实在不行就给用户一些提示吧！要意识到用户也许只是希望你不要不理他而已 :-) (收起)

  2011-05-10 20:52:47   回应

  收藏

  推荐
• 

  第35页

  Bane

  压力测试 在具有多个变量的模型中寻求最优结果是非常困难的，一般都先简化模型，选择特定的具有代表性的请求进行压力测试，然后根据需要，对多种请求的吞吐率按照比例计算加权平均值。 Web服务器的并发能力强弱的关键在于如何针对不同性质的请求来设计最优并发策略。 压力的描述一般包括并发用户数、总请求数、请求资源类型3个条件。 CPU并发计算 进程 进程的目的就是担当分配系统资源的实体。同时，进程也可以.. (更多)

  压力测试

  在具有多个变量的模型中寻求最优结果是非常困难的，一般都先简化模型，选择特定的具有代表性的请求进行压力测试，然后根据需要，对多种请求的吞吐率按照比例计算加权平均值。

  Web服务器的并发能力强弱的关键在于如何针对不同性质的请求来设计最优并发策略。

  压力的描述一般包括并发用户数、总请求数、请求资源类型3个条件。

  CPU并发计算

  进程

  进程的目的就是担当分配系统资源的实体。同时，进程也可以理解为记录程序实例当前运行到什么程度的一组数据。每个进程都有自己独立的内存地址空间和生命周期。进程由fork()创建

  轻量级进程

  内核直接管理它们，进程间允许共享一些资源，比如地址空间、打开的文件等。轻量级进程由clone()创建。

  线程

  用户态线程(POSIX的接口pthread)：切换时它比进程和轻量级进程开销都要少些，但它在多处理器(SMP)的服务器上表现较差，因为只有内核的进程调度器才有权利分配多个CPU的时间片。

  内核级线程库(POSIX的LinuxThreads)：它将线程和轻量级进程进行一对一关联，这样就可以利用SMP的能力，但是线程切换开销相对于用户态线程要多一些。

  进程调度器

  Linux2.6的进程调度器更加偏爱I/O操作密集型的进程，因为这些进程在发起I/O操作后通常都会阻塞，不会占用太多CPU时间。

  Linux上的CPU的时间片长度一般为10ms。

  系统负载

  系统负载是指在单位时间内运行队列中就绪等待的进程数平均值。

  查看/proc/loadavg获取系统负载情况

  1.63 0.48 0.21 10/200 17145

  第1到3个数值表示最近1、5、15分钟的系统负载。第4个数值表示此时运行队列中的有10个进程，而总进程数为200。最后一个表示到目前为止最后创建的一个进程ID。

  进程切换

  挂起某个进程，同时恢复某个以前挂起的进程，这种行为称为进程切换，也叫“上下文切换”。

  一个进程被挂起的本质就是将它在CPU寄存器中的数据暂存在内核态堆栈中，而一个进程被恢复的本质就是将它的数据重新装入CPU寄存器，这段装入和移出的数据我们称为“硬件上下文”。

  Nmon是一个非常不错的Linux性能监视工具。

  IOWait

  CPU空闲且等待I/O操作完成的时间比例，它是一个耐人寻味的指标。

  锁竞争

  独占资源使用锁来控制使用权，锁的本质让我们意识到尽量减少并发请求对于共享资源的竞争，比如在允许的情况下关闭Web服务器访问日志。

  系统调用

  用户态和内核态是Linux为进程设计两种运行级别，进程可以在两种模式之间切换，这也需要一定的开销。

  进程通常在用户态，此时可以使用CPU和内存，当进程需要对硬件外设进行操作时，就必须切换到内核态，完成后又切换回用户态。

  这种用户态和内核态的分离，动机主要在于提高系统底层安全性以及简化用户态程序开发模型。

  减少不必要的系统调用也是优化Web服务器的一个方面。

  比如Apache的.htacess就会增加系统调用。

  内存分配

  Apache使用内存池策略，一开始运行时便一次性申请大片的内存作为内存池，这样在随后需要的时候只要在内存池中直接获取，从而免去了频繁的内存分配和释放所引发的内存整理。

  Nginx使用多线程来处理请求，线程间可以共享内存资源。它使用分阶段内存分配策略，按需分配，及时释放，使得内存使用量保持在很小的数量范围。

  持久连接

  Keep-Alive有时候也称为长连接，它本身是TCP通信的一种普通方式，即在一次TCP连接中持续发送多份数据而不断开连接，与它相反的方式为短连接。

  从性能的角度看，建立TCP连接的操作本身便是一项不小的开销，所以在允许的情况下，连接次数越少越有利于性能的提升。

  I/O模型

  有人说，比特天生就是用来被复制的，数据的生命意义便在于输入/输出。

  I/O模型的本质区别在于CPU的参与方式。

  PIO与DMA

  PIO：读取磁盘文件到内存中，数据要经过CPU存储转发。

  DMA(Direct Memory Access)：不经过CPU而直接进行磁盘和内存的数据交换。

  同步阻塞I/O

  指当进程调用某些涉及I/O操作的系统调用或库函数时，比如accept()、send()、recv()等，进程便暂停下来，等待I/O操作完成后再继续运行。

  同步非阻塞I/O

  进程发现I/O操作的数据未准备就绪时会接着执行其他I/O操作，然后使用轮询的办法来尝试先前的数据是否就绪。

  多路I/O就绪通知

  允许进程通过一种方法来同时监视所有文件描述符，并可以快速获得所的就绪的文件描述符，然后只针对这些文件描述符进程数据访问。

  多路I/O就绪通知有很多不同的实现：

  select

  最早出现于1983年的4.2BSD中，而TCP/IP则诞生于4.1BSD。它几乎在所有的平台上都支持，这是它所剩不多的优点之一。

  单个进程能监视的文件描述符的数量存在最大限制，在Linux上为1024,可以通过修改宏定义或重新编译内核的方式提升这一限制。

  select所维护的大量文件描述符的数据结构，随着数量的增大，其复制的开销也线性增长。

  poll

  诞生于1986年System V Release 3，它和select在本质上没有多大区别，更多是因为不直接沿用BSD的select而重新实现了一遍，但是poll没有最大文件描述符限制。

  select()和poll()将就绪的文件描述符告诉进程后，如果进程没有对其进行I/O操作，那么下次调用它们俩时将再次报告这些文件描述符，所以它们一般不会丢失就绪的消息，这种方式称为水平触发(Level Triggered)。

  SIGIO

  Linux2.4提供了SIGIO，它只将文件描述符就绪的消息通过实时信号(Real Time Signal)告诉进程一遍，以后就不说了。这种方式称为边缘触发(Edge Triggered)。SIGIO几乎是Linux2.4下性能最好的多路I/O就绪通知方法。

  它的缺点是代表事件的信号由内核中的事件队列来维护，信号按顺序进行通知，这可能导致当一个信号到达的时候，该事件已经过期，它所描述的文件描述符已经关闭。

  /dev/epoll

  随后，名为/dev/epoll的设备以补丁的形式出现在Linux2.4上，它提供了类似/dev/epoll的功能，而且增加了内存映射(mmap)技术。

  epoll

  直到Linux2.6才出现了由内核直接支持的实现方法，它几乎具备了之前所说的一切优点，被公认为Linux2.6下性能最好的多路I/O就绪通知方法。

  它同时支持水平和边缘触发，理论上边缘触发的性能要更高一些，但代码实现相当复杂，困为任何的事件丢失事件都会造成请求处理错误。

  kqueue

  FreeBSD中实现了kqueue，它像epoll一样可以设置水平或边缘触发，同时kqueue还可以用来监视磁盘文件和目录。kqueue和epoll的性能非常接近。

  内存映射

  Linux内核提供一种访问磁盘文件的特殊方式，它可以将内存中某块地址空间和我们要指定的磁盘文件相关联，从而把我们对这块内存的访问转换为对磁盘文件的访问，这种技术称为内存映射（Memory Mapping）。

  分共享型和私有型两种内存映射。前者可以将任何对内存的写操作都同步到磁盘文件，而且所有映射同一个文件的进程都共享任意一个进程对映射内存的修改；后者映射的文件只能是只读文件，所以不可以将对内存的写同步到文件，而且多个进程不共享修改。共享型内存映射的效率偏低，因为多进程映射需要对修改进行同步。

  直接I/O

  在Linux2.6中，内存映射和直接访问文件没有本质上差异，因为数据都要经过两次复制：磁盘与内核缓冲区、内核缓冲区与用户态内存。

  引入内核缓冲区的目的在于从全局出发提高磁盘文件的访问性能，读文件时可以利用内核缓冲区中已有的数据，而写数据时通过一定的策略进程延迟。

  Linux在open()系统调用中增加参数O_DIRRCT，用它打开的文件便可以绕开内核缓冲区而直接访问。类似的还有O_SYNC参数，但它只对写数据有效。

  sendfile

  在Linux2.4内核中，引入了一个称为khttpd的内核级Web服务器程序，它只处理静态文件请求，开发者通过sendfile()系统调用使用它。

  引入它的目的在于内核希望请求的处理尽量在内核完成，减少切换和数据复制开销。一般称这种为“零拷贝”。

  OpenBSD和NetBSD中没提供对sendfile的支持。

  对于请求较大的静态文件，sendfile带来性能提升是显著的；而对于请求较小的静态文件，sendfile发挥的作用便显得不那么重要。

  异步I/O

  指进程主动请求数据后便可以继续处理其他任务，随后等待I/O操作完毕的通知。

  服务器并发策略

  一个进程处理一个连接，非阻塞I/O

  这种模型的开销限制了它的并发连接数，优势是它独立的进程相对安全。

  一个线程处理一个连接，非阻塞I/O

  使用大量的线程(轻量级进程)代替进程，切换带来的开销依然存在，实际使用中处境尴尬。

  一个进程处理多个连接，非阻塞I/O

  此策略中多路I/O就绪通知模型显得很重要，当存在大量非活跃连接时，epoll的优势不言而喻。

  Worker进程的数量要根据实际需要来选择，是同时以慢速服务更多的人还是快速服务较少的人。同时多进程带来的上下文切换也是一笔开销。

  一个线程处理多个连接，异步I/O

  目前很少有Web服务器支持这种真正意义上的异步I/O，理论上在某种特定的场景中它的性能要比sendfile更加出色，但是对于大量小文件的并发请求，文件传送可能不是关键，而多路I/O通知方法的性能更加重要。目录正在开发的Lighttpd 1.5试图使用Linux的AIO实现。 (收起)

  2011-05-10 20:56:11   回应

  收藏

  推荐

• 

  第396页

  yunweidragon (养默而后知多言之为噪。)

  带宽，(动态内容，opcode)缓存(有效期，命中率)，吞吐率，反向代理服务器Nginx Squid Varnish HAProxy，监控Cacti，分布式缓存memcached（内存），数据库优化（索引，Innodb行锁，mysqlreport，key-value数据库MemcacheDB）， WEB负载均衡（DNS负载均衡（负载均衡调度器），反向代理负载均衡（权重），IP负载均衡（NAT负载均衡（Netfilter iptables），IPVS ipvsadm，LVS-NAT(带宽瓶颈)），直接路由）。 共享文件系统 samba NFS.. (更多)

  带宽，(动态内容，opcode)缓存(有效期，命中率)，吞吐率，反向代理服务器Nginx Squid Varnish HAProxy，监控Cacti，分布式缓存memcached（内存），数据库优化（索引，Innodb行锁，mysqlreport，key-value数据库MemcacheDB），

  WEB负载均衡（DNS负载均衡（负载均衡调度器），反向代理负载均衡（权重），IP负载均衡（NAT负载均衡（Netfilter iptables），IPVS ipvsadm，LVS-NAT(带宽瓶颈)），直接路由）。

  共享文件系统 samba NFS。

  webdv scp rsync。

  分布式文件系统MogileFS, Hadoop。

  Mysql R/W Splitting,垂直分区,水平分区Sharding。

  分布式计算 Gearman，MemcacheQ。

  并行计算 Map/Reduce。

  监控 Nmon，Cacti。 (收起)

  2012-02-02 23:39:53   回应

  收藏

  推荐
• 

  第175页

  henix (It's my life.)

  缓存文件描述符： 优点：减少 open() 系统调用 缺点： 1. 对大文件不适用，因为它们的时间主要花在传输上。 2. 当文件更新后，必须重启 Apache (更多)

  缓存文件描述符：

  优点：减少 open() 系统调用

  缺点：

  1. 对大文件不适用，因为它们的时间主要花在传输上。

  2. 当文件更新后，必须重启 Apache (收起)

  2012-01-06 21:55:33   回应

  收藏

  推荐
• 

  第157页

  henix (It's my life.)

  浏览器缓存的价值： 1. 减少网络传输，减少带宽消耗 2. 对于超大静态文件，可大幅提高吞吐率 (更多)

  浏览器缓存的价值：

  1. 减少网络传输，减少带宽消耗

  2. 对于超大静态文件，可大幅提高吞吐率 (收起)

  2012-01-04 22:30:55   回应

  收藏

  推荐