第44页 第七课 处理大规模数据的基础知识

处理大规模数据的三个重点------写程序的技巧

       1、“能在内存中完成多少？”。为什么必须在内存中完成？如前所述，磁盘寻道次数极大地影响着可扩展性和性能。因此，应在最大限度减少磁盘寻道次数的意义上灵活运用内存。此外，还应充分利用局部性的分布式。

       2、“使用能应对数据量增加的算法”。单纯使用线性搜索的话，1000万条数据就要计算1000万次，而使用对数据级的算法，只需几十次就可以完成。例如：线性搜索--->二叉树搜索； O(n)--->O(log n)

       3、有时可以利用数据压缩和搜索等技术。通过压缩等方法缩小数据，以减少寻道次数，使磁盘读取次数降到最低，而且更容易缓存到内存中。太大的数据无法放入内存，就算保存到磁盘上，读取也要花费时间，所以压缩十分重要。