python培训对《Python for Data Analysis》的笔记(32)

Why Python for data analysis? Python具有很强的魅力，很容易使人很快的喜欢上她！从91年开始Python就成为广受喜爱的动态编程语言(?随提的)Python和Ruby近些年比较火（国内如何？）尤其是Django、Rails等web构架的流行促使更多人学习使用Python和Ruby。 Python和Ruby还有Perl业内常称做脚本语言，他们能够用最短小的代码或脚本完成最优美的功能。作者不太喜欢用脚本语言来界定Python因为脚本语言言外之意是说Python等语言能力单薄无法胜任mission-critical（重要任务？）构建大型软件系统。 近些年无论是工业级应用还是科研Python已被广泛采用。 用Python做大数据分析就不可避免的要和其他开源软件以及R、Matlab等工具进行一下对比，无论是数据分析、计算、可视化，Python都不逊于上述各类软件或工具。 Python as Glue Python的成功一部分归功于其能很好的集成（支持）C、C++、Fortran语言代码。（Python 的底层是用 C 语言写的，很多标准库和第三方库也都是用 C 写的，运行速度非常快。）部分程序可以用C或C++编写，然后在Python程序中使用它们。

Python语言擅长进行各类科学计算，可以用Python构建一些通用系统，但Python也不是万能的，也有他不擅长做的事情。 Python像Java 一样是解释性的语言，这一点决定了他运行其来总体上说会比编译型代码要消耗更多的CPU,程序员会更加具体需求来折中选择用还是不用Python的。 Python不太擅长处理并行、多线程应用。GIL(Global Interpreter Lock)限制解释器在一个指令访问时间内只能访问一个Python字节码。但并不是说Python不支持多线程、并行处理，Cpython集成了OpenMP大大提高了Python并行处理能力。

What is this book about? 本书主要讨论在Python下如何处理、管理、清除数据，一并介绍了在Python下如何进行科学计算技术。书中还介绍了Python语言和python标准库通过python提供的标准库可以有效的解决您在用Python进行大数据处理。 书中提到的“数据”泛指： 1）矩阵或者说多维数组 2）表格(类似Excel、Calc) 3）诸如SQL关系型数据库表 这些数据都可以通过Python进行相应的处理，转换成适合Python分析的数据结构，之后用Python相应的工具进行数据分析、处理，提出数据特征并用一定的结构形式表现出来，这种形式对习惯用Excel处理数据的用户来说不会陌生，能够接受。

Essential Python Lib 本节主要介绍Python用于大数据分析常用的各类库。 Numpy Python下专用的数值计算标准模块库,包括： 1、一个强大的N维数组对象Array； 2、比较成熟的（广播）函数库； 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy配合使用更加方便。 5、线性计算 Numpy的数组是Python下一个强大的数据分类、管理手段高级工具。Numpy底层是用C语言编写的。 Pandas Python下的Pandas模块可以快速、高效的对大数据进行处理。本书后续章节多出使用Pandas模块进行大数据处理和分析，常使用pandas里的dataframe对象，类似Excel二维表单结构，采用行列展示输出结果。Pandas和Numpy的结合使得pandas有能力处理二维表单或数据库表单。 Pandas在金融行业的数据处理更加得心应手，事实上pandas设计之初就是为了处理金融方面的数据分析。

matplotlab matplotlib类似于matlab软件，是Python下的2维数据可视化软件，集成在了Python的IPython里了。用matplotlib画的图表具有很强的交互性，可用工具栏上的缩放按钮进行缩放局部图表。 IPython 多本图书里都推荐使用IPython学习Python语言，可谓是Python-Shell工具的增强版本，可在IPython快速的写、调试代码。作者常用并推荐使用IPython进行编写代码、调试代码。IPython除了能在终端里使用外还可以通过HTML Notebook来使用。

Scipy Scipy包含许多科学计算工具包，如： 1）微积分数学工具包 2）线性代数工具包，线性代数函数、矩阵分解工具 3）最优化控制 4）信号处理工具包 5）稀疏矩阵和稀疏线性系统工具包 6）密度函数、滤波、连续分布函数等 Installation and setup 每个用户使用PYthon都有各自的目的，安装的Pytonn开发版本也不太一样，但每个用户的Python学习环境不径相同，为了更好的学习本书，作者建议选： 1）EPD（http://www.enthought.com） 2)Python(x,y) 这两个发行版本作为自己学习Python大数据学习的学习环境。除了安装Python2.7以外读者在学习本书时，还需安装Numpy、Scipy、matplot、IPython、pandas、tornado、pyzmq等工具包。

Windows下安装EPD 读者可以从http://www.enthought.com下载epd_free-7.3.1-win-x86软件包完成学习环境的安装，默认安装即可。 安装完毕以后需要检测一下是否正确安装了Python大数据分析的学习环境，可以进入windows的Dos环境（开始->cmd->python）如何出现python的版本信息即说明读者已经正确安装完毕学习环境了。 https://www.enthought.com/products/epd/ EPD现在已经升级成Canopy了。https://www.enthought.com/products/canopy/

在安装了EPD学习环境后读者需要安装Pandas，读者可以从pypi.python.org/pypi/pandas页面下在pandas安装包，（https://pypi.python.org/packages/2.7/p/pandas/pandas-0.12.0.win32-py2.7.exe#md5=80b0b9b891842ef4bdf451ac07b368e5） 在EPD和pandas安装好以后，windows用户可以在dos环境下启动Python --pylab环境，之后键入import pandas和plot(aranger(10))等指令，如果有弹出窗口并有图表出现的话证明读者已经正确安装了本书的学习环境了。

苹果计算机下安装学习环境EPD 苹果计算机的读者首先需要安装XCode，为了学习本书，还需安装GCC的c和C++编译器，需要测试一下在终端里键入gcc回车看看是否有gcc版本信息输出，如果有，证明gcc安装成功。 XCode和Gcc安装完毕后需要下载EPD了epd_free-7.3.1-macosx-i386.dmg,在苹果计算机里加载.dmg文件，之后双击.mpkg文件开始安装。 epd安装完毕后需要安装pandas，在终端里键入easy_install pandas进行pandas的安装。 测试学习环境是否正确安装了，可参考windows下测试方法。 1） ipython --pylab 2) import pandas 3) plot(arrange(10))

Linux下安装EPD学习环境 Linux下安装EPD需要下载一个脚本文件：epd_free-7.3.1-i86.sh 在EPD安装完毕后需要调用sudo aptitude install gcc安装gcc，之后就是安装pandas了。 测试和苹果、windows步骤一致。