python-for-data-重温经典

应该是第三次看《利用Python进行数据分析》这本书，经典就是经典；从内容的丰富性，实际的可操作性来看，如果想从事数据分析行业，特别是利用Python，此书真的是必读书籍。

本文主要是介绍几个重要的Python库：numpy、pandas、matplotlib、scikit-learn、statsmodels

为何利用Python进行数据分析

Python是解释性的脚本语言，快速编写小型程序、脚本实现自动化功能
Python在数据科学、交互式计算以及数据可视化等领域，应用普遍
很容易整合C、C++等语言的代码
SAS或者R：进行研究、原型实现和测试；Java、C或者C++：大型生产环境。Python能够同时实现两种功能

Python是一种解释性语言，Python解释器通过一次执行一条语句来运行程序，效率低下

Numpy

Numpy是numerical python的缩写，是Python进行数值计算的基石，主要功能是提供多种数据结构、算法和Python数值计算涉及到的接口

快速、高效的多维数组对象ndarray
基于元素的数组计算或数组间数学操作函数
线性代数操作、傅里叶变换以及随机数生成等
成熟的C语言API，允许Python扩展和本地的C代码访问Numpy的数据结构和计算设施
算法和库之间作为数据传递的数据容器

Pandas

Pandas的两个对象是$\color{red}{Series}$和$\color{red}{Dataframe}$。

Series：一种一维标签数组对象
Dataframe：实现表格化、面向列、使用行列标签的数据结构

Pandas将表格和关系型数据库的灵活操作能力与numpy的高性能数组计算能力相结合

提供索引函数：重组、切块、切片、聚合、子集
数据操作、预处理、清洗
集成时间序列函数功能
同时处理时间序列函数和非时间序列函数

pandas的最初目标是解决金融和商业分析问题，尤其擅长深度时间序列和处理商业进程中产生的时间索引数据

Matplotlib

用于制图和二维数据可视化的Python库

Scikit-learn

基于Python的$\color{red}{机器学习工具包}$，主要子模块是：

分类：SVM、最近邻、随机森林、逻辑回归等
回归：Lasso、岭回归等
聚类：k-means、谱聚类等
降维：PCA、特征选择、矩阵分解等
预处理：特征提取、正态化等

Statsmodels

Statsmodels是一个$\color{red}{统计分析包}$，主要是包含经典的统计学、经济学算法

回归模型：线性回归、通用线性模型、鲁棒线性模型等
方差分析ANOVA
时间序列分析：AR、ARMA、VAR模型等
非参数方法：核密度估计、核回归等
统计模型可视化

statmodels更加专注于统计推理，提供不确定性评价和p值参数；scikit-learn更专注于预测

Jupyter notebook

tab键和问号？

jupyter notebook是一种交互式的文档类型，用于编写代码、文本、数据可视化及其输出等

tab键补全：默认隐藏以下划线开始的方法和属性（魔术方法、内部的私有属性和方法）
内省：在一个变量的后面使用问号？，可以查看该对象的信息
双问号？？：显示函数的源代码

问号？还可以当做通配符使用。通配符主要是有两个：星号*和问号？

星号*可以代表任意字符串
问号？只能代表单个字符串，并且该字符串必须存在

%run

如果写了一个Python的脚本文件，即.py文件，可以通过%run来运行

假设创建了个test.py的文件：

def f(x,y,z):
  return (x+y)/z

a = 5
b = 6
c = 7
result = f(a,b,c)

运行如下：

1	%run test.py

如果想让脚本使用交互式环境中已有的变量，使用%run -i代替%run命令

%load

通过%load将脚本文件导入一个代码单元中

1	%load test.py

中断代码

中断代码使用ctrl+C

粘贴代码

%paste：获得剪贴板中的所有代码，在命令行中作为一个代码块直接运行

%cpaste：给出一个提示符，提示：粘贴代码；如果代码出错，可以通过ctrl+C直接中断

运行时间

通过%timeit来检查Python代码运行时间

魔术命令

凡是以%开始的都是魔术命令magic command

自动魔术：魔术命令也可以不加%百分号直接使用，只要变量没有被定义为与魔术函数相同的名字即可，这种特性称之为自动魔术，通过%automagic进行启用/禁用关。
魔术命令的输出可以赋值给一个变量
通过%quickref和%magic来查看特殊命令