Python和Excel的常用操作汇总

　　在以前，商业分析对应的英文单词是Business Analysis，大家用的分析工具是Excel，后来数据量大了，Excel应付不过来了(Excel最大支持行数为1048576行)，人们开始转向python和R这样的分析工具了，这时候商业分析对应的单词是Business Analytics。

　　其实python和Excel的使用准则一样，都是[We don't repeat ourselves]，都是尽可能用更方便的操作替代机械操作和纯体力劳动。

　　用python做数据分析，离不开著名的pandas包，经过了很多版本的迭代优化，pandas现在的生态圈已经相当完整了，官网还给出了它和其他分析工具的对比：

　　本文用的主要也是pandas，绘图用的库是plotly，实现的Excel的常用功能有：

　　Python和Excel的交互

　　vlookup函数

　　数据透视表

　　绘图

　　以后如果发掘了更多Excel的功能，会回来继续更新和补充。开始之前，首先按照惯例加载pandas包：

　　Python和Excel的交互

　　pandas里最常用的和Excel I/O有关的四个函数是read_csv/ read_excel/ to_csv/ to_excel，它们都有特定的参数设置，可以定制想要的读取和导出效果。

　　比如说想要读取这样一张表的左上部分：

　　可以用pd.read_excel("test.xlsx", header=1, nrows=17, usecols=3)，返回结果：

　　输出函数也同理，使用多少列，要不要index，标题怎么放，都可以控制。

　　vlookup函数

　　vlookup号称是Excel里的神器之一，用途很广泛，下面的例子来自豆瓣，VLOOKUP函数最常用的10种用法，你会几种?

　　案例一

　　问题：A3:B7单元格区域为字母等级查询表，表示60分以下为E级、60~69分为D级、70~79分为C级、80~89分为B级、90分以上为A级。D:G列为初二年级1班语文测验成绩表，如何根据语文成绩返回其字母等级?

　　方法：在H3:H13单元格区域中输入=VLOOKUP(G3, 3:7, 2)

　　python实现：

　　案例二

　　问题：在Sheet1里面如何查找折旧明细表中对应编号下的月折旧额?(跨表查询)

　　方法：在Sheet1里面的C2:C4单元格输入 =VLOOKUP(A2, 折旧明细表!AG$12, 7, 0)

　　python实现：使用merge将两个表按照编号连接起来就行

　　案例三

　　问题：类似于案例二，但此时需要使用近似查找

　　方法：在B2:B7区域中输入公式=VLOOKUP(A2&"*", 折旧明细表!B2:G12, 6, 0)

　　python实现：这个比起上一个要麻烦一些，需要用到一些pandas的使用技巧

　　案例四

　　问题：在Excel中录入数据信息时，为了提高工作效率，用户希望通过输入数据的关键字后，自动显示该记录的其余信息，例如，输入员工工号自动显示该员工的信命，输入物料号就能自动显示该物料的品名、单价等。

　　如图所示为某单位所有员工基本信息的数据源表，在“2010年3月员工请假统计表”工作表中，当在A列输入员工工号时，如何实现对应员工的姓名、身份证号、部门、职务、入职日期等信息的自动录入?

　　方法：使用VLOOKUP+MATCH函数，在“2010年3月员工请假统计表”工作表中选择B3:F8单元格区域，输入下列公式=IF(A3="","",VLOOKUP(A3,员工基本信息!A:H,MATCH(B2,员工基本信息!2:$2,0),0))，按下【Ctrl+Enter】组合键结束。

　　python实现：上面的Excel的方法用得很灵活，但是pandas的想法和操作更简单方便些

　　案例五

　　问题：用VLOOKUP函数实现批量查找，VLOOKUP函数一般情况下只能查找一个，那么多项应该怎么查找呢?如下图，如何把张一的消费额全部列出?

　　方法：在C9：C11单元格里面输入公式=VLOOKUP(B$9&ROW(A1),IF({1,0},$B$2:$B$6&COUNTIF(INDIRECT("b2:b"&ROW($2:$6)),B$9),$C$2:$C$6),2,)，按SHIFT+CTRL+ENTER键结束。

　　python实现：vlookup函数有两个不足(或者算是特点吧)，一个是被查找的值一定要在区域里的第一列，另一个是只能查找一个值，剩余的即便能匹配也不去查找了，这两点都能通过灵活应用if和indirect函数来解决，不过pandas能做得更直白一些。

　　数据透视表

　　数据透视表是Excel的另一个神器，本质上是一系列的表格重组整合的过程。这里用的案例来自知乎，Excel数据透视表有什么用途：(https://www.zhihu.com/question/22484899/answer/39933218 )

　　问题：需要汇总各个区域，每个月的销售额与成本总计，并同时算出利润

　　通过Excel的数据透视表的操作最终实现了下面这样的效果：

　　python实现：对于这样的分组的任务，首先想到的就是pandas的groupby，代码写起来也简单，思路就是把刚才Excel的点鼠标的操作反映到代码命令上：

　　也可以使用pandas里的pivot_table函数来实现：

　　pandas的pivot_table的参数index/ columns/ values和Excel里的参数是对应上的(当然，我这话说了等于没说，数据透视表里不就是行/列/值吗还能有啥。)

　　但是我个人还是更喜欢用groupby，因为它运算速度非常快。我在打kaggle比赛的时候，有一张表是贷款人的行为信息，大概有2700万行，用groupby算了几个聚合函数，几秒钟就完成了。

　　groupby的功能很全面，内置了很多aggregate函数，能够满足大部分的基本需求，如果你需要一些其他的函数，可以搭配使用apply和lambda。

　　不过pandas的官方文档说了，groupby之后用apply速度非常慢，aggregate内部做过优化，所以很快，apply是没有优化的，所以建议有问题先想想别的方法，实在不行的时候再用apply。

　　我打比赛的时候，为了生成一个新变量，用了groupby的apply，写了这么一句：ins['weight'] = ins[['SK_ID_PREV'， 'DAYS_ENTRY_PAYMENT']].groupby('SK_ID_PREV').apply(lambda x: 1-abs(x)/x.sum().abs()).iloc[:,1]，1000万行的数据，足足算了十多分钟，等得我心力交瘁。

　　绘图

　　因为Excel画出来的图能够交互，能够在图上进行一些简单操作，所以这里用的python的可视化库是plotly，案例就用我这个学期发展经济学课上的作业吧，当时的图都是用Excel画的，现在用python再画一遍。开始之前，首先加载plotly包。

　　柱状图

　　当时用Excel画了很多的柱状图，其中的一幅图是

　　下面用plotly来画一下

　　雷达图

　　用Excel画的：

　　用python画的：

　　画起来比Excel要麻烦得多。

　　总体而言，如果画简单基本的图形，用Excel是最方便的，如果要画高级一些的或者是需要更多定制化的图形，使用python更合适。