设为首页 - 加入收藏 天门站长网 (http://www.0728zz.com)- 国内知名站长资讯网站,提供最新最全的站长资讯,创业经验,网站建设等!
热搜: javascript wifi 互联 最佳
当前位置: 首页 > 运营中心 > 网站设计 > 教程 > 正文

一文看懂怎么用Python做数据分析

发布时间:2019-07-03 06:55 所属栏目:[教程] 来源:程序员ACE
导读:常遇到两类朋友。一类是会爬虫但不知道如何进一步做数据分析的,一类是平常用 Excel 做分析但不太会用 Python 分析的。如果和你很像,那下面这篇系统长文会很适合你,建议先收藏。 Excel 是数据分析中最常用的工具,本文通过 Python 与 excel 的功能对比介

常遇到两类朋友。一类是会爬虫但不知道如何进一步做数据分析的,一类是平常用 Excel 做分析但不太会用 Python 分析的。如果和你很像,那下面这篇系统长文会很适合你,建议先收藏。

Excel 是数据分析中最常用的工具,本文通过 Python 与 excel 的功能对比介绍如何使用 Python 通过函数式编程完成 excel 中的数据处理及分析工作。从 1787 页的 pandas 官网文档中总结出最常用的 36 个函数,通过这些函数介绍如何通过 Python 完成数据生成和导入、数据清洗、预处理、数据分类、数据筛选、分类 汇总、透视等最常见的操作。

文章内容共分为 9 个部分目录如下:

一文看懂怎么用 Python 做数据分析

01 生成数据表

第一部分是生成数据表,常见的生成方法有两种,第一种是导入外部数据,第二种是直接写入数据。 Excel 中的文件菜单中提供了获取外部数据的功能,支持数据库和文本文件和页面的多种数据源导入。

一文看懂怎么用 Python 做数据分析

python 支持从多种类型的数据导入。在开始使用 python 进行数据导入前需要先导入 pandas 库,为了方便起见,我们也同时导入 numpy 库。

  1. import numpy as np 
  2. import pandas as pd 

导入数据表

下面分别是从 excel 和 csv 格式文件导入数据并创建数据表的方法。代码是最简模式,里面有很多可选参数设置,例如列名称,索引列,数据格式等等。感兴趣的朋友可以参考 pandas 的

官方文档。

  1. df=pd.DataFrame(pd.read_csv('name.csv',header=1)) 
  2. df=pd.DataFrame(pd.read_excel('name.xlsx')) 

创建数据表

另一种方法是通过直接写入数据来生成数据表,excel 中直接在单元格中输入数据就可以,python 中通过下面的代码来实现。生成数据表的函数是 pandas 库中的 DateFrame 函数,数据表一共有 6 行数据,每行有 6 个字段。在数据中我们特意设置了一些 NA 值和有问题的字段,例如包含空格等。后面将在数据清洗步骤进行处理。后面我们将统一以 DataFrame 的简称 df 来命名数据表。

  1. df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006], 
  2.                    "date":pd.date_range('20130102', periods=6), 
  3.                    "city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '], 
  4.                    "age":[23,44,54,32,34,32], 
  5.                    "category":['100-A','100-B','110-A','110-C','210-A','130-F'], 
  6.                    "price":[1200,np.nan,2133,5433,np.nan,4432]}, 
  7.                    columns =['id','date','city','category','age','price']) 

这是刚刚创建的数据表,我们没有设置索引列,price 字段中包含有 NA 值,city 字段中还包含了一些脏数据。

一文看懂怎么用 Python 做数据分析

02 数据表检查

第二部分是对数据表进行检查,python 中处理的数据量通常会比较大,比如我们之前的文章中介绍的纽约出租车数据和 Citibike 的骑行数据,数据量都在千万级,我们无法一目了然的 了解数据表的整体情况,必须要通过一些方法来获得数据表的关键信息。数据表检查的另一个目的是了解数据的概况,例如整个数据表的大小,所占空间,数据格式,是否有空值和重复项和具体的数据内容。为后面的清洗和预处理做好准备。

数据维度(行列)

Excel 中可以通过 CTRL+向下的光标键,和 CTRL+向右的光标键来查看行号和列号。Python 中使用 shape 函数来查看数据表的维度,也就是行数和列数,函数返回的结果(6,6)表示数据表有 6 行,6 列。下面是具体的代码。

  1. #查看数据表的维度 
  2. df.shape 
  3. (6, 6) 

数据表信息

使用 info 函数查看数据表的整体信息,这里返回的信息比较多,包括数据维度,列名称,数据格式和所占空间等信息。

  1. #数据表信息 
  2. df.info() 
  3.   
  4. <class 'pandas.core.frame.DataFrame'> 
  5. RangeIndex: 6 entries, 0 to 5 
  6. Data columns (total 6 columns): 
  7. id          6 non-null int64 
  8. date        6 non-null datetime64[ns] 
  9. city        6 non-null object 
  10. category    6 non-null object 
  11. age         6 non-null int64 
  12. price       4 non-null float64 
  13. dtypes: datetime64[ns](1), float64(1), int64(2), object(2) 
  14. memory usage: 368.0+ bytes 

查看数据格式

【免责声明】本站内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

网友评论
推荐文章