数据分析—数据处理工具pandas（三）
四、数值计算和统计基础
1.基本参数：axis、skipna
import numpy as np
import pandas as pd
df = pd.DataFrame({'key1':[4,5,3,np.nan,2], # 不是基本类型的元素会记为NaN
'key2':[1,2,np.nan,4,5],
'key3':[1,2,3,'j','k']}, # 不一样的类型，会向大的类型转换
index = ['a','b','c','d','e'])
print(df)
m = df.mean() # 求每列的平均值
print(m, type(m)) # 对每一列求平均值(非数字的不计算在内，比如字符串)，为NaN的当作不存在（不做加数也不做除数），然后将结果和列名组成Series
# 单独统计某一列
print('单独统计一列:', df['key2'].mean())
# axis参数：默认为0，以列来计算，axis=1，以行来计算，这里就按照行来汇总了
print(df.mean(axis=1)) # 也可以先转置，用mean()，再转置
# skipna参数：是否忽略NaN，默认True，如False，有NaN的列统计结果仍未NaN
print(df.mean(skipna=False))
# 结果：
key1 key2 key3
a 4.0 1.0 1
b 5.0 2.0 2
c 3.0 NaN 3
d NaN 4.0 j
e 2.0 5.0 k
key1 3.5
key2 3.0
dtype: float64 <class 'pandas.core.series.Series'>
单独统计一列: 3.0
a 2.5
b 3.5
c 3.0
d 4.0
e 3.5
dtype: float64
key1 NaN
key2 NaN
dtype: float64
2.主要数学计算方法，可用于Series和DataFrame（1）
df = pd.DataFrame({'key1':np.arange(10),
'key2':np.random.rand(10)*10})
print(df)
print('-----')
print(df.count(),'→ count统计非Na值的数量\n')
print(df.min(),'→ min统计最小值\n',df['key2'].max(),'→ max统计最大值\n')
print(df.quantile(q=0.75),'→ quantile统计分位数，参数q确定位置\n')
print(df.sum(),'→ sum求和\n')
print(df.mean(),'→ mean求平均值\n')
print(df.median(),'→ median求算数中位数，50%分位数\n')
print(df.std(),'\n',df.var(),'→ std,var分别求标准差，方差\n')
print(df.skew(),'→ skew样本的偏度\n')
print(df.kurt(),'→ kurt样本的峰度\n')
# 以上都可以用axis、skipna参数调整
# 结果：
key1 key2
0 0 0.221860
1 1 5.431973
2 2 2.416677
3 3 4.770743
4 4 8.675935
5 5 7.304455
6 6 9.634564
7 7 8.857369
8 8 5.373542
9 9 3.293329
-----
key1 10
key2 10
dtype: int64 → count统计非Na值的数量
key1 0.00000
key2 0.22186
dtype: float64 → min统计最小值
9.634563862337554 → max统计最大值
key1 6.750000
key2 8.333065
Name: 0.75, dtype: float64 → quantile统计分位数，参数q确定位置
key1 45.000000
key2 55.980447
dtype: float64 → sum求和
key1 4.500000
key2 5.598045
dtype: float64 → mean求平均值
key1 4.500000
key2 5.402758
dtype: float64 → median求算数中位数，50%分位数
key1 3.027650
key2 3.062325
dtype: float64
key1 9.166667
key2 9.377834
dtype: float64 → std,var分别求标准差，方差
key1 0.000000
key2 -0.318676
dtype: float64 → skew样本的偏度
key1 -1.200000
key2 -0.757927
dtype: float64 → kurt样本的峰度
3.主要数学计算方法，可用于Series和DataFrame（2）
df = pd.DataFrame({
'key1': np.arange(5),
'key2': np.arange(10, 15)
})
print(df)
print(df.cumsum())
# 样本值的累计和，依次向上累计
print('---样本值的累计和')
df['key_s1'] = df['key1'].cumsum()
df['key_s2'] = df['key2'].cumsum()
print(df)
print('----样本值的累计积')
df['key_s3'] = df['key1'].cumprod()
df['key_s4'] = df['key2'].cumprod()
print(df)
# 结果：
key1 key2
0 0 10
1 1 11
2 2 12
3 3 13
4 4 14
key1 key2
0 0 10
1 1 21
2 3 33
3 6 46
4 10 60
---样本值的累计和
key1 key2 key_s1 key_s2
0 0 10 0 10
1 1 11 1 21
2 2 12 3 33
3 3 13 6 46
4 4 14 10 60
----样本值的累计积
key1 key2 key_s1 key_s2 key_s3 key_s4
0 0 10 0 10 0 10
1 1 11 1 21 0 110
2 2 12 3 33 0 1320
3 3 13 6 46 0 17160
4 4 14 10 60 0 240240
4.唯一值：.unique()
s = pd.Series(list('abacgg'))
sq = s.unique() # 去掉后面重复的value
print(s)
print(sq, type(sq)) # 得到一个唯一值数组
# 结果：
0 a
1 b
2 a
3 c
4 g
5 g
dtype: object
['a' 'b' 'c' 'g'] <class 'numpy.ndarray'>
注意：unique()方法只有Series有，DataFrame没有
5.值计数：.value_counts()
s = pd.Series(list('abacgg'))
sv = s.value_counts(sort=False) # 默认sout为True也就是默认会将index排序
print(sv)
# 结果：
a 2
c 1
g 2
b 1
dtype: int64
注意：value_counts()也是只能用于Series
6.成员资格：.isin()
# 就是元素是否在Series或者DataFrame中
s = pd.Series(np.arange(5))
df = pd.DataFrame({
'key1': ['ab', 'a', 'cd'],
'key2': ['b', 'bc', 'cd']
})
print(s)
print(df)
print(s.isin([4]))
print(df.isin(['c', 'a']))
# 结果：
0 0
1 1
2 2
3 3
4 4
dtype: int32
key1 key2
0 ab b
1 a bc
2 cd cd
0 False
1 False
2 False
3 False
4 True
dtype: bool
key1 key2
0 False False
1 True False
2 False False
五、文本数据
主要内容：Pandas针对字符串配备的一套方法，使其易于对数组的每个元素进行操作
1.通过str访问，且自动排除丢失/ NA值
# 通过str访问，且自动排除丢失/ NA值
# 牢记： str 是对所有的元素进行操作
s = pd.Series(['A','b','C','bbhello','123',np.nan,'hj'])
df = pd.DataFrame({'key1':list('abcdef'),
'key2':['hee','fv','w','hija','123',np.nan]})
print(s)
print(df)
print('-----')
print(s.str.count('b'))
print(df['key2'].str.upper())
print('-----')
# 直接通过.str调用字符串方法
# 可以对Series、Dataframe使用
# 自动过滤NaN值
df.columns = df.columns.str.upper()
print(df)
# df.columns是一个Index对象，也可使用.str
# 结果:
0 A
1 b
2 C
3 bbhello
4 123
5 NaN
6 hj
dtype: object
key1 key2
0 a hee
1 b fv
2 c w
3 d hija
4 e 123
5 f NaN
-----
0 0.0
1 1.0
2 0.0
3 2.0
4 0.0
5 NaN
6 0.0
dtype: float64
0 HEE
1 FV
2 W
3 HIJA
4 123
5 NaN
Name: key2, dtype: object
-----
KEY1 KEY2
0 a hee
1 b fv
2 c w
3 d hija
4 e 123
5 f NaN
注意：str只是Series有的属性，对于DataFrame没有
2.字符串常用方法（1） – lower，upper，len，startswith，endswith
s = pd.Series(['A','b','bbhello','123',np.nan])
print(s.str.lower(),'→ lower小写\n')
print(s.str.upper(),'→ upper大写\n')
print(s.str.len(),'→ len字符长度\n')
print(s.str.startswith('b'),'→ 判断起始是否为a\n')
print(s.str.endswith('3'),'→ 判断结束是否为3\n')
# 结果：
0 a
1 b
2 bbhello
3 123
4 NaN
dtype: object → lower小写
0 A
1 B
2 BBHELLO
3 123
4 NaN
dtype: object → upper大写
0 1.0
1 1.0
2 7.0
3 3.0
4 NaN
dtype: float64 → len字符长度
0 False
1 True
2 True
3 False
4 NaN
dtype: object → 判断起始是否为a
0 False
1 False
2 False
3 True
4 NaN
dtype: object → 判断结束是否为3
3.字符串常用方法（2） – strip
s = pd.Series([' jack', 'jill ', ' jesse ', 'frank'])
df = pd.DataFrame(np.random.randn(3, 2), columns=[' Column A ', ' Column B '],
index=range(3))
print(s)
print(df)
print('-----')
print(s.str.strip()) # 去除字符串中的空格
print(s.str.lstrip()) # 去除字符串中的左空格
print(s.str.rstrip()) # 去除字符串中的右空格
df.columns = df.columns.str.strip()
print(df)
# 这里去掉了columns的前后空格，但没有去掉中间空格
# 结果：
0 jack
1 jill
2 jesse
3 frank
dtype: object
Column A Column B
0 -0.491619 -0.219010
1 -0.217828 0.629777
2 -1.072765 1.182866
-----
0 jack
1 jill
2 jesse
3 frank
dtype: object
0 jack
1 jill
2 jesse
3 frank
dtype: object
0 jack
1 jill
2 jesse
3 frank
dtype: object
Column A Column B
0 -0.491619 -0.219010
1 -0.217828 0.629777
2 -1.072765 1.182866
4.字符串常用方法（3） – replace
df = pd.DataFrame(np.random.randn(3, 2), columns=[' Column A ', ' Column B '],
index=range(3))
df.columns = df.columns.str.replace(' ','-')
print(df)
# 替换
df.columns = df.columns.str.replace('-','hehe',n=1) # n：替换个数
print(df)
# 结果：
-Column-A- -Column-B-
0 -0.008104 0.257773
1 -0.623774 0.721328
2 -0.060201 -0.493679
heheColumn-A- heheColumn-B-
0 -0.008104 0.257773
1 -0.623774 0.721328
2 -0.060201 -0.493679
5.字符串常用方法（4） – split、rsplit
s = pd.Series(['a,b,c','1,2,3',['a,,,c'],np.nan])
# 类似字符串的split
print(s.str.split(','))
print('-----')
# 直接索引得到一个list
print(s.str.split(',')[0])
print('-----')
print(s.str.split(',').str[0]) # str[0]可以用get(0)代替
print(s.str.split(',').str.get(1))
print('-----')
# 可以使用expand可以轻松扩展此操作以返回DataFrame
# n参数限制分割数
# rsplit类似于split，反向工作，即从字符串的末尾到字符串的开头
print(s.str.split(',', expand=True))
print(s.str.split(',', expand=True, n = 1))
print(s.str.rsplit(',', expand=True, n = 1))
# 结果：
0 [a, b, c]
1 [1, 2, 3]
2 NaN
3 NaN
dtype: object
-----
['a', 'b', 'c']
-----
0 a
1 1
2 NaN
3 NaN
dtype: object
0 b
1 2
2 NaN
3 NaN
dtype: object
-----
0 1 2
0 a b c
1 1 2 3
2 NaN NaN NaN
3 NaN NaN NaN
0 1
0 a b,c
1 1 2,3
2 NaN NaN
3 NaN NaN
0 1
0 a,b c
1 1,2 3
2 NaN NaN
3 NaN NaN
6.字符串索引
s = pd.Series(['A','b','C','bbhello','123',np.nan,'hj'])
df = pd.DataFrame({'key1':list('abcdef'),
'key2':['hee','fv','w','hija','123',np.nan]})
print(s.str[0]) # 取第一个字符串
print(s.str[:2]) # 取前两个字符串
print(df['key2'].str[0])
# str之后和字符串本身索引方式相同
# 结果：
0 A
1 b
2 C
3 b
4 1
5 NaN
6 h
dtype: object
0 A
1 b
2 C
3 bb
4 12
5 NaN
6 hj
dtype: object
0 h
1 f
2 w
3 h
4 1
5 NaN
Name: key2, dtype: object
7.一个值得学习的小例子
df = pd.DataFrame({'name':['jack','tom','Marry','zack','heheda'],
'gender':['M ','M',' F',' M ',' F'],
'score':['90-92-89','89-78-88','90-92-95','78-88-76','60-60-67']})
df['name'] = df['name'].str.capitalize()
df['gender'] = df['gender'].str.strip()
df['math'] = df['score'].str.split('-', expand=True)[0] # 这个值得学习
print(df)
# 结果：
name gender score math
0 Jack M 90-92-89 90
1 Tom M 89-78-88 89
2 Marry F 90-92-95 90
3 Zack M 78-88-76 78
4 Heheda F 60-60-67 60
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/84772.html
