import numpy as np
import pandas as pd
df = pd.read_csv('data/table.csv')
df.head()

df_append = df.loc[:3,['Gender','Height']].copy()
s = pd.Series({'Gender':'F','Height':188},name='new_row')
df_append.append(s)

df_temp = pd.DataFrame({'Gender':['F','M'],'Height':[188,176]},index=['new_1','new_2'])
df_append.append(df_temp)

s = pd.Series(list('abcd'),index=range(4))
df_append.assign(Letter=s)

#一次添加多列
df_append.assign(col1=lambda x:x['Gender']*2,
                 col2=s)

#combine函数 
df_combine_1 = df.loc[:1,['Gender','Height']].copy() 
df_combine_2 = df.loc[10:11,['Gender','Height']].copy()
#df_combine_1.combine(df_combine_2)
df_combine_1.combine(df_combine_2,lambda x,y:print(x,y))

#根据列均值大小进行填充 x y 分别代表df1 df2 的第一列 第二列
df1 = pd.DataFrame({'A': [1, 2], 'B': [3, 4]})
df2 = pd.DataFrame({'A': [8, 7], 'B': [6, 5]})
df1.combine(df2,lambda x,y:x if x.mean()>y.mean() else y)

#索引对齐特性（既指行索引也指列索引）（默认状态下，后面的表没有的行列都会设置为NaN）¶
df2 = pd.DataFrame({'B': [8, 7], 'C': [6, 5]})
df1.combine(df2,lambda x,y:x if x.mean()>y.mean() else y)

#combine_first方法 df2填补df1的缺失值
df1 = pd.DataFrame({'A': [None, 0], 'B': [None, 4]})
df2 = pd.DataFrame({'A': [1, 1], 'B': [3, 3]})
df1.combine_first(df2)

#同时可以指定索引 
df1 = pd.DataFrame({'A': [None, 0], 'B': [4, None]})
df2 = pd.DataFrame({'B': [3, 3], 'C': [1, 1]}, index=[1, 2])
df1.combine_first(df2)

#update方法 默认使用左连接
df1 = pd.DataFrame({'A': [1, 2, 3],
                    'B': [400, 500, 600]})
df2 = pd.DataFrame({'B': [4, 5, 6],
                    'C': [7, 8, 9]})
df1.update(df2)
df1

#update属性 缺失值不会填充 还是按照第一个的值
df1 = pd.DataFrame({'A': [1, 2, 3],
                    'B': [400, 500, 600]})
df2 = pd.DataFrame({'B': [4, np.nan, 6]})
df1.update(df2)
df1

#concat默认使用纵向连接 axis = 0
df1 = pd.DataFrame({'A': ['A0', 'A1'],
                    'B': ['B0', 'B1']},
                    index = [0,1])
df2 = pd.DataFrame({'A': ['A2', 'A3'],
                    'B': ['B2', 'B3']},
                    index = [2,3])
df3 = pd.DataFrame({'A': ['A1', 'A3'],
                    'D': ['D1', 'D3'],
                    'E': ['E1', 'E3']},
                    index = [1,3])

pd.concat([df1,df2])

pd.concat([df1,df2],axis = 1)

#join设置为内连接（由于axis=0，因此列取交集） 只是看列名的交集 并不是列里面值的交集、
pd.concat([df3,df1],join='inner')

#join设置为外链接 里面的sort函数设置列排序
pd.concat([df3,df1],join='outer',sort=True)

df1

pd.concat([df1,df2])

#key参数用于对不同的数据框增加一个标号，便于索引
#keys相当于设置表的title
pd.concat([df1,df2], keys=['x', 'y'])

#merge/join与concat的不同之处在于on参数，可以指定某一个对象为key来进行连接
left = pd.DataFrame({'key1': ['K0', 'K0', 'K1', 'K2'],
                     'key2': ['K0', 'K1', 'K0', 'K1'],
                      'A': ['A0', 'A1', 'A2', 'A3'],
                      'B': ['B0', 'B1', 'B2', 'B3']}) 
right = pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'],
                      'key2': ['K0', 'K0', 'K0', 'K0'],
                      'C': ['C0', 'C1', 'C2', 'C3'],
                      'D': ['D0', 'D1', 'D2', 'D3']})
right2 = pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'],
                      'key2': ['K0', 'K0', 'K0', 'K0'],
                      'C': ['C0', 'C1', 'C2', 'C3']})

#返回的是左右两边都存在时发的结果 merge默认使用的是内连接 完全重复的不会返回？ 
pd.merge(left, right, on='key1')

left

right

pd.merge(left, right, on=['key1','key2'])

right = pd.DataFrame({'A': [4, 5, 6], 'B': [2, 3, 4]})
left = pd.DataFrame({'A': [1, 2], 'B': [2, 1]})

left = pd.DataFrame({'A': [1, 2], 'B': [2, 1]})
pd.merge(left, right, on='B', how = 'outer',validate='one_to_one')

#indicator参数指示了，合并后该行索引的来源
df1 = pd.DataFrame({'col1': [0, 1], 'col_left': ['a', 'b']})
df2 = pd.DataFrame({'col1': [1, 2, 2], 'col_right': [2, 2, 2]})
pd.merge(df1, df2, on='col1', how='outer', indicator=True)

#join函数默认使用的是左连接
left = pd.DataFrame({'A': ['A0', 'A1', 'A2'],
                     'B': ['B0', 'B1', 'B2']},
                    index=['K0', 'K1', 'K2'])
right = pd.DataFrame({'C': ['C0', 'C2', 'C3'],
                      'D': ['D0', 'D2', 'D3']},
                    index=['K0', 'K2', 'K3'])
left.join(right)

#对于多对一模式下的合并 使用join比较方便 因为其默认使用左连接？
left = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
                     'B': ['B0', 'B1', 'B2', 'B3'],
                     'key': ['K0', 'K1', 'K0', 'K1']})
right = pd.DataFrame({'C': ['C0', 'C1'],
                      'D': ['D0', 'D1']},
                     index=['K0', 'K1'])
left.join(right, on='key')

left = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
                     'B': ['B0', 'B1', 'B2', 'B3'],
                     'key1': ['K0', 'K0', 'K1', 'K2'],
                     'key2': ['K0', 'K1', 'K0', 'K1']})
index = pd.MultiIndex.from_tuples([('K0', 'K0'), ('K1', 'K0'),
                                   ('K2', 'K0'), ('K2', 'K1')],names=['key1','key2'])
right = pd.DataFrame({'C': ['C0', 'C1', 'C2', 'C3'],
                      'D': ['D0', 'D1', 'D2', 'D3']}, index=index)

right

#这两张表既有重复的元素 也有不重复的 总共80个员工
df1 = pd.read_csv('data/Employee1.csv')

df2 = pd.read_csv('data/Employee2.csv')

#使用到了集合 还有intersection函数
L = list(set(df1['Name']).intersection(set(df2['Name'])))
L

df_b1 = df1[~df1['Name'].isin(L)]
df_b2 = df2[~df2['Name'].isin(L)]

df_b = pd.concat([df_b1,df_b2]).set_index('Name')

df_b.head()

df_b.shape

df1 = pd.read_csv('data/Course1.csv')

df2 = pd.read_csv('data/Course2.csv')

a = ["学科基础课","专业必修课","专业选修课"]

df_a11 = df1[df1["课程类别"].isin(a)]

df_a12 = df1[~df1["课程类别"].isin(a)]

df_a21 = df2[df2["课程类别"].isin(a)]

df_a22 = df2[~df2["课程类别"].isin(a)]

common = pd.concat([df_a11,df_a21])

common

special = pd.concat([df_a12,df_a22])

special

#先使用concat函数进行合并
df = pd.concat([df1,df2])
#query函数进行判断
special2 = df.query('课程类别 in ["学科基础课","专业必修课","专业选修课"]')
common2 = df.query('课程类别 not in ["学科基础课","专业必修课","专业选修课"]')

special2.info()

#要掌握分组进行缺失值填充
df['分数'] = df.groupby('课程类别').transform(lambda x: x.fillna(x.mean()))['分数']

df

然后再进行分组，步骤同上