Pandas的主要数据结构是DataFrame。它将一个二维数组与它的行和列的标签捆绑在一起。它由一系列对象组成(具有共享索引)，每个对象表示一列，可能具有不同的dtype。

读写CSV文件

构造DataFrame的一种常用方法是读取csv(逗号分隔值)文件，如下图所示：

pd.read_csv()函数是一个完全自动化且可疯狂定制的工具。如果你只想学习Pandas的一件事，那就学习使用read_csv——它会有回报的：)。

下面是一个解析非标准的.csv文件的例子：

以及一些简要描述：

因为CSV没有严格的规范，所以有时需要一些试错才能正确地阅读它。read_csv最酷的地方在于它会自动检测很多东西：

列名和类型
布尔值的表示
缺失值的表示等。
与其他自动化一样，你最好确保它做了正确的事情。如果在Jupyter单元中简单地编写df的结果碰巧太长(或太不完整)，您可以尝试以下操作：
df.head(5)或df[:5]显示前5行
df.dtypes返回列的类型
df.shape返回行数和列数
Df.info()汇总所有相关信息
将一列或几列设置为索引是一个好主意。下图展示了这个过程：

Index在Pandas中有很多用途：
算术运算按索引对齐
它使按该列进行的查找更快，等等。
所有这些都是以较高的内存消耗和不太明显的语法为代价的。

构建DataFrame

另一种选择是从内存中已经存储的数据中构建一个dataframe。它的构造函数非常全能，可以转换(或包装)任何类型的数据：

在第一种情况下，在没有行标签的情况下，Pandas用连续的整数标记行。在第二种情况下，它对行和列都进行了相同的操作。为Pandas提供列的名称总是一个好主意，而不是整数标签(使用columns参数)，有时也可以提供行(使用index参数，尽管rows听起来可能更直观)。这张图片会有帮助：

不幸的是，无法在DataFrame构造函数中为索引列设置名称，所以唯一的选择是手动指定，例如，df.index.name = '城市名称'

下一种方法是使用NumPy向量组成的字典或二维NumPy数组构造一个DataFrame：

请注意，在第二种情况下，人口数量的值被转换为浮点数。实际上，它在之前的构建NumPy数组时就发生过。这里需要注意的另一件事是，从2D NumPy数组构建dataframe默认是视图。这意味着改变原始数组中的值会改变dataframe，反之亦然。另外，它节省了内存。

第一种情况(NumPy向量组成的字典)也可以启用这种模式，设置copy=False即可。不过，它非常脆弱。简单的操作就可以把它变成副本而不需要通知。

另外两个(不太有用的)创建DataFrame的选项是：

从一个dict列表(其中每个dict表示一行，其键是列名，其值是相应的单元格值)
来自由Series组成的dict(其中每个Series表示一列;默认情况下，可以让它返回一个copy=False的视图)。
如果你“动态”注册流数据，最好的选择是使用列表的dict或列表的列表，因为Python会透明地在列表末尾预分配空间，以便快速追加。NumPy数组和Pandas dataframes都不能做到这一点。另一种可能性(如果你事先知道行数)是用DataFrame(np.zeros)之类的东西手动预分配内存。

DataFrames的基本操作

DataFrame最好的地方(在我看来)是你可以：

轻松访问其列，如d.area返回列值(或者df['Area']——适用于包含空格的列名)
将列作为自变量进行操作，例如使用afterdf. population /= 10**6人口以百万计存储，下面的命令根据现有列中的值创建一个名为density的新列。更多信息见下图：
注意，创建新列时，即使列名中不包含空格，也必须使用方括号。
此外，你可以对不同dataframe中的列使用算术操作，只要它们的行具有有意义的标签，如下所示：

索引DataFrames

正如我们在本系列中已经看到的，普通的方括号不足以满足索引的所有需求。你不能通过名称访问行，不能通过位置索引访问不相交的行，你甚至不能引用单个单元格，因为df['x'，'y']是为多索引保留的!

为了满足这些需求，dataframes，就像series一样，有两种可选的索引模式：按标签索引的loc和按位置索引的iloc。

在Pandas中，引用多行/多列是一个副本，而不是视图。但它是一种特殊的复制，允许赋值作为一个整体：

df.loc[‘a']=10 works (一行作为一个整体是一个可写的)
df.loc[‘a'][‘A']=10 works (元素访问传播到原始df)
df.loc[‘a':'b'] = 10 works (assigning to a subar将整个作品赋值给一个子数组)
df.loc[‘a':'b'][‘A'] = 10 doesn't (对其元素赋值不会).
在最后一种情况下，该值只会被设置在切片的副本上，而不会反映在原始df上(会相应地显示一个警告)。
根据不同的背景，有不同的解决方案：

你想要改变原始的df。然后使用df。loc['a':'b'，'a'] = 10
你故意创建了一个副本，然后想要处理这个副本:df1 = df.loc['a':'b'];df1['A']=10 # SettingWithCopy warning要在这种情况下消除警告，请使其成为一个真正的副本：df1 = df.loc['A':'b'].copy();df1 [A] = 10

Pandas还支持一种方便的NumPy语法来进行布尔索引。

当使用多个条件时，必须将它们括起来，如下所示：

当你期望返回一个值时，需要特别注意。

因为可能有多行匹配条件，所以loc返回一个序列。要从中得到标量值，你可以使用：

float(s)或更通用的s.e item()，除非序列中只有一个值，否则都会引发ValueError
S.iloc[0]，仅在没有找到时引发异常;此外，它是唯一支持赋值的函数：df[…].Iloc[0] = 100，但当你想修改所有匹配时，肯定不需要它：df[…]= 100。
或者，你可以使用基于字符串的查询：
df.query ('name = =“Vienna”)
df.query('population>1e6 and area<1000')它们更短，适合多索引，并且逻辑操作符优先于比较操作符(=需要更少的括号)，但它们只能按行过滤，并且不能通过它们修改Dataframe。
几个第三方库允许你使用SQL语法直接查询dataframe (duckdb)，或者通过将dataframe复制到SQLite并将结果包装回Pandas objects (pandasql)来间接查询dataframe。不出所料，直接法更快。

DataFrame算术

你可以对dataframes、series和它们的组合应用普通操作，如加、减、乘、除、求模、幂等。

所有的算术运算都是根据行标签和列标签对齐的：

在dataframe和Series之间的混合操作中，Series(天知道为什么)表现得(和广播)像一个行向量，并相应地对齐：

可能是为了与列表和一维NumPy向量保持一致(它们不按标签对齐，并被认为是一个简单的二维NumPy数组的DataFrame)：

因此，在不太幸运(也是最常见的!)的情况下，将一个dataframe除以列向量序列，你必须使用方法而不是操作符，如下所示：

由于这个有问题的决定，每当你需要在dataframe和列式序列之间执行混合操作时，你必须在文档中查找它(或记住它)：

结合DataFrames

Pandas有三个函数，concat、merge和join，它们做同样的事情：将来自多个dataframe的信息合并为一个。但是每个工具的实现方式都略有不同，因为它们是为不同的用例量身定制的。

垂直叠加

这可能是将两个或多个dataframe合并为一个的最简单方法：获取第一个dataframe中的行，并将第二个dataframe中的行追加到底部。为了使其工作，这两个dataframe需要(大致)具有相同的列。这类似于NumPy中的vstack，正如你在图像中所看到的：

索引中有重复的值是不好的。你可能会遇到各种各样的问题(参见下面的drop示例)。即使你不关心索引，也要尽量避免出现重复的值：

要么使用reset_index=True参数
调用df.reset_index(drop=True)将行从0重新索引到len(df)-1，
使用keys参数可以解决MultiIndex的二义性(见下文)。
如果dataframe的列不能完美匹配(不同的顺序在这里不计算在内)，Pandas可以取列的交集(默认值kind='inner')或插入nan来标记缺失值(kind='outer')：

水平叠加

concat也可以执行“水平”堆叠(类似于NumPy中的hstack)：

join比concat更可配置：特别是，它有五种连接模式，而concat只有两种。详情请参阅下面的“1:1关系连接”部分。

基于多指数的数据叠加

如果行标签和列标签一致，concat可以执行与垂直堆叠类似的多索引(就像NumPy中的dstack)：

如果行和/或列部分重叠，Pandas将相应地对齐名称，这很可能不是你想要的。下面的图表可以帮助你将这个过程可视化：

一般来说，如果标签重叠，这意味着dataframe在某种程度上彼此相关，实体之间的关系最好使用关系数据库的术语来描述。

1:1 连接的关系

当同一组对象的信息存储在几个不同的DataFrame中时，你希望将它们合并为一个DataFrame。

如果要合并的列不在索引中，则使用merge。

它所做的第一件事是丢弃索引中的任何内容。然后执行联结操作。最后，将结果从0重新编号为n-1。

如果列已经在索引中，则可以使用join(这只是merge的别名，将left_index或right_index设置为True，并设置不同的默认值)。

从这个简化的例子中可以看出(参见上面的全外连接)，与关系型数据库相比，Pandas对行顺序的处理相当轻松。左外联结和右外联结比内外联结更容易预测(至少在需要合并的列中有重复值之前是这样)。因此，如果你想保证行顺序，就必须显式地对结果进行排序。

1:n 连接的关系

这是数据库设计中使用最广泛的关系，表A中的一行(例如“State”)可以与表B中的几行(例如城市)相关联，但表B中的每一行只能与表A中的一行相关联(即一个城市只能处于一种状态，但一个状态由多个城市组成)。

就像1:1关系一样，在Pandas中连接一对1:n相关的表，你有两种选择。如果要合并的列或者不在索引中，并且可以丢弃碰巧在两张表的索引中都存在的列，则使用merge。下面的例子会有所帮助：

正如看到的，merge对行顺序的处理没有Postgres严格：所有声明的语句，保留的键顺序只适用于left_index=True和/或right_index=True(这就是join的别名)，并且只在要合并的列中没有重复值的情况下。这就是为什么join有一个sort参数。

现在，如果要合并的列已经在右侧DataFrame的索引中，可以使用join(或者merge with right_index=True，这是完全相同的事情)：

这次Pandas保留了左DataFrame的索引值和行顺序。

注意：如果第二个表有重复的索引值，最终将在结果中得到重复的索引值，即使左表索引是唯一的!

有时，合并的dataframe具有同名的列。merge和join都有解决二义性的方法，但语法略有不同(默认情况下merge会用_x， _y来解决，而join会抛出异常)，如下图所示：

总结：

合并非索引列上的连接，连接要求列被索引
merge丢弃左DataFrame的索引，join保留它
默认情况下，merge执行内联结，join执行左外联结
合并不保持行顺序
Join可以保留它们(有一些限制)
join是合并的别名，left_index=True和/或right_index=True

多个连接

如上所述，当对两个dataframe(如df.join(df1))运行join时，它充当了合并的别名。但是join也有一个multiple join模式，它只是concat(axis=1)的别名。

与普通模式相比，该模式有一些限制：

它没有提供解析重复列的方法
它只适用于1:1关系(索引到索引连接)。
因此，多个1:n关系应该一个接一个地连接。仓库panda -illustrated也提供了一个辅助方法，如下所示：

pdi.join是Join的一个简单包装器，它接受on、how和后缀参数，以便您可以在一个命令中进行多个联结。与原始的关联操作一样，关联的是属于第一个DataFrame的列，其他DataFrame根据它们的索引进行关联操作。

插入和删除

由于DataFrame是列的集合，因此将这些操作应用到行上比应用到列上更容易。例如，插入一列总是在原地完成，而插入一行总是会生成一个新的DataFrame，如下所示：

删除列通常不用担心，除了del df['D']和del df。D则没有(Python级别的限制)。

使用drop删除行非常慢，如果原始标签不是唯一的，可能会导致复杂的bug。下图将帮助解释这个概念：

一种解决方案是使用ignore_index=True，它告诉concat在连接后重置行名称：

在这种情况下，将name列设置为索引将有所帮助。但对于更复杂的滤波器，它不会。

另一种快速、通用、甚至可以处理重复行名的解决方案是索引而不是删除。为了避免显式地否定条件，写了一个(只有一行代码的)自动化程序。

分组

这个操作已经在Series部分详细描述过了。但是DataFrame的groupby在此基础上有一些特定的技巧。

首先，你可以使用一个名称来指定要分组的列，如下图所示：

如果没有as_index=False, Pandas将进行分组的列指定为索引。如果这不是我们想要的，可以使用reset_index()或指定as_index=False。

通常，数据框中的列比你想在结果中看到的多。默认情况下，Pandas会对所有远端可求和的东西进行求和，因此你需要缩小选择范围，如下所示：

注意，当对单个列求和时，你将得到一个Series而不是DataFrame。如果出于某种原因，你想要一个DataFrame，你可以：

使用双括号：df.groupby('product')[['quantity']].sum()
显式转换：df.groupby('product')['quantity'].sum().to_frame()
切换到数值索引也会创建一个DataFrame：
df.groupby('product', as_index=False)['quantity'].sum()
df.groupby('product')['quantity'].sum().reset_index()

但是，尽管外观不寻常，Series的行为就像DataFrames一样，所以可能对pdi.patch_series_repr()进行“整容”就足够了。

显然，不同的列在分组时表现不同。例如，对数量求和完全没问题，但对价格求和就没有意义了。使用。agg可以为不同的列指定不同的聚合函数，如下图所示：

或者，你可以为一列创建多个聚合函数：

或者，为了避免繁琐的列重命名，你可以这样做：

有时，预定义的函数不足以产生所需的结果。例如，在平均价格时使用权重会更好。你可以为此提供一个自定义函数。与Series不同的是，该函数可以访问组中的多个列(它以子dataframe作为参数)，如下所示：

不幸的是，你不能把预定义的聚合和几个列级的自定义函数结合在一起，比如上面的那个，因为agg只接受单列级的用户函数。单列范围的用户函数唯一可以访问的是索引，这在某些情况下很方便。例如，那天香蕉以5折的价格出售，如下图所示：

为了从自定义函数中访问group by列的值，它事先已经包含在索引中。

通常，定制最少的函数可以获得最好的性能。为了提高速度：

通过g.apply()实现多列范围的自定义函数
通过g.agg()实现单列范围的自定义函数(支持使用Cython或Numba进行加速)
预定义函数(Pandas或NumPy函数对象，或其字符串名称)。
预定义函数(Pandas或NumPy函数对象，或其字符串名称)。
数据透视表(pivot table)是一种有用的工具，通常与分组一起使用，从不同的角度查看数据。

旋转和反旋转

假设你有一个变量a，它依赖于两个参数i和j。有两种等价的方法将它表示为一个表：

当数据是“密集的”(当有很少的0元素)时，short格式更合适，而当数据是“稀疏的”(大多数元素为0，可以从表中省略)时，long格式更好。当有两个以上的参数时，情况会变得更加复杂。

当然，应该有一种简单的方法来转换这些格式。Pandas为此提供了一个简单方便的解决方案：数据透视表。

作为一个不那么抽象的例子，考虑下表中的销售数据。有两个客户购买了两种产品的指定数量最初，这个数据是短格式的。要将其转换为长格式`，请使用df.pivot：

该命令丢弃了与操作无关的任何信息(索引、价格)，并将来自三个请求列的信息转换为长格式，将客户名称放入结果的索引中，将产品名称放入列中，将销售数量放入DataFrame的body中。

至于相反的操作，你可以使用stack。它将索引和列合并到MultiIndex中：

另一种选择是使用melt：

注意，melt以不同的方式对结果行进行排序。

Pivot丢失了结果的body的名称信息，因此无论是stack还是melt，我们都必须提醒pandas quantity列的名称。

在上面的例子中，所有的值都存在，但这不是必须的：

分组值然后旋转结果的做法是如此常见，以至于groupby和pivot被捆绑在一个专用的函数(以及相应的DataFrame方法)数据透视表中：

如果没有columns参数，它的行为与groupby类似
当没有重复的行进行分组时，它的工作原理与pivot类似
否则，它会进行分组和旋转

aggfunc参数控制哪一个聚合函数应该用于分组行(默认为均值)。

为了方便，pivot_table可以计算小计和合计：

一旦创建，pivot表就变成了一个普通的DataFrame，因此可以使用前面描述的标准方法查询它。

当使用多索引时，透视表特别方便。已经见过很多Pandas函数返回多索引DataFrame的例子。仔细看看。

总而言之，Pandas是分析和处理数据的好工具。希望这篇文章能帮助你理解“如何”和“为什么”解决典型问题，并欣赏Pandas库的真正价值和美丽。