pyspark.sql.DataFrameNaFunctions()
DataFrame中处理缺失值的函数
drop(how=‘any’, thresh=None, subset=None)
返回删除含有空行的DataFrame，DataFrame.dropna()和DataFrameNaFunctions.drop()是彼此的别名。
- how：'any’or ‘all’. 'any’删除包含空值的行，'all’一行中全部为空则删除改行.
- thresh： int，默认值无如果指定，则删除小于thresh非空值的行。这将覆盖how参数
- subset：要考虑的可选列名称列表
fill(value, subset=None)
填充空值，na.fill(). DataFrame.fillna()和DataFrameNaFunctions.fill()是彼此的别名。
- value: int，long，float，string，bool或dict。用于替换空值的值。如果值是dict，则子集将被忽略，并且值必须是从列名（字符串）到替换值的映射。替换值必须是int，long，float，boolean或string
- subset:要考虑的可选列名称列表。子集中指定的不具有匹配数据类型的列将被忽略。
replace(to_replace, value=no value, subset=None)
返回替换后的新的DataFrame。DataFrame.replace()和DataFrameNaFunctions.replace()是彼此的别名。to_replace的value和value必须具有相同的类型，只能是numerics, booleans, or strings。value可以为空，替换时，新值将强制转换为现有列的类型
- to_replace – bool，int，long，float，string，list或dict。要替换的值，如果值是dict，则将忽略value或将其忽略，并且to_replace 必须是值和替换之间的映射
- value: bool，int，long，float，string，list或None。替换值必须是bool，int，long，float，string或None。如果value是一个列表，则value的长度和类型应与to_replace相同。如果value是一个标量，并且to_replace是一个序列，则使用value替换to_replace中的每个项目。
- subset:要考虑的可选列名称列表。子集中指定的不具有匹配数据类型的列将被忽略