Pyspark Dataframe 간 스키마 일치여부를 체크하는 function 예시

2021-06-09

.

Data_Engineering_TIL(20210609)

[함수내용]

def compare_spark_df_schema(asis_df,compare_df):
    asis_schema=pd.DataFrame(asis_df.dtypes,columns=['column','data_type'])
    compare_schema=pd.DataFrame(compare_df.dtypes,columns=['column','data_type'])
    # return True or False
    return asis_schema.equals(compare_schema)