Pyspark Dataframe 간 스키마 일치여부를 체크하는 function 예시
2021-06-09
.
Data_Engineering_TIL(20210609)
[함수내용]
def compare_spark_df_schema(asis_df,compare_df):
asis_schema=pd.DataFrame(asis_df.dtypes,columns=['column','data_type'])
compare_schema=pd.DataFrame(compare_df.dtypes,columns=['column','data_type'])
# return True or False
return asis_schema.equals(compare_schema)