.

Data_Engineering_TIL(20201108)

[문제상황]

주피터 노트북을 사용중에 있는데 어떤 셀을 실행했을때 아래와 같은 error 발생함

IOPub data rate exceeded.

The notebook server will temporarily stop sending output

to the client in order to avoid crashing it.

To change this limit, set the config variable

’–NotebookApp.iopub_data_rate_limit’.

Current values:

NotebookApp.iopub_data_rate_limit=1000000.0 (bytes/sec)

NotebookApp.rate_limit_window=3.0 (secs)

[해결방안]

EMR 마스터 노드에서 아래와 같이 명령어 실행

[hadoop@ip-30-2-1-56 ~]$ sudo vim jupyter_notebook_config.py
# 아래 내용을 추가
c.NotebookApp.iopub_data_rate_limit = 100000000

[hadoop@ip-30-2-1-56 ~]$ cat jupyter_notebook_config.py
c.NotebookApp.iopub_data_rate_limit = 100000000

[hadoop@ip-30-2-1-56 ~]$ sudo docker cp jupyter_notebook_config.py jupyterhub:/etc/jupyter/jupyter_notebook_config.py

[hadoop@ip-30-2-1-56 ~]$ sudo docker restart jupyterhub
jupyterhub