.

Data_Engineering_TIL(20201101)

step 1) emr master 보안그룹 콘솔에가서 inbound 규칙으로

접속해오는 bastion 서버의 private 아이피를 대상으로 원하는 포트들을 열어준다.

80(ganglia(http)), 9443(jupyterHub), 18080(spark history server), 8088(yarn resource manager), 9864(HDFS Data Node), 8042(Node Manager)

step 2) putty pageant에 EMR의 keypair를 add해주고, 실행을 계속시켜둔다.

step 3) putty를 이용하여 베스천 터미널 접속한다.

step 4) 터미널창의 상단 크로스바에서 마우스 오른쪽 클릭 –> ‘change settings’ 클릭

step 5) 좌측메뉴에 ‘Connection’ 에서 ‘SSH’ 의 좌측에 +상자버튼 클릭 –> ‘Tunnels’ 클릭

step 6) Source port에 9443 입력, Destination에 [EMR_master_private_ip]:9443 입력 후 ‘Add’ 버튼 클릭 –> 좌측메뉴에 ‘Sessions’ 클릭 –> ‘Saved Sessions’ 아래에 ‘juptyer tunneling’ 또는 원하는 세션이름 입력 후 ‘save’ –> Apply 클릭

** 만약에 spark history server도 추가하고 싶다 그러면 위의 방법에서 9443이 아니라 18080으로해서 추가해주면 된다.

step 7) internet browser를 열어서 https://localhost:9443 으로 접속

** 만약에 spark history server에 접속하고 싶다. 그러면 http://localhost:18080 으로 접속

step 8) ‘연결이 비공개로 설정되어 있지 않습니다.’ 라는 경고 메세지가 뜨는 화면으로 들어가게 되는데 하단에 ‘고급’ 버튼 클릭 –> ‘localhost(안전하지 않음)’ 클릭

step 9) 주피터 화면으로 들어오게 되는데 id : jovyan, password : jupyter 를 입력하여 접속

참고로 id : jovyan, password : jupyter 가 디폴트 어드민 계정정보이다.