Google AdSense (text)

hidden logo stop

Moving

거지 같은 이글루스 광고노출 정책이 싫어서,
새 보금자리(http://blog.leocat.kr/)로 이사감.

[Hadoop/CDH] Hue의 Job Designer로 MR 실행할 때 500 에러 Computer & Program

Hue라는 hadoop 관련된 GUI 툴이 있다. HDFS, Hadoop MR, Hive 등 여러 hadoop 관련 프로젝트들을 관리할 수 있다. CDH 설치 시 옵션 모듈로 설치 가능하며, http://cloudera.github.com/hue/에서 받을 수 있다.

테스트를 위해 Hue의 Job Designer(http://hostname:8888/jobsub/)를 통해서 MR job을 생성하고 실행했는데.. 아래처럼 오류가 나고 끝이다. 아무 메시지도 없다. -ㅅ-;; 워낙 많은 모듈들이 엉켜 있어서 어디까지 진행되다 오류가 났는지 모르기 때문에 모든 로그를 뒤지려면 또 한나절..


Server Error (500)
Sorry, there's been an error. Please contact your site administrators. Thanks for your patience.


내가 생성한 Job은 아래처럼 생겼다. 아주 간단한 문서 내 단어 카운팅 예제(http://hadoop.apache.org/docs/stable/mapred_tutorial.html#Example%3A+WordCount+v1.0))이다. Job Designer에서 java type의 job을 생성하고, jar 경로와 jar 안의 main 클래스, 전달인자 등을 주면 된다.



헌데 왜 실행이 안되고 500 에러를 뿜어내는걸까??
오늘 Job Designer 웹서버부터 모듈별로 로그를 찾아보려다 아침에 혹시나 하는 마음에 jar 파일도 HDFS에 올렸더니 실행이 된다. 읭?? -ㅅ-;; Hue가 설치된 서버에 jar 파일을 두면 내용을 읽어서 job을 생성해 주는줄 알았는데 그게 아닌가보다. TㅅT 이거 모야~ 그냥 터미널에서 hadoop 명령으로 실행하는게 훨씬 편하잖아!! -ㅅ-;;; jar 파일 바뀔 때 마다 언제 HDFS에 업로드하고 있어??


오늘의 결론(Conclusion)
Job Designer를 사용할 때는 jar 파일도 HDFS에 함께 올려두고 실행해야 한다.
끄트!! 에러 메시지도 없고.. 울고 싶다. TㅅT


- Job Designer 사용법은 https://ccp.cloudera.com/display/CDH4DOC/Job+Designer에 잘 설명되어 있다.

덧글

댓글 입력 영역

Google AdSense (text/image)