Google AdSense (text)

hidden logo stop

Moving

거지 같은 이글루스 광고노출 정책이 싫어서,
새 보금자리(http://blog.leocat.kr/)로 이사감.

태그 : 하둡 요약보기전체보기목록닫기

1

[Hadoop] 여러개 streaming 스크립트 파일 지정

hadoop은 코드를 jar로 묶어야 하는 불편함이 있다. 정말 jar 파일 안에 여러 클래스들이 포함되어서 사용하는 경우는 별 불만 없는데, 아주 간단한 MR 코드만 있다면 배 보다 배꼽이 더 크다. 일일이 프로젝트 컴파일하고 패키징한 다음 복사까지.. 이럴 때 간단히 쓸 수 있는 Hadoop Streaming 이 있다.책을 좀 따라했는데, mappe...

[Hadoop] 서버 재시작 시 namenode 시작 안되는 현상

hadoop을 설치하고 Single Node Setup(1.2.1 버전) 등의 따라하기 문서를 따라하면 정말 잘 된다. 그런데 시스템을 재시작하면 namenode가 정상적으로 시작되지 못 하고 바보가 되어 버린다. namenode가 정상적이지 않아서 아래 관리(?) 페이지가 열리지 않는다.http://[[IP]]:50070/원인은 namenode가 사라...

[Hadoop] hadoop 1.0.0 이상 버전에서 ClassNotFoundException

hadoop의 하위 호환성 그지 같은건 예전 버전부터 알고 있었지만, 1.0.0 버전이 되니 이건 완전히.. 아오~ ㅆ.. -ㅅ-;;;hadoop에서 외부 라이브러리 같은걸 사용하기 위해서는 $HADOOP_CLASSPATH에 classpath를 잡아주거나, 아래 경로에 jar 파일을 넣어주면 됐었다. (정말 1.0.0 이전 버전은 됐었다. TㅅT)${H...

[Hadoop] 하둡 비정상 종료시 safe mode 종료

하둡이 정상적으로 종료되지 않아서 막 다뤘더니 다시 뜨질 않는다.웃긴건 일부 datanode 같은건 정상적인데 job을 실행시키려니 안된다. TㅅT 다른건 잘 되고 job 실행이 안되니 job tracker가 이상한 것 같아서 job tracker 로그를 보니 이런..2012-04-19 16:03:56,646 INFO org.apache.hadoop.m...

[Hadoop] wrong key class 오류

어허~ wrong key class라는데.. 어디가 문제인지 모르겠다.11/08/09 09:43:50 INFO mapred.JobClient: map 0% reduce 0%11/08/09 09:44:00 INFO mapred.JobClient: Task Id : attempt_201108090850_0013_m_000000_0, Status : FAI...

[Hadoop] Mapper/Reducer를 찾지 못 할 때 - NoSuchMethodException

Hadoop 예제가 잘 됐었는데.. 어제 뭔가를 손댔는데 동작하지 않는다. 그런데 하루가 지나지도 않았는데 그 뭔가가 기억이 나지 않는다. (이럴 때가 제일 난감 TㅅT)해당 클래스와 생성자(hadoopSite.WordCount$Map.<init>())가 분명히 있는데 아래처럼 NoSuchMethodException을 뱉으며 실행이 되지 않는...
1

Google AdSense (text/image)