Google AdSense (text)

hidden logo stop

Moving

거지 같은 이글루스 광고노출 정책이 싫어서,
새 보금자리(http://blog.leocat.kr/)로 이사감.

태그 : hadoop 요약보기전체보기목록닫기

1

[Hadoop] 여러개 streaming 스크립트 파일 지정

hadoop은 코드를 jar로 묶어야 하는 불편함이 있다. 정말 jar 파일 안에 여러 클래스들이 포함되어서 사용하는 경우는 별 불만 없는데, 아주 간단한 MR 코드만 있다면 배 보다 배꼽이 더 크다. 일일이 프로젝트 컴파일하고 패키징한 다음 복사까지.. 이럴 때 간단히 쓸 수 있는 Hadoop Streaming 이 있다.책을 좀 따라했는데, mappe...

[Hadoop/Pig] pig의 join 종류

Apache Pig를 통해서 join하는 방법에는 몇 가지가 있다. 왜 그런고 하니, hadoop은 디스크를 많이 사용하는 대용량 작업이 많다. 특히 join과 같이 많은 데이터를 읽고 쓰는 경우라면 MR을 돌릴 때 데이터를 어떻게 옮기느냐에 따라서 수행시간에 많은 차이가 있을 수 있다. 때문에 이런 join 방법들이 생겨난듯..In-Stream Big...

[Hadoop] 서버 재시작 시 namenode 시작 안되는 현상

hadoop을 설치하고 Single Node Setup(1.2.1 버전) 등의 따라하기 문서를 따라하면 정말 잘 된다. 그런데 시스템을 재시작하면 namenode가 정상적으로 시작되지 못 하고 바보가 되어 버린다. namenode가 정상적이지 않아서 아래 관리(?) 페이지가 열리지 않는다.http://[[IP]]:50070/원인은 namenode가 사라...

[Hadoop] hadoop 1.0.0 이상 버전에서 ClassNotFoundException

hadoop의 하위 호환성 그지 같은건 예전 버전부터 알고 있었지만, 1.0.0 버전이 되니 이건 완전히.. 아오~ ㅆ.. -ㅅ-;;;hadoop에서 외부 라이브러리 같은걸 사용하기 위해서는 $HADOOP_CLASSPATH에 classpath를 잡아주거나, 아래 경로에 jar 파일을 넣어주면 됐었다. (정말 1.0.0 이전 버전은 됐었다. TㅅT)${H...

[Hadoop] 하둡 비정상 종료시 safe mode 종료

하둡이 정상적으로 종료되지 않아서 막 다뤘더니 다시 뜨질 않는다.웃긴건 일부 datanode 같은건 정상적인데 job을 실행시키려니 안된다. TㅅT 다른건 잘 되고 job 실행이 안되니 job tracker가 이상한 것 같아서 job tracker 로그를 보니 이런..2012-04-19 16:03:56,646 INFO org.apache.hadoop.m...

[Spring, Hadoop] spring-data-hadoop jdo2-api dependency 문제

Spring hadoop을 쓰기 위해 maven dependency를 추가했다. 헌데.. 안된다.<dependency>    <groupId>org.springframework.data</groupId>    <artifactId>sprin...

[Hadoop] 테스트 MRUnit & Mockito

하둡 테스트를 위해 MRUnit과 Mockito를 사용한 예제([Hadoop] MRUnit,Mockito를 사용한 테스트 케이스 작성 -Mapper-)를 찾아봤다. 링크를 보면 테스트를 작성하는 내용이 잘 나와 있다. 나도 슝슝 따라 했는데.. 결과는 만족.. 그리고 MRUnit을 사용하기로 결정..내 경우에는 Mockito를 사용하는데 문제가 좀 있었...

[Hadoop] wrong key class 오류

어허~ wrong key class라는데.. 어디가 문제인지 모르겠다.11/08/09 09:43:50 INFO mapred.JobClient: map 0% reduce 0%11/08/09 09:44:00 INFO mapred.JobClient: Task Id : attempt_201108090850_0013_m_000000_0, Status : FAI...

[Hadoop] Mapper/Reducer를 찾지 못 할 때 - NoSuchMethodException

Hadoop 예제가 잘 됐었는데.. 어제 뭔가를 손댔는데 동작하지 않는다. 그런데 하루가 지나지도 않았는데 그 뭔가가 기억이 나지 않는다. (이럴 때가 제일 난감 TㅅT)해당 클래스와 생성자(hadoopSite.WordCount$Map.<init>())가 분명히 있는데 아래처럼 NoSuchMethodException을 뱉으며 실행이 되지 않는...
1

Google AdSense (text/image)