Posts MapR설치
Post
Cancel

MapR설치

MapR 사업성 검토를 위해 MapR 설치와 추후 Cloudera와 사용성 및 성능을 비교한 포스팅은 추후 업로드.

MapR의 큰 특징으로는 HDFS가 아닌 MapRFS로 불리우는 자체 파일시스템을 사용한다. MapRFS와 HDFS가 다른 큰 특징은 아래표 와같다. Alt text

chunk 는 MapRFS만의 특징으로 파일의 분할 사이즈로 아래의 그림을 보면 이해가 쉽다. MapRFS의 Disk I/O는 Block 사이즈의 8kb씩 발생 한다.

Alt text

또한 복제된 파일의 위치 정보를 저장하는 CLDB라는 개념으로 Namenode를 대신하여 병목현상을 제거했고. CLDB는1개이상으로 지정하여 클러스터링 할수있다. Alt text

MapRFS는 HDFS와는 다르게 Disk위에 직접 C언어로 구현 되어있어 설치시 추가적으로 파티션과 포멧이 지정안된 RawDevice가 필요하다.

0. 사전 준비사항.

0.1 Hardware 준비사항. Alt text

0.2 OS 리소스 준비사항.

  • 리소스 준비사항은 Mapr 설치시 유저 생성을 안하면 자동으로 mapr 유저를 생성하는데 아래의 설정 이 기본적으로 추가되어 생략 가능하다. Alt text

0.3 umask 설정

  • umask는 파일이나 디렉터리 생성 시 부여되는 기본 허가권을 지정하는 명령이다.(0222로 설정) Alt text

1. 설치 스크립트 준비

  • 아래의 명령어로 mapr 설치 스크립트 다운로드
     wget https://package.mapr.com/releases/installer/mapr-setup.sh -P /tmp
    
  • 스크립트 실행 가능하게 권한 변경 및 실행.
    
    chmod 777 mapr-setup.sh
    sudo ./mapr-setup.sh
    

2. WebUI로 설치 진행.

Alt text

Alt text

  • Impala, Sentry, Livy를 사용하기 위해서는 MapR의 Ticket 방식 인증 활성화를 못한다. ( Kuberose 방식으로 대체가 필요해보임) Alt text

Alt text

Alt text

Alt text

Alt text

Alt text

Alt text

Alt text

## 3. Hadoop 명령어 확인.

  • 파일시스템 확인. Alt text
This post is licensed under CC BY 4.0 by the author.

Contents

Scala 프로젝트 Gradle로 빌드하기

Spark 개발환경 구축 및 spark-submit

Comments powered by Disqus.