poc 서버에서 scala 프로그램을 개발하기 힘들기 때문에 로컬에서 개발한 프로그램을 jar파일로 묶어 배포하는 방식이 필요하여 IntelliJ + Maven + Scala 환경을 구축한 뒤 spark-submit 테스트를 한다. 1. Project 생성 1.1 IntelliJ에서 New Project 클릭 후 Maven 프로젝트를 만들어준다. ...

MapR 사업성 검토를 위해 MapR 설치와 추후 Cloudera와 사용성 및 성능을 비교한 포스팅은 추후 업로드. MapR의 큰 특징으로는 HDFS가 아닌 MapRFS로 불리우는 자체 파일시스템을 사용한다. MapRFS와 HDFS가 다른 큰 특징은 아래표 와같다. chunk 는 MapRFS만의 특징으로 파일의 분할 사이즈로 아래의 그림을 보면...

0. IDE는 IntelliJ 를 사용하여 개발합니다. 1. Gradle 프로젝트 만들기. New Project 설치 후 Gradle 클릭 후 Java 체크 해지 후 Next 버튼 클릭. 프로젝트명, Groupid 적어주고 프로젝트 생성. 2. 디렉토리 만들기. src -> main -> scala 순서로 하...

1. GCP 용도 Informatica 제품 테스트를 위한 DB 설치 추후 PostgreSQL 설치 예정. 웹개발 프로젝트를 위한 Mriadb 설치 예정. 2. VM Spec asia지역은 현재 N1 시리즈만 가능. OS : CentOS 7 DiskSize : 100G vCPU : 2 core Memory : 7.5G ...

1. Docker 서비스 등록 $sudo systemctl start docker $sudo systemctl enable docker systemctl status docker.service 2. 현재 로그인된 사용자에게 권한줌(sudo없이 도커 사용가능). sudo usermod -aG docker $USER

1. docker hub에서 이미지 가져오기 sudo docker pull jupyter/all-spark-notebook 2. 도커 이미지 확인 sudo docker images 3. 컨테이너 실행. docker run -p 8888:8888 -p 4040:4040 -v /home/docker/spark --name spark ju...