공부하는 블로그

namenode 에서 start-all.sh 치고 password는 1234 또 password 1234>sudo useradd Admin>hdfs dfs -chown Admin />hdfs dfs -mkdir /Admin>hdfs dfs -chown Admin /Adminnamenode 에서 jps, datanode 에서도 jpsnamenode 에서 ifconfig 치고 두번째 단락꺼 ip 를 사용해서 java 프로젝트 내에서dessert.join(order, "menuId") .where("orderCount != 1") .toJavaRDD() .saveAsTextFile("hdfs://192.168.56.102:9000/Admin/Dessert/1"); 실행namenode 에서 hdfs dfs -l..

https://zookeeper.apache.org/ -> release -> download -> currenthttps://kafka.apache.org/ -> Download -> 2.11 버전 다운적당한 곳에 압축 풀고 폴더 명을 단순하게 바꿈 ex) zookeeper-3.4.10 -> zookeeperzookeeper 폴더에 data 폴더 만듬conf 폴더에 zoo_sample.cfg 를 복사 붙여넣기 해서 zoo.cfg로 만듬zoo.cfg 에 dataDir에 아까 만든 data폴더 경로를 넣음환경변수 path에 zookeeper 폴더와 kafka 경로 넣음 ex) ZOOKEEPER_HOME : C:\Users\Admin\zookeeper, Path : %ZOOKEEPER_HOME%\bin; k..

Spark의 RDD 의 문제점매 Job(종단 함수)마다, 파일 읽는 작업부터 시작함 -> 파일에 변화가 없음에도, 매번 파일을 읽어 비효율적인 처리가 이루어진다.그래서 RDD 영속화를 통해 파일을 읽은 DDD를 메모리 또는 디스크에 보존한다.123456789101112131415161718192021222324252627282930313233343536373839404142434445 // 연도와 선수 기준 그룹하기eraRecord.groupBy(tuple -> new Tuple2(tuple._2(), tuple._1())) // ((1907,clarkwa01),[(clarkwa01,1907,6.23), (clarkwa01,1907,1.99)]) .map(tuple -> { String year = tu..

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273 public static void main(String[] args) { SparkConf sparkConf = new SparkConf() .setAppName("SimpleWords") .setMaster("local[4]"); /*4 threads in local*/ JavaSparkContext sc = new JavaSparkContext(sparkConf); JavaRDD wordsRDD = sc.textFile("src/data/simple-word..

Virtual Box 설치 후 eclipse 실행자바프로젝트 -> 이름 Spark 로 하고 finish -> Maven 으로 convert오른쪽 마우스 버튼 -> Properties -> Java Complier 에서 use compliance from execution environment 'J2SE-1.5'..' 체크 해제 하고 오른쪽 1.8 로 바꾸고 apply, Build Path 도 변경(jdk 1.8 로)-> http://www.mvnrepository.com 에서 spark-core 검색 후 spark-core_2.11(버전에 상당히 민감하다) dependency 추가(provided는 지울 것) 대표적인 클라우드 시스템 : Amazon AWS, Microsoft AZURE추천시스템 : Ap..