공부하는 블로그

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273 public static void main(String[] args) { SparkConf sparkConf = new SparkConf() .setAppName("SimpleWords") .setMaster("local[4]"); /*4 threads in local*/ JavaSparkContext sc = new JavaSparkContext(sparkConf); JavaRDD wordsRDD = sc.textFile("src/data/simple-word..

Virtual Box 설치 후 eclipse 실행자바프로젝트 -> 이름 Spark 로 하고 finish -> Maven 으로 convert오른쪽 마우스 버튼 -> Properties -> Java Complier 에서 use compliance from execution environment 'J2SE-1.5'..' 체크 해제 하고 오른쪽 1.8 로 바꾸고 apply, Build Path 도 변경(jdk 1.8 로)-> http://www.mvnrepository.com 에서 spark-core 검색 후 spark-core_2.11(버전에 상당히 민감하다) dependency 추가(provided는 지울 것) 대표적인 클라우드 시스템 : Amazon AWS, Microsoft AZURE추천시스템 : Ap..

IntelliJ 사용하기http://www.jetbrains.com/ 에서 IntelliJ(개발 툴) 다운 (Tools -> IntelliJ IDEA)프로젝트 우클릭 -> Add Frameworks Support -> Maven 체크 후 OK -> 오른쪽 하단에 메세지박스 뜨면 enable auto import 선택File -> Other Setting -> Default Project Structure 에서 Language Level 설정이 가능 (1.8 로 변경)File -> Setting -> Build, Execution, Deployment -> Compiler -> Java Compiler -> 1.8 로 변경alt + insert 를 활용 가능 (getter, setter, construct..

값으로 스트림 만들기 Stream stream = Stream.of("Java 8 ", "Lambdas ", "In ", "Action"); stream().count()는 long 타입의 결과를 반환한다. (파일로 스트림을 만들어 반환하면 크기가 엄청나게 커질 수 있으므로 int 가 아닌 long 이다.) * long 보다 큰 결과가 나올 경우는 BigInteger 라는 것을 쓴다. 스트림의 카운트 세기 .count(); 또는 .collect(Collectors.counting()); collect를 사용하여 총 합 조회하기 long calories = menu.stream().collect(Collectors.summingLong(dish -> dish.getCalories())); collect를 ..

Map은 들어오는 값을 자동으로 Stream으로 바꿔주고 들어오는 값 하나로봄 flatMap은 들어오는 값을 하나하나 나눠서 볼수있고 전달해올 때 수동으로 Stream으로 바꿔줘야함 / 패턴분석할 때 사용됨

중요하므로 꼭 기억하기중간함수 : 맨 마지막을 제외한 과정 / 종단함수 가 없다면 중간함수는 수행되지 않음 --> LazyCall 종단함수 ; 맨 마지막 과정 예제) -- 스트림이 간단하게 해준다.