공부하는 블로그

SSO(Single Sign-On)각 계열사마다 웹페이지가 있다고 가정할 경우,똑같은 DB를 바라보는데 각자 로그인 기능을 갖고 있을 경우, 한곳에서 로그인했는데 다른 계열사 웹페이지에선 로그인이 안되있어 또 해야하는 단점이 있음.이래서 여기서하든 저기서 하든 로그인 한번만 하면 모든 계열사에서 똑같은 로그인처리를 해줘야겠다. 한마디로 세션을 공유해야겠다.이게 바로 싱글사인온!! 어떻게?방식1. 세션을 관리하는 중앙 처리 서버가 하나 있음. (로그인을 담당하는게 아니라 로그인이 저장되있는 서버)방식2. 로그인만 담당하는 서버가 있음(컴포넌트 or 마이크로서비스라 부름) 세션을 캐싱한다.(각자에게 공유해준다.)공유하는 서버를 실제로 '캐시서버'라고 부름.(실무안가면 못배우는 것들)SSO가 뭡니까? 세션을 ..

Java를 사용하면 종종 접하게 되는 문자열 클래스들입니다. (그리고 많은 회사들이 기술 면접 시에 이걸 물어보기도 한답니다.) String, StringBuffer, StringBuilder ... 모두 문자열을 저장하고, 관리하는 클래스인 것 같기는 한데, 왜 이렇게 굳이 여러가지를 만들어 놓았을까요? 먼저 String 과 다른 클래스(StringBuffer, StringBuilder)의 차이점을 알아보겠습니다. 두 문자열 클래스의 아주 기본적인 차이는 String은 immutable(불변함)하고, StringBuffer는 mutable(변함,변하기쉬움)하다는 것입니다. String 객체는 한 번 생성되면 할당된 메모리 공간이 변하지 않습니다. + 연산자 또는 concat 메서드를 통해 기존에 생성된..

JUnit은 단위 테스트 툴이다. 기능 하나하나의 개별적인 테스트 기능을 제공한다.1) 의존성 추가 1234567891011121314151617 org.springframework spring-test 4.3.10.RELEASE test junit junit 4.12 test Colored by Color Scriptercs 2) 프로젝트 우클릭 src/test/java에 다음과 같은 패키지를 생성한다. JUnit 기본적인 사항 @Test : 테스트해야하는 내용을 메소드 안에 작성하고 메소드 위에 @Test 애노테이션을 추가하면 jUnit은 해당 메소드를 테스트용 코드로 간주하고 테스트를 진행할 수 있게합니다. @Before : 모든 테스트 작업에 앞서 준비되어야 하는 내용을 작성해서 메소드에 추가하는..

namenode 에서 start-all.sh 치고 password는 1234 또 password 1234>sudo useradd Admin>hdfs dfs -chown Admin />hdfs dfs -mkdir /Admin>hdfs dfs -chown Admin /Adminnamenode 에서 jps, datanode 에서도 jpsnamenode 에서 ifconfig 치고 두번째 단락꺼 ip 를 사용해서 java 프로젝트 내에서dessert.join(order, "menuId") .where("orderCount != 1") .toJavaRDD() .saveAsTextFile("hdfs://192.168.56.102:9000/Admin/Dessert/1"); 실행namenode 에서 hdfs dfs -l..

https://zookeeper.apache.org/ -> release -> download -> currenthttps://kafka.apache.org/ -> Download -> 2.11 버전 다운적당한 곳에 압축 풀고 폴더 명을 단순하게 바꿈 ex) zookeeper-3.4.10 -> zookeeperzookeeper 폴더에 data 폴더 만듬conf 폴더에 zoo_sample.cfg 를 복사 붙여넣기 해서 zoo.cfg로 만듬zoo.cfg 에 dataDir에 아까 만든 data폴더 경로를 넣음환경변수 path에 zookeeper 폴더와 kafka 경로 넣음 ex) ZOOKEEPER_HOME : C:\Users\Admin\zookeeper, Path : %ZOOKEEPER_HOME%\bin; k..

Spark의 RDD 의 문제점매 Job(종단 함수)마다, 파일 읽는 작업부터 시작함 -> 파일에 변화가 없음에도, 매번 파일을 읽어 비효율적인 처리가 이루어진다.그래서 RDD 영속화를 통해 파일을 읽은 DDD를 메모리 또는 디스크에 보존한다.123456789101112131415161718192021222324252627282930313233343536373839404142434445 // 연도와 선수 기준 그룹하기eraRecord.groupBy(tuple -> new Tuple2(tuple._2(), tuple._1())) // ((1907,clarkwa01),[(clarkwa01,1907,6.23), (clarkwa01,1907,1.99)]) .map(tuple -> { String year = tu..

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273 public static void main(String[] args) { SparkConf sparkConf = new SparkConf() .setAppName("SimpleWords") .setMaster("local[4]"); /*4 threads in local*/ JavaSparkContext sc = new JavaSparkContext(sparkConf); JavaRDD wordsRDD = sc.textFile("src/data/simple-word..

Virtual Box 설치 후 eclipse 실행자바프로젝트 -> 이름 Spark 로 하고 finish -> Maven 으로 convert오른쪽 마우스 버튼 -> Properties -> Java Complier 에서 use compliance from execution environment 'J2SE-1.5'..' 체크 해제 하고 오른쪽 1.8 로 바꾸고 apply, Build Path 도 변경(jdk 1.8 로)-> http://www.mvnrepository.com 에서 spark-core 검색 후 spark-core_2.11(버전에 상당히 민감하다) dependency 추가(provided는 지울 것) 대표적인 클라우드 시스템 : Amazon AWS, Microsoft AZURE추천시스템 : Ap..