전체 글 (31) 썸네일형 리스트형 하둡 완벽 가이드 - 10. 하둡 클러스터 설정 사용자의 입장으로만 하둡을 바라보게 되어 깊이가 부족하다는 생각을 하게 되었다. 하둡 완벽 가이드를 읽고 이해한대로 정리한다. 하둡 클러스터는 직접 구축하는 방법과 클라우드 호스팅 방식으로 제공되는 하둡 서비스를 이용하는 방법 두가지로 크게 나뉘어진다. 10장에서는 하둡 클러스터를 자체적으로 구축하는 방법에 대해 소개한다. 하둡 클러스터를 자체적으로 구축하는 방법에도 다음과 같은 방법이 존재한다. (1) 바이너리 형태로 아파치 하둡 프로젝트에서 직접 제공하는 아파치 타르볼 (2) 아파치 빅탑 프로젝트를 이용해 설치할 수 있는 RPM과 데비안 패키지 (3) 클라우데라 매니저와 아파치 암바리 같은 하둡 클러스터의 설치 및 관리 기능을 제공하는 하둡 클러스터 관리 도구 10.1 클러스터 명세 하둡은 범용 하드.. 하둡 완벽 가이드 - 5. 하둡 I/O 사용자의 입장으로만 하둡을 바라보게 되어 깊이가 부족하다는 생각을 하게 되었다. 하둡 완벽 가이드를 읽고 이해한대로 정리한다. 하둡은 데이터 I/O를 위한 프리미티브(primitive - 내장된 기본 기능)를 제공한다. 일부 일반적인 데이터 무결성, 압축과 같은 프리미티브가 있지만, 멀티테라바이트의 데이터셋을 처리할 때 사용하는 직렬화 프레임워크나 디스크 기반 데이터 구조와 같은 분산 시스템을 개발하기 위한 구성요소를 제공하는 하둡 도구나 API 같은 프리미티브들은 특별하게 볼 필요가 있다. 5.1 데이터 무결성 하둡 사용자는 당연히 저장 또는 처리 과정에서 어떠한 데이터도 잃어버리거나 손상되지 않기를 기대한다. 체크섬 방법이 있다. 신뢰할 수 없는 통신 채널로 데이터가 전송되었을 때마다 체크섬을 계산.. 하둡 완벽 가이드 - 4. YARN 사용자의 입장으로만 하둡을 바라보게 되어 깊이가 부족하다는 생각을 하게 되었다. 하둡 완벽 가이드를 읽고 이해한대로 정리한다. YARN은 (yet another resource negotiator)은 하둡의 클러스터 자원 관리 시스템이다. 맵리듀스의 성능을 높이기 위해 하둡2에서 도입되었고, 그 외의 분산 컴퓨팅 도구도 지원한다. YARN은 클러스터의 자원을 요청하고 사용하기 위한 API를 제공한다. 이 API는 사용자 코드에서 직접 호출할 수는 없고, YARN이 내장된 분산 컴퓨터 프레임워크에서 고수준 API를 작성해야하며, 사용자는 자원 관리의 자세한 내용을 알 수 없다. 맵리듀스, 스파크 같은 분산 프레임워크가 YARN 어플리케이션으로서 cluster compute layer와 cluster st.. 하둡 완벽 가이드 - 3. 하둡 분산 파일시스템 사용자의 입장으로만 하둡을 바라보게 되어 깊이가 부족하다는 생각을 하게 되었다. 하둡 완벽 가이드를 읽고 이해한대로 정리한다. 분산 파일 시스템: 네트워크로 연결된 여러 머신의 스토리지를 관리하는 파일시스템 하둡의 분산 파일 시스템: HDFS (Hadoop Distributed FileSystem)로 추상화되어 S3나 로컬 파일시스템도 가능 3.1 HDFS 설계 HDFS는 매우 큰 파일을 스트리밍 방식(읽기 시작한 이후로 순서대로 출력)으로 접근할 수 있도록 범용 하드웨어(싼 것도 상관 없이)를 활용하여 저장할 수 있도록 설계되었다. 그러므로, 수많은 작은 파일(파일 하나는 기본으로 하나의 블록이므로 네임노드에 블록의 위치를 기록하기 위한 용량을 많이 차지)을 저장하고, 빠르게 읽고(스트리밍 방식이.. 초고도근시의 렌즈 삽입수술기 - 2. 검사 시력 교정술은 크게 두 가지 종류로 나누어진다.각막을 직접 깎아서 교정하는 라식/라섹 종류와 렌즈를 눈 안에 넣는 렌즈 삽입 수술. 근시 정도와 각막 두께에 따라서 라식/라섹이 가능한지 확인하고, 안구의 크기와 상태에 따라서 렌즈 삽입 수술이 가능한지 확인하게 된다. !!!그리고!!!의사의 결정이 당연히 가장 중요하지만, 나는 내 몸이 어떻게 결정되는지 반드시 알아야 한다고 생각한다.미국 ICL 공홈 us.discovericl.com/safety-information 에 들어가면 ICL에 대한 자세한 정보들을 확인할 수 있다.세부사항 소책자도 확인할 수 있다. 영어지만, 구글 번역기 요즘 진짜 잘되어있다.우리나라 브로슈어는 손나은님 인터뷰다. ^^. 광고지.솔직히 나는 정보 얻으러 디씨 안구갤러리에 진짜.. 초고도근시의 렌즈 삽입수술기 - 1. 자료조사 나는 어렸을 때 부터 시력 교정 수술에 관심이 많았다. 양안 근시 -10 디옵터 정도로, 초고도 근시인 나는 안경 쓴 모습과 쓰지 않은 모습이 아주 많이 차이가 났었다.ㅠ 그래서 한번은 친구따라 강남으로 시력교정수술 검사를 하러 갔다. 라식 아니면 라섹이겠지 하고 갔는데. 이게 무슨일이야. 둘 다 안되고, 렌즈삽입이라는 수술만 가능하다는 것. 띠용? 들어본 적도 없는 렌즈삽입 수술을 해야한다니..? 이게 무슨일? 그리고 550 만원이라니? 이게 무슨말이라니..? 그날부터 렌즈삽입 수술에 대해 찾아보기 시작했다. 내 눈에 대한 정보를 모으고, 수술에 대한 장점과 단점을 정말 샅샅이 긁어모았다. 내 눈 내 눈은 양안 근시 -10, -11 정도로 초고도근시, 난시는 -0.5, -0.25로 거의 없었다. 각막 .. 카카오 경력 이직기 - 5. 2차 면접 2차 면접 일정은 1차 면접 결과 안내 2주 후로 정해졌다. 2차 면접 준비1차 면접 때와 동일하게, 무얼 질문받을까를 수 없이 고민했으나... 잘 모르겠다고 생각했다.그저 내 프로젝트들이랑 파이썬을 한 번 더 찬찬히 살펴봐야겠다 싶었고, 새로운 것을 준비하지는 못했다.대신 내가 아는것들을 입밖으로 잘 꺼낼 수 있도록 말들을 머릿속에 잘 정리 해두었다. 문득 문득 떠오르는 생각들을 노트에 적어보고 간단하게 글도 적어보고.전형을 진행하면서 시간이 갈 수록 제일 힘들었던건 회사 업무를 진행하면서 희망에 가득찬 마음이 침착할 수 있도록 도닥거리는 것 이었다.원하는 결과를 마주하지 못해도 실망하고 싶지 않았고, 이 동동 떠있는 마음이 지금 하고있는 일에 영향을 미치게 하고 싶지 않았다. 2차 면접원격 면접 시스.. 카카오 경력 이직기 - 4. 1차 면접 (카카오로 이직을 준비하면서 정말 많은 블로그의 도움을 받았다. 나 역시 사람들에게 도움을 주기 위해 블로그에 기록을 남긴다. 도움 주신 많은 분들 감사합니다.) 1차 면접은 화상면접으로 1시간 30분동안 진행되었다. 1차 면접 준비 힝ㅠ 1차 면접 원격으로 봤다. 왠지 원격 면접 볼 것 같다고 생각했었다. 한참 판교 분당에 코로나 확진자가 자꾸 발생하고 있었던 시기였고, 카카오라면 원격 면접 보겠지 싶었는데, 왠걸! 역시. 그래도 좋지 뭐. 반차만 내고 면접을 보면 되니까. 지원한 곳은 Python개발자를 뽑는 자리라, Python 기초 개념들을 쭉 보면서 준비했고, 지금까지 했었던 프로젝트들을 하나씩 다시 훑어보았다. 나는 데이터 분석 서버 개발 직무로 지원했고, 관련된 경험들을 최대한 기억해내며 준.. 이전 1 2 3 4 다음
