Programmer (22) 썸네일형 리스트형 하둡 완벽 가이드 - 10. 하둡 클러스터 설정 사용자의 입장으로만 하둡을 바라보게 되어 깊이가 부족하다는 생각을 하게 되었다. 하둡 완벽 가이드를 읽고 이해한대로 정리한다. 하둡 클러스터는 직접 구축하는 방법과 클라우드 호스팅 방식으로 제공되는 하둡 서비스를 이용하는 방법 두가지로 크게 나뉘어진다. 10장에서는 하둡 클러스터를 자체적으로 구축하는 방법에 대해 소개한다. 하둡 클러스터를 자체적으로 구축하는 방법에도 다음과 같은 방법이 존재한다. (1) 바이너리 형태로 아파치 하둡 프로젝트에서 직접 제공하는 아파치 타르볼 (2) 아파치 빅탑 프로젝트를 이용해 설치할 수 있는 RPM과 데비안 패키지 (3) 클라우데라 매니저와 아파치 암바리 같은 하둡 클러스터의 설치 및 관리 기능을 제공하는 하둡 클러스터 관리 도구 10.1 클러스터 명세 하둡은 범용 하드.. 하둡 완벽 가이드 - 4. YARN 사용자의 입장으로만 하둡을 바라보게 되어 깊이가 부족하다는 생각을 하게 되었다. 하둡 완벽 가이드를 읽고 이해한대로 정리한다. YARN은 (yet another resource negotiator)은 하둡의 클러스터 자원 관리 시스템이다. 맵리듀스의 성능을 높이기 위해 하둡2에서 도입되었고, 그 외의 분산 컴퓨팅 도구도 지원한다. YARN은 클러스터의 자원을 요청하고 사용하기 위한 API를 제공한다. 이 API는 사용자 코드에서 직접 호출할 수는 없고, YARN이 내장된 분산 컴퓨터 프레임워크에서 고수준 API를 작성해야하며, 사용자는 자원 관리의 자세한 내용을 알 수 없다. 맵리듀스, 스파크 같은 분산 프레임워크가 YARN 어플리케이션으로서 cluster compute layer와 cluster st.. 하둡 완벽 가이드 - 3. 하둡 분산 파일시스템 사용자의 입장으로만 하둡을 바라보게 되어 깊이가 부족하다는 생각을 하게 되었다. 하둡 완벽 가이드를 읽고 이해한대로 정리한다. 분산 파일 시스템: 네트워크로 연결된 여러 머신의 스토리지를 관리하는 파일시스템 하둡의 분산 파일 시스템: HDFS (Hadoop Distributed FileSystem)로 추상화되어 S3나 로컬 파일시스템도 가능 3.1 HDFS 설계 HDFS는 매우 큰 파일을 스트리밍 방식(읽기 시작한 이후로 순서대로 출력)으로 접근할 수 있도록 범용 하드웨어(싼 것도 상관 없이)를 활용하여 저장할 수 있도록 설계되었다. 그러므로, 수많은 작은 파일(파일 하나는 기본으로 하나의 블록이므로 네임노드에 블록의 위치를 기록하기 위한 용량을 많이 차지)을 저장하고, 빠르게 읽고(스트리밍 방식이.. Google Calendar API - 번외. 추가 팁 Google Calendar API 를 사용하고 관리하면서 찾아다녔던 것들을 남긴다. 사용자 추가 방법 1. 메뉴의 홈 -> 대시보드로 들어간다. 2. 이 프로젝트에 사용자 추가 버튼이 있다. API 호출 할당량 메뉴에서 API 및 서비스로 들어간다. 아래에서 내가 확인하고 싶은 API를 클릭한다. 2. 할당량 메뉴를 클릭해서 Queries를 확인하면 된다. 하루에 1,000,000건, 사용자 한명당 100초에 5,000건으로 설정되어있는 것을 볼 수 있다. (수정이 가능하다) 할당량을 더 할당받고 싶은 경우 Google 측에 요청서를 보내도록 되어있다. 관련글 2020/09/09 - [Programmer/etc.] - Google Calendar API - 0. 시작하기 2020/09/10 - [Pro.. Google Calendar API - 3. 어플리케이션 인증받기 1. 2020/09/10 - [Programmer/etc.] - Google Calendar API - 2. 사용법에 이어지는 글입니다. 2. Nodejs 웹서버에서 Google calendar API를 사용하는 방법이 기록된 글입니다. 상용에서 Google API를 OAuth로 인증해서 사용하기 위한 마지막 단계이다. 이 단계 이후부터는 이제 상용 어플리케이션에서 API를 문제 없이(?) 사용할 수 있다. 여기서 진짜 많이 헤맸다. 메일을 23개 주고받았다.ㅎㅎㅎㅎ 시차 때문에 하루에 하나씩 주고 받았다. 바보 인증.. 메일을 주고 받다 보면 마치 시스템에서 메일을 자동으로 보내주는 것 처럼 보이는데, 그냥 템플릿이 몇 가지 정해져있고, 그걸 구글 쪽 일꾼이 골라서 전송해주는 것 같다. 내가 보낸 메일.. Google Calendar API - 2. 사용법 1. 2020/09/10 - [Programmer/etc.] - Google Calendar API - 1.3. GCP 설정: 사용자인증 설정에 이어지는 글입니다. 2. Nodejs 웹서버에서 Google calendar API를 사용하는 방법이 기록된 글입니다. Google Calendar API 사용을 위한 프로젝트 생성과 설정이 끝났다면, 이제 클라이언트 ID로 프로젝트에 연결하여 사용하면 된다. 이전 글 마지막에 클라이언트 정보가 담긴 JSON파일을 다운받았을 것이다. 해당 파일을 준비하자. 이 링크를 따라가면 샘플 코드를 확인할 수 있다. (다른 언어도 찾아보면 있다.) developers.google.com/calendar/quickstart/nodejs Node.js Quickstart | .. Google Calendar API - 1.3. GCP 설정: 사용자인증 설정 1. 2020/09/10 - [Programmer/etc.] - Google Calendar API - 1.2. GCP 설정: OAuth 인증 설정에 이어지는 글입니다. 2. Nodejs 웹서버에서 Google calendar API를 사용하는 방법이 기록된 글입니다. 이전 글에서 Google API를 사용하려면 사전에 Google cloud console에서 몇가지 단계가 필요하다고 했다. 약관 동의 및 프로젝트 생성 Google calendar API 사용 설정 OAuth 인증정보 설정 사용자 인증정보 설정 이 글에서는 이전 글에 이어서 사용자 인증정보 설정 단계를 설명한다. 4. 사용자 인증정보 설정 Google Cloud Platform Console에서 진행하는 (거의..ㅎㅎ) 마지막 단계다. .. Google Calendar API - 1.2. GCP 설정: OAuth 인증 설정 1. 2020/09/10 - [Programmer/etc.] - Google Calendar API - 1.1. GCP 설정: 프로젝트 생성 및 API 사용 설정에 이어지는 글입니다. 2. Nodejs 웹서버에서 Google calendar API를 사용하는 방법이 기록된 글입니다. 이전 글에서 Google API를 사용하려면 사전에 Google cloud console에서 몇가지 단계가 필요하다고 했다. 약관 동의 및 프로젝트 생성 Google calendar API 사용 설정 OAuth 인증정보 설정 사용자 인증정보 설정 이 글에서는 이전 글에 이어서 OAuth 인증정보 설정 단계를 설명한다. 3. OAuth 인증정보 설정 이부분은 조금 주의 깊게 볼 필요가 있다. 이 단계와 다음 단계의 인증정보가 .. 이전 1 2 3 다음
