BigQuery 로드맵
5주 과정, 하루 1~2시간

BigQuery 로드맵

초급 로드맵을 마친 Presales가 BigQuery로 데이터를 넣고, SQL로 분석하고, 비용을 지키고, 고객에게 가치를 설명할 수 있게 되는 과정입니다. 위에서부터 하나씩 체크하세요.

다음 할 일

…

실습 방법 보기
전체 진행0 / 0
진행 상황: 이 브라우저에 저장

공부하는 방법

매일 1시간몰아서 8시간보다 매일 1시간이 오래 남습니다. 과제마다 예상 시간이 적혀 있습니다.
읽기 20%, 손 80%쿼리를 실행하기 전에 --dry_run이나 콘솔 오른쪽 위 표시로 읽을 데이터 양을 먼저 보고, 만든 데이터셋은 과제가 끝나면 바로 삭제합니다.
일부러 부수기설정을 틀리게 바꾸고, 에러 메시지만 보고 원인을 찾습니다.
소리 내 설명하기단계 끝의 자가 점검에 답을 보지 않고 말해 봅니다. 막히면 그 과제로 돌아갑니다.
맥북에서 실습하기Windows에서 한다면 건너뛰세요

구글 클라우드 사이트의 실습은 대부분 브라우저의 Cloud Shell에서 하므로 맥에서도 똑같이 됩니다. Windows 전용 안내(WSL, PowerShell)가 나오면 맥 터미널이나 Cloud Shell로 읽으세요.

  1. 맥 터미널에서 gcloud를 쓰고 싶을 때Cloud Shell만 써도 충분합니다. 로컬에 두려면 아래처럼 설치합니다.
    brew install --cask google-cloud-sdk  # gcloud 설치 (Homebrew 필요: brew.sh)
    gcloud init                            # 로그인하고 기본 프로젝트 고르기
  2. Antigravityantigravity.google에서 macOS용을 내려받습니다. Apple Silicon인지 Intel인지 맞는 파일을 고르고, 회사 맥이면 설치 전에 IT팀 승인을 확인하세요.
  3. 리눅스 명령이 필요한 실습Cloud Shell이 리눅스이므로 거기서 하면 됩니다.

처음 보는 용어

데이터 웨어하우스여러 시스템의 데이터를 모아 분석하기 좋게 저장해 둔 분석 전용 데이터베이스입니다.
서버리스서버나 클러스터 크기를 정하고 관리할 필요 없이, 쓴 만큼만 자동으로 자원이 붙는 방식입니다.
OLTP와 OLAPOLTP는 주문 한 건씩 빠르게 넣고 고치는 처리, OLAP는 많은 데이터를 한꺼번에 집계하는 분석입니다.
열(컬럼) 기반 저장데이터를 행이 아니라 열 단위로 저장하는 방식입니다. 필요한 열만 읽어서 분석이 빠르고 싸집니다.
슬롯BigQuery가 쿼리를 계산할 때 쓰는 CPU와 메모리 묶음, 즉 계산 일꾼입니다.
온디맨드 과금쿼리가 읽은 데이터 양만큼 내는 요금입니다. 매달 첫 1TiB는 무료입니다.
Editions(용량 기반 가격)슬롯을 쓴 시간만큼 내는 요금제입니다. Standard, Enterprise, Enterprise Plus가 있습니다.
장기 저장90일 동안 수정하지 않은 테이블이나 파티션에 자동으로 붙는 약 절반 가격의 저장 요금입니다.
BigQuery 샌드박스결제 계정 없이 무료로 써 보는 환경입니다. 테이블이 60일 뒤 만료되고 일부 기능이 막혀 있습니다.
데이터셋테이블과 뷰를 담는 폴더입니다. 위치(리전)와 접근 권한을 데이터셋 단위로 정합니다.
스키마테이블의 열 이름과 타입 목록입니다. 시트의 머리글 줄과 칸 형식입니다.
외부 테이블데이터를 Cloud Storage 등에 그대로 두고 BigQuery에서 테이블처럼 조회하는 연결입니다.
Storage Write API앱이나 파이프라인에서 행을 실시간에 가깝게 BigQuery에 넣는 권장 API입니다.
dry run쿼리를 실행하지 않고 문법 확인과 읽을 바이트 수만 계산하는 무료 미리 보기입니다.
UNNEST한 칸에 든 목록(ARRAY)을 펼쳐 원소마다 한 행으로 만드는 함수입니다.
윈도 함수행을 합치지 않고 각 행 옆에 순위, 누적 합 같은 값을 붙이는 함수입니다. OVER 절과 함께 씁니다.
파티션과 클러스터링파티션은 날짜별 서랍으로 나누기, 클러스터링은 서랍 안을 정렬해 두기입니다. 둘 다 읽는 양을 줄입니다.
구체화된 뷰집계 결과를 미리 저장하고 원본이 바뀌면 자동으로 고쳐지는 뷰입니다.
BigQuery MLSQL의 CREATE MODEL 문으로 BigQuery 안에서 머신러닝 모델을 만들고 예측하는 기능입니다.
승인된 뷰원본 테이블 권한이 없는 사람도 뷰 결과만 볼 수 있게 원본 데이터셋이 허락해 준 뷰입니다.

계속 쓰게 될 자료