반응형
BigQuery 파티션 테이블 개요
BigQuery에서 파티션을 나눈 테이블은 데이터를 보다 효율적으로 관리하고 쿼리할 수 있게 해줍니다. 큰 테이블을 작은 파티션으로 나누면 쿼리 성능이 향상되고, 데이터 관리가 용이해집니다. [1]
BigQuery 파티션 테이블 생성
BigQuery에서 파티션을 나눈 테이블을 만드는 과정은 다음과 같습니다:
- 표준 테이블을 만드는 방법과 유사하지만, 파티션 나누기 옵션을 지정해야 합니다.
- 파티션 열은 날짜, 타임스탬프 등 시간 관련 데이터 타입이어야 합니다.
- 파티션 테이블 생성 시 파티션 열, 파티션 유형(일별, 월별 등) 등을 설정할 수 있습니다. [2]
파티션 테이블의 장점
파티션 테이블을 사용하면 다음과 같은 장점이 있습니다:
- 쿼리 성능 향상: 파티션된 테이블은 필요한 파티션만 스캔하므로 전체 테이블을 스캔하는 것보다 빠릅니다.
- 데이터 관리 용이: 파티션별로 데이터를 관리할 수 있어 오래된 데이터를 삭제하거나 새 데이터를 추가하기 쉽습니다.
- 비용 절감: 필요한 파티션만 스캔하므로 쿼리 비용이 절감됩니다. [3]
파티션 테이블 활용 방법
파티션 테이블은 다양한 방식으로 활용할 수 있습니다. 예를 들어:
- 날짜/타임스탬프 기반 파티션: 가장 일반적인 방식으로, 데이터 생성 시간을 기준으로 파티션을 나눕니다.
- 정수 범위 기반 파티션: 인덱스와 같은 정수 범위로 파티션을 나눌 수 있습니다. [4]
이처럼 BigQuery 파티션 테이블은 데이터 관리와 쿼리 성능 향상에 도움을 줍니다. 사용 사례와 데이터 특성에 따라 적절한 파티션 방식을 선택하는 것이 중요합니다.
반응형
'🖥️ IT, 컴퓨터 > 🏁 SQL・빅쿼리' 카테고리의 다른 글
[BigQuery] 빅쿼리 파티셔닝(Partitioning) vs. 샤딩(Sharding) (0) | 2024.06.20 |
---|---|
[BigQuery] 빅쿼리 지리함수 documentation (0) | 2024.06.20 |
[BigQueary] 빅쿼리에서 DATE_TRUNC로 날짜 반올림하기 (0) | 2024.05.26 |
[SQL] 빅쿼리 CASE문 (0) | 2024.05.25 |
[SQL] DISTINCT 오류 :: Syntax error: Expected end of input but got keyword DISTINCT at [1:59] (0) | 2024.02.18 |
댓글