Google Cloud Platform In Practice
  • 簡介
  • 有別於其他Cloud的想法
  • 認識Google Cloud
    • Google Cloud Platform服務介紹
      • GCP從Free Trial開始
      • 開始之前先了解線上的資源
      • Project與Billing Account
      • GCP計算機
      • Google Cloud使用者與角色
      • 透過IAM管理專案資源
      • Service Account
      • Organization Node
    • GCP指令列工具 - gcloud
      • 安裝Google Cloud SDK
      • Google Cloud SDK基本使用說明
      • 認證gcloud指令
      • 在gcloud使用service account認證
      • 查詢zone與region
      • 好用的gcloud指令
  • Google Cloud上的運算服務
    • Compute Engine
      • Compute Engine基本介紹
      • Compute Engine的主機類型選擇
      • Compute Engine硬碟的選擇
      • 動手開一台GCE主機
      • 了解GCE上的auto scale
      • 使用HTTP(S) Load Balancer
      • 使用TCP Load Balancer
      • 為您的HTTP Load Balancer建立自簽SSL憑證
      • 淺談StackDriver的監控服務
        • Cloud Logging
        • Cloud Monitor
      • 進階的GCE操作
        • GCE的Software Raid建置
        • 匯入Amazon主機Image
        • Resize Boot Disk
      • GCE進階導讀
    • App Engine
      • GAE的理念
      • Standard Environment介紹
        • 第一個GAE程式 - 以GAE Java為例
      • Flexible Environment介紹
        • 標準執行環境範例 - 以Node.js為例
        • 客製化執行環境範例 - 以Node.js為例
      • GAE進階導讀
    • Container Engine
      • 建立自己的GKE Cluster
      • 基本操作
      • 使用YAML描述部署
      • 結合NLB與HLB部署
      • GKE進階導讀
  • Google Cloud上的儲存服務
    • CloudSQL
      • CloudSQL簡介
      • 建立CloudSQL
      • 連線CloudSQL - 使用Apps Script
    • Cloud Datastore
      • Cloud Datastore簡介
      • Cloud Datastore的基本觀念
      • 簡單的Cloud Datastore範例 - 以Node.js套件為例
    • Cloud Storage
      • Cloud Storage簡介
      • 掛載GCS資料夾
      • 設定Website Bucket
      • 透過HTTP(S) Load Balancer幫GCS加上CDN
      • GCS與GCP服務的整合
      • Cloud Storage進階導讀
    • Cloud Bigtable
      • Cloud BigTable簡介
      • Cloud BigTable與GCP服務的整合
      • Cloud BigTable進階導讀
  • Google Cloud上的大資料處理服務
    • BigQuery
      • BigQuery簡介
      • BigQuery的結構
      • 指令列工具 - bq
      • 載入CSV資料到BigQuery
      • 載入JSON資料到BigQuery
      • 透過 bq 查詢資料
      • BigQuery的省錢祕技
      • BigQuery進階導讀
    • PubSub
      • PubSub簡介
      • PubSub入門
    • Cloud Dataflow
      • Cloud Dataflow簡介
      • 第一個Dataflow Pipeline - 以Java為例
      • Dataflow進階導讀
    • Datalab
      • 啟動您的Datalab
      • 深入了解datalab
      • Datalab進階導讀
    • Cloud Spanner (beta)
      • Spanner簡介
      • Spanner基本操作介紹
      • Spanner進階導讀
  • Google Cloud上的人工智慧服務
    • Cloud Machine Learning Engine
    • Vision API
    • Natual Language API
    • Speech API
    • Video Intelligence API (private beta)
  • 更多GCP學習資源
  • GCP支援服務
Powered by GitBook
On this page
  • Project
  • Dataset
  • Table
  • View
  • Job
  • Slots
  • 參考
  1. Google Cloud上的大資料處理服務
  2. BigQuery

BigQuery的結構

BigQuery在操作之前,需要先了解其結構與操作的物件... 下面是BigQuery使用上常操作到的專有名詞...

Project

專案(Project)為BigQuery的資源切割最外的範圍,每個專案的BigQuery在存取與查詢具備獨立的操作空間,互不相關... 但使用者可以透過project的namespace來操作不同專案下的BigQuery資源。

Dataset

Dataset為BigQuery中的數個資料表的集合,透過相同的Dataset名稱收容在一起。在查詢的操作當中,查詢表格需要帶上Dataset名稱,方可識別資源位置。

Table

Table即為BigQuery資料實際存放的表格,透過持續的儲存,可以提供給使用者進行查詢使用。表格的設計支援自動依日期為單位的命名方式,即可將舊有的資料以日期另外封存,一方面可以降低每日資料查詢的數量,另一方面可以應用GCP上的BigQuery存放優勢。

View

View為某查詢的語句進行封裝的物件,例如可以將某常用查詢語句建立成View表,未來開發者可以透過該表格做快速的查詢,可以簡化查詢語句的複雜度。

Job

BigQuery的每個執行查詢的動作,均稱為Job。開發者可以透過BigQuery的指令或是web console查詢、監控目前Job的執行狀況。

Slots

BigQuery在運作上,會持續需要使用到大量的運算資源,基本上運算資源也是虛擬主機群所提供,而每個提供運算的服務器,即是Solt。

參考

PreviousBigQuery簡介Next指令列工具 - bq

Last updated 7 years ago

BigQuery概念:

https://cloud.google.com/bigquery/what-is-bigquery