2016-06-17 17 views
8

Tôi muốn biết liệu có bất kỳ cách nào để truyền dữ liệu đến một phân đoạn thời gian cụ thể của bảng BigQuery hay không. Các tài liệu nói rằng bạn phải sử dụng trang trí bảng:Truyền dữ liệu đến Phân vùng thời gian BigQuery cụ thể

Loading data using partition decorators

Partition decorators enable you to load data into a specific partition. To adjust for timezones, use a partition decorator to load data into a partition based on your preferred timezone. For example, if you are on Pacific Standard Time (PST), load all data generated on May 1, 2016 PST into the partition for that date by using the corresponding partition decorator:

[TABLE_NAME]$20160501

Nguồn: https://cloud.google.com/bigquery/docs/partitioned-tables#dealing_with_timezone_issues

Và:

Restating data in a partition

To update data in a specific partition, append a partition decorator to the name of the partitioned table when loading data into the table. A partition decorator represents a specific date and takes the form:

$YYYYMMDD

Nguồn: https://cloud.google.com/bigquery/docs/creating-partitioned-tables#creating_a_partitioned_table

Nhưng nếu tôi cố gắng sử dụng chúng khi luồng dữ liệu tôi đã nhận được lỗi sau: Bảng trang trí không thể được sử dụng với chèn trực tuyến.

Cảm ơn trước!

Trả lời

5

Xin lỗi vì sự bất tiện này. Chúng tôi đang xem xét cung cấp hỗ trợ cho điều này trong tương lai gần. Vui lòng tiếp tục theo dõi để biết thêm thông tin cập nhật.

cách giải quyết có thể có thể làm việc trong nhiều trường hợp:

  1. Nếu bạn có hầu hết các dữ liệu sẵn có (mà đôi khi trường hợp khi tái khẳng định dữ liệu cho một phân vùng cũ), bạn có thể sử dụng một công việc tải với phân vùng là đích đến.

  2. lựa chọn khác là dòng vào một bảng tạm thời và sau khi dữ liệu đã được đỏ mặt từ bộ đệm trực tuyến, sử dụng bq cp

+0

Xin chào Pavan, cảm ơn câu trả lời của bạn. Nếu tôi nên sử dụng tùy chọn thứ hai và có dữ liệu từ nhiều ngày, đó là cách tiếp cận tốt nhất? 1) Truyền dữ liệu đến một bảng khác nhau cho mỗi ngày và sau đó sao chép vào bảng được phân đoạn cuối cùng bằng cách sử dụng trang trí. 2) Luồng dữ liệu vào một bảng duy nhất và sau đó truy vấn kết quả cho mỗi ngày dựa trên một trường và sao chép chúng vào bảng được phân đoạn cuối cùng bằng cách sử dụng trang trí. 3) Khác Cảm ơn trước –

+0

Câu hỏi nhanh: có lý do nào bạn không thể truyền trực tiếp tới bảng (không phải phân vùng cụ thể) và để cho truy vấn lớn suy ra dấu thời gian phân vùng. Chúng tôi hiểu rằng có những trường hợp điều này có thể không thuận tiện nhưng muốn đảm bảo rằng đây thực sự là trường hợp ở đây. –

+0

Ví dụ: một trong những người dùng của tôi thêm dự án mới và muốn nhập dữ liệu 30 ngày qua của họ từ API bên ngoài. Tôi muốn truyền dữ liệu đó đến phân vùng thời gian tương ứng để tôi có thể truy vấn dữ liệu của khoảng thời gian đã chọn trong trang tổng quan của tôi. Nó sẽ là tuyệt vời nếu chúng ta có thể chọn một trong các lĩnh vực của bảng như là 'tham chiếu phân vùng' để suy ra dấu thời gian phân vùng. Tôi nghĩ rằng nó không thể được thực hiện ngay bây giờ. Cảm ơn Pavan lần nữa. –

Các vấn đề liên quan