Lấy mẫu ngẫu nhiên trong Google BigQuery

Question

Tôi vừa phát hiện ra rằng hàm RAND(), trong khi không có giấy tờ, hoạt động trong BigQuery. Tôi đã có thể tạo ra một (dường như) mẫu ngẫu nhiên gồm 10 từ từ dataset Shakespeare sử dụng:

SELECT word FROM 
(SELECT rand() as random,word FROM [publicdata:samples.shakespeare] ORDER BY random) 
LIMIT 10 

Câu hỏi của tôi là: Có bất kỳ bất lợi cho việc sử dụng phương pháp này thay cho HASH() phương pháp được định nghĩa trong " Ví dụ nâng cao "phần của hướng dẫn tham khảo? https://developers.google.com/bigquery/query-reference

Answer 1

Tìm công việc tốt :). Tôi đã yêu cầu chức năng gần đây, nhưng nó vẫn chưa đưa nó vào tài liệu.

Tôi cho rằng lợi thế của RAND() là kết quả sẽ thay đổi, trong khi HASH() sẽ tiếp tục cho bạn kết quả tương tự cho cùng giá trị (không được đảm bảo theo thời gian, nhưng bạn có ý tưởng).

Trong trường hợp bạn muốn thay đổi mà RAND() mang lại trong khi vẫn nhận được kết quả nhất quán - bạn có thể gộp nó bằng một số nguyên, như trong RAND (3).

Lưu ý rằng ví dụ bạn dán được thực hiện đầy đủ các giá trị ngẫu nhiên - cho các đầu vào đủ lớn, cách tiếp cận này sẽ không mở rộng.

Một cách tiếp cận khả năng mở rộng, để có được khoảng 10 hàng ngẫu nhiên:

SELECT word 
FROM [publicdata:samples.shakespeare] 
WHERE RAND() < 10/164656 

(nơi 10 là số gần đúng của kết quả tôi muốn nhận được, và 164.656 số hàng mà bảng có)

Answer 2

Điều tuyệt vời khi biết RAND() khả dụng!

Trong trường hợp của tôi, tôi cần kích thước mẫu được xác định trước. Thay vì cần phải biết tổng số hàng và làm kích thước mẫu bộ phận trên tổng hàng, tôi đang sử dụng các truy vấn sau đây:

SELECT word, rand(5) as rand 
FROM [publicdata:samples.shakespeare] 
order by rand 
#Sample size needed = 10 
limit 10 

Tóm lại, tôi sử dụng ORDER BY + LIMIT để ramdomize và sau đó trích xuất một định nghĩa số lượng mẫu.

Answer 3

Một mẹo khác để làm cho nó thậm chí còn đơn giản hơn: Bạn có thể đặt hàng qua các chức năng nó tự, ví dụ:

chọn x từ y trật tự bởi rand() giới hạn 100

=> Mẫu 100