Spark - Cách đếm số lượng bản ghi theo khóa

Question

Đây có thể là một vấn đề dễ dàng nhưng về cơ bản tôi có tập dữ liệu để đếm số lượng nữ cho mỗi quốc gia. Cuối cùng tôi muốn nhóm mỗi lần đếm theo quốc gia nhưng tôi không chắc chắn về những gì để sử dụng cho giá trị vì không có cột đếm trong tập dữ liệu mà tôi có thể sử dụng làm giá trị trong một nhómByKey hoặc reduceByKey. Tôi đã nghĩ đến việc sử dụng hàm reduceByKey() nhưng yêu cầu một cặp khóa-giá trị và tôi chỉ muốn đếm khóa và tạo một bộ đếm làm giá trị. Làm thế nào để tôi đi về điều này?

val lines = sc.textFile("/home/cloudera/desktop/file.txt") 
val split_lines = lines.map(_.split(",")) 
val femaleOnly = split_lines.filter(x => x._10 == "Female") 

Đây là nơi tôi bị kẹt. Quốc gia này cũng là chỉ số 13 trong tập dữ liệu. Kết quả đầu ra sẽ trông như sau: (Úc, 201000) (Mỹ, 420000) vv Bất kỳ trợ giúp nào đều tuyệt vời. Cảm ơn

Answer 1

Bạn sắp hoàn tất! Tất cả bạn cần là một countByValue:

val countOfFemalesByCountry = femaleOnly.map(_(13)).countByValue() 
// Prints (Australia, 230), (America, 23242), etc. 

(Trong ví dụ của bạn, tôi giả sử bạn có nghĩa là x (10) chứ không phải là x._10)

tất cả với nhau:

sc.textFile("/home/cloudera/desktop/file.txt") 
    .map(_.split(",")) 
    .filter(x => x(10) == "Female") 
    .map(_(13)) 
    .countByValue() 

Answer 2

Bạn có thể dễ dàng tạo khóa , không cần phải có trong tệp/cơ sở dữ liệu. Ví dụ:

val countryGender = sc.textFile("/home/cloudera/desktop/file.txt") 
       .map(_.split(",")) 
       .filter(x => x._10 == "Female") 
       .map(x => (x._13, x._10)) // <<<< here you generate a new key 
       .groupByKey(); 

Answer 3

Bạn đã xem xét thao tác RDD của mình bằng cách sử dụng Dataframes API?

Có vẻ như bạn đang tải tệp CSV, bạn có thể thực hiện với spark-csv.

Sau đó, nó là một vấn đề đơn giản (nếu CSV của bạn có tiêu đề với các tên cột rõ ràng) của:

import com.databricks.spark.csv._ 

val countryGender = sqlContext.csvFile("/home/cloudera/desktop/file.txt") // already splits by field 
    .filter($"gender" === "Female") 
    .groupBy("country").count().show() 

Nếu bạn muốn đi sâu hơn trong loại thao tác, sau đây là hướng dẫn: https://spark.apache.org/docs/latest/sql-programming-guide.html