Trích xuất một mảng của cấu trúc trong Hive

Question

Tôi có một bảng bên ngoài trong hive

CREATE EXTERNAL TABLE FOO ( 
    TS string, 
    customerId string, 
    products array< struct <productCategory:string, productId:string> > 
) 
PARTITIONED BY (ds string) 
ROW FORMAT SERDE 'some.serde' 
WITH SERDEPROPERTIES ('error.ignore'='true') 
LOCATION 'some_locations' 
; 

Một kỷ lục của bảng có thể chứa dữ liệu như:

1340321132000, 'some_company', [{"productCategory":"footwear","productId":"nik3756"},{"productCategory":"eyewear","productId":"oak2449"}] 

Đừng ai biết nếu có một cách chỉ cần trích xuất tất cả productCategory từ bản ghi này và trả về nó như là một mảng của productCategories mà không cần sử dụng phát nổ. Một cái gì đó như sau:

["footwear", "eyewear"] 

Hoặc tôi cần viết GenericUDF của riêng mình, nếu có, tôi không biết nhiều Java (người Ruby), ai đó có thể cho tôi một số gợi ý không? Tôi đã đọc một số hướng dẫn về UDF từ Apache Hive. Tuy nhiên, tôi không biết loại bộ sưu tập nào là tốt nhất để xử lý mảng và loại bộ sưu tập nào để xử lý cấu trúc?

===

Tôi đã trả lời câu hỏi này bằng cách viết GenericUDF, nhưng tôi đã gặp phải 2 vấn đề khác. Chính trong số này là SO Question

Answer 1

Nếu kích thước của mảng cố định (như 2). Vui lòng thử:

products[0].productCategory,products[1].productCategory 

Nhưng nếu không, UDF phải là giải pháp phù hợp. Tôi đoán rằng bạn có thể làm điều đó trong JRuby. GL!

Answer 2

Một cách sẽ được sử dụng một trong hai inline hoặc explode chức năng, như vậy:

SELECT 
    TS, 
    customerId, 
    pCat, 
    pId, 
FROM FOO 
LATERAL VIEW inline(products) p AS pCat, pId 

Nếu không, bạn có thể viết UDF. Hãy xem this post và this post cho điều đó. Cùng với các nguồn sau:

• Matthew Rathbone's guide to writing generic UDFs
• Mark Grover's how to guide
• the baynote blog post on generic UDFs

Answer 3

Bạn có thể sử dụng json serde hoặc xây dựng-in chức năng get_json_object, json_tuple.

Với rcongiu's Hive-JSON SerDe việc sử dụng sẽ là:

xác định bảng:

CREATE TABLE complex_json (
DocId string, 
Orders array<struct<ItemId:int, OrderDate:string>>) 

tải mẫu json vào nó (điều quan trọng là cho dữ liệu này là một trong lót):

{"DocId":"ABC","Orders":[{"ItemId":1111,"OrderDate":"11/11/2012"},{"ItemId":2222,"OrderDate":"12/12/2012"}]} 

Sau đó tìm nạp id đơn đặt hàng dễ dàng như:

SELECT Orders.ItemId FROM complex_json LIMIT 100; 

Nó sẽ trả lại danh sách các id cho bạn:

ItemID [1111,2222]

đã được chứng minh để đưa ra kết quả chính xác về môi trường của tôi. Full niêm yết:

add jar hdfs:///tmp/json-serde-1.3.6.jar; 

CREATE TABLE complex_json (
    DocId string, 
    Orders array<struct<ItemId:int, OrderDate:string>> 
) 
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'; 

LOAD DATA INPATH '/tmp/test.json' OVERWRITE INTO TABLE complex_json; 

SELECT Orders.ItemId FROM complex_json LIMIT 100; 

đọc thêm ở đây:

http://thornydev.blogspot.com/2013/07/querying-json-records-via-hive.html