CHỌN tuyên bố DISTINCT trong MySQL đang 10 phút

Question

tôi là hợp lý mới cho MySQL và tôi đang cố gắng để chọn một tập hợp riêng biệt của hàng bằng tuyên bố này:

SELECT DISTINCT sp.atcoCode, sp.name, sp.longitude, sp.latitude 
FROM `transportdata`.stoppoints as sp 
INNER JOIN `vehicledata`.gtfsstop_times as st ON sp.atcoCode = st.fk_atco_code 
INNER JOIN `vehicledata`.gtfstrips as trip ON st.trip_id = trip.trip_id 
INNER JOIN `vehicledata`.gtfsroutes as route ON trip.route_id = route.route_id 
INNER JOIN `vehicledata`.gtfsagencys as agency ON route.agency_id = agency.agency_id 
WHERE agency.agency_id IN (1,2,3,4); 

Tuy nhiên, báo cáo kết quả lựa chọn là dùng khoảng 10 phút, vì vậy một cái gì đó rõ ràng là bắt đầu.

Một yếu tố quan trọng là bảng gtfsstop_times là rất lớn. (~ 250 triệu bản ghi)

Các chỉ mục dường như được thiết lập đúng cách; tất cả các phép nối trên đều sử dụng các cột được lập chỉ mục. Kích thước bảng là, khoảng:

gtfsagencys - 4 rows 
gtfsroutes - 56,000 rows 
gtfstrips - 5,500,000 rows 
gtfsstop_times - 250,000,000 rows 
`transportdata`.stoppoints - 400,000 rows 

Máy chủ có 22Gb bộ nhớ, tôi đã đặt nhóm đệm InnoDB thành 8G và tôi đang sử dụng MySQL 5.6.

Ai có thể xem cách làm cho hoạt động này chạy nhanh hơn không? Hoặc thực sự, ở tất cả!

Có vấn đề gì khi bảng điểm dừng trong một lược đồ khác?

EDIT: GIẢI THÍCH SELECT ... trả về này:

Answer 1

Có vẻ như bạn đang cố gắng tìm một tập hợp các điểm dừng, dựa trên các tiêu chí nhất định. Và, bạn đang sử dụng SELECT DISTINCT để tránh các điểm dừng trùng lặp. Có đúng không?

Dường như atcoCode là khóa duy nhất cho bảng điểm của bạn. Có đúng không?

Nếu vậy, hãy thử này:

SELECT sp.name, sp.longitude, sp.latitude, sp.atcoCode 
    FROM `transportdata`.stoppoints` AS sp 
    JOIN ( 
    SELECT DISTINCT st.fk_atco_code AS atcoCode 
     FROM `vehicledata`.gtfsroutes AS route 
     JOIN `vehicledata`.gtfstrips AS trip ON trip.route_id = route.route_id 
     JOIN `vehicledata`.gtfsstop_times AS st ON trip.trip_id = st.trip_id 
     WHERE route.agency_id BETWEEN 1 AND 4 
) ids ON sp.atcoCode = ids.atcoCode 

này thực hiện một vài điều: Nó giúp loại bỏ một bảng (cơ quan) mà bạn dường như không cần. Nó thay đổi tìm kiếm trên agency_id từ IN(a,b,c) thành tìm kiếm theo phạm vi, có thể có hoặc không thể trợ giúp. Và cuối cùng nó di chuyển việc xử lý DISTINCT từ một tình huống mà nó phải xử lý toàn bộ tấn dữ liệu cho một tình huống truy vấn con nơi nó chỉ phải xử lý các giá trị ID.

(JOIN và INNER JOIN đều giống nhau. Tôi đã từng JOIN để làm cho truy vấn dễ dàng hơn một chút để đọc.)

này cần đẩy bạn lên một chút. Nhưng, nó phải được nói, một bảng gigarow quý là một bảng lớn.

Answer 2

Có 250M hồ sơ, tôi sẽ Shard bảng gtfsstop_times trên một cột. Sau đó, mỗi bảng phân đoạn có thể được nối trong một truy vấn riêng biệt có thể chạy song song trong các luồng riêng biệt, bạn sẽ chỉ cần hợp nhất các tập kết quả.

Answer 3

Bí quyết là giảm số lượng hàng gtfsstop_times SQL phải đánh giá. Trong trường hợp này, SQL đầu tiên đánh giá mọi hàng trong kết nối bên trong của gtfsstop_times và transportdata .stoppoints, phải không? Có bao nhiêu hàng transportdata .stoppoints có? Sau đó SQL đánh giá mệnh đề WHERE, sau đó nó đánh giá DISTINCT. Làm thế nào để nó DISTINCT? Bằng cách xem xét mọi hàng đơn lẻ nhiều lần để xác định xem có các hàng khác như nó hay không. Điều đó sẽ mất mãi mãi, phải không?

Tuy nhiên, GROUP BY nhanh chóng thu thập tất cả các hàng phù hợp với nhau mà không đánh giá từng hàng. Tôi thường sử dụng các phép nối để nhanh chóng giảm số hàng mà truy vấn cần đánh giá, sau đó tôi xem nhóm của mình.

Trong trường hợp này, bạn muốn thay thế DISTINCT bằng cách nhóm.

Hãy thử điều này;

SELECT sp.name, sp.longitude, sp.latitude, sp.atcoCode 

FROM `transportdata`.stoppoints as sp 
    INNER JOIN `vehicledata`.gtfsstop_times as st ON sp.atcoCode = st.fk_atco_code 
    INNER JOIN `vehicledata`.gtfstrips as trip ON st.trip_id = trip.trip_id 
    INNER JOIN `vehicledata`.gtfsroutes as route ON trip.route_id = route.route_id 
    INNER JOIN `vehicledata`.gtfsagencys as agency ON route.agency_id = agency.agency_id 

WHERE agency.agency_id IN (1,2,3,4) 

GROUP BY sp.name 
    , sp.longitude 
    , sp.latitude 
    , sp.atcoCode 

Answer 4

Có câu trả lời có giá trị khác cho câu hỏi của bạn và của tôi là bổ sung cho nó. Tôi giả sử sp.atcoCode và st.fk_atco_code là các cột được lập chỉ mục trong bảng của chúng.

Nếu bạn có thể xác thực và đảm bảo rằng id đại lý trong mệnh đề WHERE hợp lệ, bạn có thể loại trừ tham gia `vehicledata .gtfsagencys` trong JOINS vì bạn không tìm nạp bất kỳ bản ghi nào từ bảng.

SELECT DISTINCT sp.atcoCode, sp.name, sp.longitude, sp.latitude 
FROM `transportdata`.stoppoints as sp 
INNER JOIN `vehicledata`.gtfsstop_times as st ON sp.atcoCode = st.fk_atco_code 
INNER JOIN `vehicledata`.gtfstrips as trip ON st.trip_id = trip.trip_id 
INNER JOIN `vehicledata`.gtfsroutes as route ON trip.route_id = route.route_id 
WHERE route.agency_id IN (1,2,3,4);