tôi cần nhập vào cơ sở dữ liệu tệp csv với 20 triệu hàng và 2 cột, nhưng khi tôi cố gắng làm điều này với trình hướng dẫn nhập dữ liệu của bàn làm việc mysql cực kỳ chậm, có thể là sẽ mất 1 tháng để hoàn thành, nhìn vào thanh tiến trình. Phải có một số cách nhanh hơn để làm điều này, tôi hy vọng. Cảm ơn bạn rất nhiềuTrình hướng dẫn nhập dữ liệu bảng bàn làm việc của MySQL cực kỳ chậm
Trả lời
Luôn sử dụng Load Data Infile
làm nỗ lực đầu tiên cho tập dữ liệu khổng lồ.
Trang hướng dẫn sử dụng Mysql trên Load Data Infile.
Đã viết một số câu trả lời cho câu hỏi này, nhưng để so sánh ngang hàng, hãy xem câu hỏi của anh chàng này và Answer và so sánh thời gian của Workbench và Tải dữ liệu Infile.
Nếu điều này giúp bất kỳ ai, tôi vẫn sử dụng trình hướng dẫn nhập trên hàng dữ liệu đầu tiên vì nó có trình hướng dẫn thích hợp để tạo bảng từ csv. Sau đó, sử dụng lệnh 'Tải dữ liệu Infile' để điền bảng. Một phương pháp lai tốt đẹp của nó. Đó là một sự xấu hổ thực sự giao diện người dùng không hoạt động theo cách này dưới mui xe. Vì nó được mã hóa ngay bây giờ, nó khá vô giá trị như một số lượng lớn nhập khẩu. – raider33
Cảm ơn @ raider33 vì đã chia sẻ – Drew
Đây là giải pháp thay thế. Dump dữ liệu CSV của bạn vào tập lệnh sql, bạn cần phải viết một số mã cho điều này. Về cơ bản, dữ liệu csv của bạn sẽ được chuyển đổi thành tương tự như dưới đây lệnh
INSERT INTO TABLE_NAME values(1,2),(1,3),....;
hiện nay sử dụng shell script MySQL và sử dụng SOURCE
lệnh
mysql> nguồn C: scripts/Users/Desktop/sql/script.sql
dữ liệu của bạn sẽ được nhập nhanh hơn so với nhập CSV trực tiếp cho hàng triệu bản ghi.
Nếu bạn không muốn viết mã, tôi khuyên bạn nên thử một ứng dụng khách GUI miễn phí khác như HeidiSQL. Nó nhập khẩu các tập tin CSV/văn bản nhanh hơn nhiều so với MySQL Workbench.
Tôi gặp vấn đề tương tự với bàn làm việc MySQL. Cách thay thế tôi tìm thấy là Toad cho MySQL (https://www.toadworld.com/m/freeware/1469)
Tôi sẽ mất 40 phút thông qua quản trị viên MySQL, kết nối với máy chủ MySQL từ xa. Trên máy chủ MySQL, quá trình tải lên mất vài phút. Với con cóc tôi có thể kết nối với máy chủ từ xa và tải lên trong vài phút. Tôi đã cố gắng HeidiSQL, nhưng không tìm thấy nó là thân thiện để nhập khẩu.
- 1. Tìm nạp dữ liệu cốt lõi cực kỳ chậm
- 2. nhập khẩu cực kỳ chậm chạp của matplotlib AFM
- 3. Làm cách nào để nhập dữ liệu vào cơ sở dữ liệu mysql qua bàn làm việc mysql?
- 4. PrincipalContext.ValidateCredentials cực kỳ chậm
- 5. Google App-Engine Datastore cực kỳ chậm
- 6. Aptana "Xây dựng không gian làm việc" cực kỳ chậm
- 7. MySQL Ở ĐÂU KHÔNG TRONG cực kỳ chậm
- 8. Gradle build cực kỳ chậm
- 9. Việc tải lớp Java chạy cực kỳ chậm?
- 10. /dev/ngẫu nhiên Cực kỳ chậm?
- 11. Từ xa Postgresql - cực kỳ chậm
- 12. Opencart tốc độ tải cực kỳ chậm
- 13. Chèn trong cơ sở dữ liệu Nhân rộng Hợp nhất cực kỳ chậm
- 14. Chế độ xem CouchDB cực kỳ chậm
- 15. Django REST của Khung Serialize cực kỳ chậm
- 16. mảng nhanh chóng xóaLoại cực kỳ chậm
- 17. Trình mô phỏng Android x86 cực kỳ chậm
- 18. Nuget Update-Package lệnh cực kỳ chậm
- 19. Cordova, Android, tải cực kỳ chậm
- 20. __git_ps1 cực kỳ chậm trong hạt nhân
- 21. Trang web cực kỳ chậm trên IIS
- 22. Bình trên Heroku: request.form cực kỳ chậm với dữ liệu POST lớn?
- 23. Netbeans 7.2 FTP cực kỳ chậm
- 24. MySql - chậm gửi dữ liệu giai đoạn
- 25. Rails làm cho quan điểm cực kỳ chậm
- 26. QTableView cực kỳ chậm (thậm chí chỉ với 3000 hàng)
- 27. MySQL "Gửi dữ liệu" khủng khiếp chậm
- 28. Sửa đổi thuộc tính 'className' cực kỳ chậm trong IE7
- 29. Làm cách nào để nhập dữ liệu XBRL vào MySQL?
- 30. Hiệu suất cực kỳ chậm trên Azure VM
Tôi đã viết [Câu trả lời này] (http://stackoverflow.com/a/32702768) cho một fella. Mất 8 giờ nhập khẩu của mình xuống một phút hoặc lâu hơn. Có vẻ cực đoan, nhưng đó là những gì anh ta nói. – Drew