Xuất một lượng lớn dữ liệu cho khách hàng trong asp.net

Question

Tôi cần xuất một lượng lớn dữ liệu (~ 100mb) từ bảng sql sang người dùng qua web. Điều gì sẽ là giải pháp tốt nhất để làm như vậy? Một ý nghĩ là xuất dữ liệu vào một thư mục trên máy chủ db, nén nó (bằng một số phương tiện) và sau đó cung cấp liên kết tải xuống cho người dùng. Bất kỳ phương pháp khác để làm như vậy? Ngoài ra, chúng tôi có thể nén dữ liệu từ trong máy chủ sql không?

Mọi phương pháp đều được chào đón.

Answer 1

Liên kết tải xuống là giải pháp hoàn toàn hợp lệ và hợp lý. Người khác sẽ tự động chuyển hướng người dùng đến tệp đó để họ không cần nhấp vào liên kết. Nó thực sự phụ thuộc vào quy trình làm việc và trải nghiệm giao diện người dùng của bạn.

Tôi sẽ đề xuất chống lại việc triển khai nén trong công cụ Máy chủ SQL. Thay vào đó hãy nhìn vào thư viện DotNetZip (Hoặc System.IO.Conpression nếu bạn nghĩ rằng người dùng của bạn có khả năng nén lưu trữ gzip) và thực hiện nén trong ứng dụng web.

Answer 2

Nếu XML là OK, một cách tiếp cận sẽ được chọn dữ liệu "FOR XML" như thế này: http://www.sqljunkies.ddj.com/Article/296D1B56-8BDD-4236-808F-E62CC1908C4E.scuk

Và sau đó nhổ ra XML liệu trực tiếp vào trình duyệt như content-type: text/xml. Ngoài ra, hãy chắc chắn thiết lập nén Gzip trên máy chủ web của bạn cho các tệp có phần mở rộng XML. http://www.microsoft.com/technet/prodtechnol/WindowsServer2003/Library/IIS/502ef631-3695-4616-b268-cbe7cf1351ce.mspx?mfr=true

Điều này sẽ thu nhỏ tệp XML xuống 1/3 hoặc có thể 1/4 kích thước khi tệp được chuyển. Đây sẽ không phải là tùy chọn hiệu suất cao nhất vì không gian lãng phí vốn có trong các tệp XML, nhưng rất nhiều tùy thuộc vào định dạng bạn đang tìm kiếm cuối cùng.

Một tùy chọn khác sẽ là sử dụng CSharpZipLib miễn phí để nén XML (hoặc bất kỳ định dạng nào bạn muốn) thành tệp zip mà người dùng sẽ tải xuống. Dọc theo những dòng này, nếu đây là thứ sẽ được sử dụng thường xuyên, bạn có thể muốn xem trong bộ nhớ đệm và lưu trữ tệp zip trên máy chủ web với một số loại hết hạn để nó không được tạo lại cho mọi yêu cầu.

Answer 3

Bạn có thể đáp ứng một yêu cầu trang với một tập tin:

Response.AddHeader("Content-Disposition", 
    "attachment; filename=yourfile.csv"); 
Response.ContentType = "text/plain"; 

Hãy chắc chắn để biến đệm tắt, vì vậy IIS có thể bắt đầu gửi phần đầu tiên của tập tin trong khi bạn đang xây dựng thứ hai:

Response.BufferOutput = false; 

Sau đó, bạn có thể bắt đầu viết các tập tin như:

Response.Write("field1,field2,field3\r\n"); 

Khi tập tin là complet ely viết, kết thúc phản ứng, vì vậy ASP.NET không nối thêm một trang web vào tệp của bạn:

Response.End(); 

Bằng cách này, bạn không phải ghi tệp trên máy chủ web, bạn chỉ cần tạo tệp trong bộ nhớ và gửi chúng cho người dùng của bạn.

Nếu nén là bắt buộc, bạn có thể viết tệp ZIP theo cách tương tự. Đây là một free library đẹp để tạo tệp ZIP.

Answer 4

Cách tiếp cận của bạn hoạt động tốt. SSIS + 7zip có thể hữu ích cho việc tự động hóa quy trình nếu bạn cần thực hiện nhiều hơn một vài lần.

Answer 5

Tôi sẽ không kết nối cơ sở dữ liệu đang chờ người dùng tải xuống 100Mb, ngay cả đối với người dùng tốc độ cao.Khi người dùng yêu cầu tệp, họ có chỉ định địa chỉ email. Sau đó gọi một quá trình asynch để kéo dữ liệu, ghi nó vào một tập tin tạm thời (không muốn> 100mb trong bộ nhớ sau khi tất cả), sau đó zip file tạm thời vào một vị trí lưu trữ, sau đó gửi cho người dùng một email với một liên kết để tải về tập tin.