Phương pháp phân bổ nào để sử dụng cho ứng dụng ghi nhật ký khối lượng lớn?

Question

Tôi đang phát triển trình ghi nhật ký/sniffer bằng Delphi. Trong quá trình hoạt động, tôi nhận được lượng dữ liệu khổng lồ, có thể tích lũy trong các hoạt động căng thẳng tới khoảng 3 GB dữ liệu. Trên một số máy tính nhất định khi chúng tôi đến các cấp đó, ứng dụng sẽ ngừng hoạt động và đôi khi sẽ ném ngoại lệ.

Hiện tại tôi đang sử dụng chức năng GetMem để cấp phát con trỏ cho từng thư.

Có cách nào tốt hơn để phân bổ bộ nhớ để tôi có thể giảm thiểu cơ hội bị lỗi không? Hãy nhớ rằng tôi không thể giới hạn kích thước đến một giới hạn cứng.

Bạn nghĩ gì về việc sử dụng HeapAlloc, VirtualAlloc hoặc thậm chí có thể tệp được ánh xạ? Mà sẽ tốt hơn?

Cảm ơn bạn.

Answer 1

Vấn đề cơ bản của bạn là giới hạn không gian địa chỉ cứng 4GB đối với các quy trình 32 bit. Vì bạn đang gặp vấn đề ở mức 3GB, tôi chỉ có thể đoán rằng bạn đang sử dụng /LARGEADDRESSAWARE chạy trên Windows 64 bit hoặc Windows 32 bit với công tắc khởi động/3GB.

Tôi nghĩ rằng bạn có một vài lựa chọn, bao gồm nhưng không giới hạn như sau:

1. Sử dụng ít bộ nhớ. Có lẽ bạn có thể xử lý các đoạn nhỏ hơn hoặc đẩy một số bộ nhớ vào đĩa.
2. Sử dụng 64 bit Delphi (vừa mới phát hành) hoặc FreePascal. Điều này giúp bạn giảm bớt ràng buộc về không gian địa chỉ nhưng hạn chế bạn với các phiên bản Windows 64 bit.
3. Sử dụng các tệp được ánh xạ bộ nhớ. Trên máy có nhiều bộ nhớ, đây là cách để truy cập vào bộ nhớ cache của bộ nhớ hệ điều hành. Các tệp ánh xạ bộ nhớ không dành cho những người yếu tim.

Tôi không thể tư vấn chắc chắn về giải pháp vì tôi không biết kiến ​​trúc của bạn nhưng theo kinh nghiệm của tôi, việc giảm dung lượng bộ nhớ của bạn thường là giải pháp tốt nhất.

Sử dụng trình phân bổ khác có khả năng tạo ra sự khác biệt nhỏ. Có đúng là có phân bổ phân mảnh thấp nhưng họ chắc chắn sẽ không thực sự giải quyết vấn đề của bạn. Tất cả những gì họ có thể làm sẽ khiến nó ít có khả năng nảy sinh hơn.