Làm cách nào để tắt lịch sử trong mô-đun cơ giới hóa python?

Question

Tôi có một đoạn mã trên web lấy dữ liệu mới một lần mỗi phút, nhưng trong một vài ngày, tập lệnh kết thúc bằng 200MB bộ nhớ trở lên và tôi phát hiện ra đó là do cơ chế hóa lịch sử trình duyệt vô hạn cho hàm .back() để sử dụng.

Tôi đã xem xét các tài liệu và tôi đã tìm thấy hàm clear_history() của lớp trình duyệt và tôi gọi mỗi lần tôi làm mới, nhưng tôi vẫn nhận được mức sử dụng bộ nhớ cao hơn 2-3MB trên mỗi lần làm mới trang. chỉnh sửa: Hmm, có vẻ như nó tiếp tục làm điều tương tự sau khi tôi gọi clear_history, cho đến khi tôi nhận được khoảng 30MB giá trị sử dụng bộ nhớ, sau đó xóa xuống 10mb hoặc lâu hơn (đó là lượng bộ nhớ cơ bản của tôi chương trình bắt đầu với) ... bất kỳ cách nào để buộc hành vi này một cách thường xuyên hơn?

Làm cách nào để duy trì cơ chế lưu trữ tất cả thông tin này? Tôi không cần phải giữ nó. Tôi muốn giữ kịch bản python của tôi dưới 15MB sử dụng bộ nhớ.

Answer 1

Bạn có thể chuyển đối số history=whatever khi bạn khởi tạo Browser; giá trị mặc định là None có nghĩa là trình duyệt thực sự khởi tạo lớp History (để cho phép back và reload). Phương pháp đơn giản nhất (sẽ đưa ra một ngoại lệ lỗi thuộc tính nếu bạn đã từng làm gọi lại hoặc nạp lại):

class NoHistory(object): 
    def add(self, *a, **k): pass 
    def clear(self): pass 

b = mechanize.Browser(history=NoHistory()) 

một cách tiếp cận sạch sẽ thực hiện các phương pháp khác trong NoHistory để cung cấp cho trường hợp ngoại lệ rõ ràng hơn về việc sử dụng sai lầm của của trình duyệt back hoặc reload, nhưng cái đơn giản này là đủ. Lưu ý rằng đây là một sử dụng thanh lịch (mặc dù không được ghi chép ;-) của mẫu thiết kế tiêm phụ thuộc: trong thế giới "monkeypatching" (bleah), mã máy khách sẽ được ghi đè lên b._history sau khi trình duyệt được khởi tạo. , nhưng với tiêm phụ thuộc bạn chỉ cần vượt qua trong "lịch sử" đối tượng bạn muốn để sử dụng. Tôi đã thường xuyên duy trì rằng Dependency Injection có thể là DP quan trọng nhất không nằm trong cuốn sách "gang of 4"! -).