Sử dụng bộ nhớ Python: Đối tượng nào của tôi đang chiếm nhiều bộ nhớ nhất?

Question

Chương trình tôi đã viết lưu trữ một lượng lớn dữ liệu trong từ điển. Cụ thể, tôi đang tạo ra 1588 trường hợp của một lớp, mỗi lớp chứa 15 từ điển với 1500 float để ánh xạ nổi. Quá trình này đã được sử dụng lên 2GB bộ nhớ trên máy tính xách tay của tôi khá nhanh (tôi bắt đầu viết để trao đổi vào khoảng lần thứ 1000 của lớp).

Câu hỏi của tôi là điều nào sau đây là sử dụng hết bộ nhớ của tôi?

• 34 triệu một số phao nổi?
• Chi phí của 22.500 từ điển?
• chi phí của 1500 lớp học?

Với tôi, có vẻ như bộ nhớ hog phải là số lượng lớn các số dấu phẩy động mà tôi đang giữ trong bộ nhớ. Tuy nhiên, nếu những gì tôi đã đọc cho đến nay là chính xác, mỗi số dấu phẩy động của tôi chiếm 16 byte. Vì tôi có 34 triệu đôi, nên khoảng 108 triệu byte, chỉ hơn một gigabyte.

Có điều gì tôi không xem xét ở đây không?

Answer 1

Các phao nổi làm mất 16 byte mỗi người, và một dict với 1500 mục về 100k:

>> sys.getsizeof(1.0) 
16 
>>> d = dict.fromkeys((float(i) for i in range(1500)), 2.0) 
>>> sys.getsizeof(d) 
98444 

nên 22.500 dicts mất hơn 2GB tất cả bởi chính mình, những 68 triệu nổi khác GB hoặc lâu hơn. Không chắc chắn cách bạn tính 68 triệu lần 16 chỉ bằng 100 triệu - bạn có thể đã giảm số 0 ở đâu đó.

Bản thân lớp học chiếm một số lượng không đáng kể và 1500 trường hợp của chúng (lưới của các đối tượng mà chúng tham chiếu tất nhiên, giống như getsizeof cung cấp cho chúng tôi số tiền ròng như vậy). , đó không phải là vấn đề. Tức là .:

>>> sys.getsizeof(Sic) 
452 
>>> sys.getsizeof(Sic()) 
32 
>>> sys.getsizeof(Sic().__dict__) 
524 

452 cho lớp, (524 + 32) * 1550 = 862K cho tất cả các trường hợp, như bạn thấy đó không phải là lo lắng khi bạn có gigabyte mỗi trong dicts và nổi.