Tốc độ máy phát điện trong python 3

Question

Tôi đang xem qua một số link about generators mà ai đó đã đăng. Ban đầu, anh so sánh hai chức năng dưới đây. Trên thiết lập của mình, ông đã cho thấy một sự gia tăng tốc độ 5% với máy phát điện.

Tôi đang chạy Windows XP, python 3.1.1 và dường như không thể sao chép kết quả. Tôi tiếp tục hiển thị "cách cũ" (logs1) nhanh hơn một chút khi được thử nghiệm với nhật ký được cung cấp và tối đa 1GB dữ liệu trùng lặp.

Ai đó có thể giúp tôi hiểu điều gì đang xảy ra khác nhau không?

Cảm ơn!

def logs1(): 
    wwwlog = open("big-access-log") 
    total = 0 
    for line in wwwlog: 
     bytestr = line.rsplit(None,1)[1] 
     if bytestr != '-': 
      total += int(bytestr) 
    return total 

def logs2(): 
    wwwlog = open("big-access-log") 
    bytecolumn = (line.rsplit(None,1)[1] for line in wwwlog) 
    getbytes  = (int(x) for x in bytecolumn if x != '-') 
    return sum(getbytes) 

* chỉnh sửa, khoảng cách sai lầm trong copy/paste

Answer 1

Đối với những gì đáng giá, mục đích chính của so sánh tốc độ trong bản trình bày là chỉ ra rằng việc sử dụng trình tạo không giới thiệu chi phí hiệu năng lớn. Nhiều lập trình viên, khi lần đầu tiên nhìn thấy máy phát điện, có thể bắt đầu tự hỏi về chi phí ẩn. Ví dụ, có tất cả các loại ma thuật kỳ lạ đang diễn ra đằng sau hậu trường không? Việc sử dụng tính năng này có làm cho chương trình của tôi chạy chậm gấp hai lần không?

Nói chung không phải như vậy. Ví dụ này có nghĩa là để cho thấy rằng một giải pháp máy phát có thể chạy với tốc độ tương tự, nếu không nhanh hơn một chút trong một số trường hợp (mặc dù nó phụ thuộc vào tình huống, phiên bản của Python, v.v.). Nếu bạn đang quan sát sự khác biệt lớn về hiệu suất giữa hai phiên bản, thì đó sẽ là điều đáng để nghiên cứu.

Answer 2

Bạn không có một câu trả lời một sau gần nửa giờ. Tôi đang đăng một cái gì đó có ý nghĩa với tôi, không nhất thiết phải là câu trả lời đúng. Tôi thấy rằng điều này tốt hơn không có gì sau gần nửa giờ:

Thuật toán đầu tiên sử dụng trình tạo. Một chức năng máy phát điện bằng cách tải page kết quả đầu tiên từ danh sách (vào bộ nhớ) và liên tục tải các trang kế tiếp (vào bộ nhớ) cho đến khi không còn gì để đọc từ đầu vào.

Thuật toán thứ hai sử dụng hai trình tạo, mỗi thuật toán có tuyên bố if cho tổng số hai so sánh trên mỗi vòng lặp thay vì so sánh một thuật toán đầu tiên.

Ngoài ra thuật toán thứ hai gọi hàm sum ở cuối trái ngược với thuật toán đầu tiên chỉ đơn giản là thêm các số nguyên có liên quan khi nó tiếp tục gặp phải chúng.

Như vậy, đối với các đầu vào đủ lớn, thuật toán thứ hai có nhiều so sánh hơn và gọi hàm bổ sung hơn so với đầu tiên. Điều này có thể giải thích tại sao phải mất nhiều thời gian để hoàn thành hơn thuật toán đầu tiên.

Hope this helps

Answer 3

Trong slide David Beazley của bạn liên quan đến, ông khẳng định rằng tất cả các cuộc thử nghiệm đã chạy với "Python 2.5.1 trên OS X 10.4.11," và bạn nói rằng bạn đang chạy thử nghiệm với Python 3.1 trên Windows XP. Vì vậy, nhận ra bạn đang làm một số quả táo để so sánh cam. Tôi nghi ngờ về hai biến, phiên bản Python quan trọng hơn nhiều.

Python 3 là một con thú khác với Python 2. Nhiều thứ đã thay đổi dưới mui xe, (ngay cả trong nhánh Python 2). Điều này bao gồm tối ưu hóa hiệu suất cũng như hồi quy hiệu suất (xem, ví dụ: Beazley's own recent blog post on I/O in Python 3). Vì lý do này, các Python Performance Tips bang trang một cách rõ ràng,

Bạn nên thường xuyên kiểm tra những lời khuyên với ứng dụng của bạn và phiên bản của Python bạn định sử dụng chứ không chỉ mù quáng chấp nhận rằng một phương pháp là nhanh hơn khác .

tôi nên đề cập rằng một khu vực mà bạn có thể tin cậy vào máy phát điện giúp là trong việc giảm bộ nhớ tiêu dùng, chứ không phải là tiêu thụ CPU. Nếu bạn có một lượng lớn dữ liệu mà bạn tính toán hoặc trích xuất nội dung nào đó từ từng phần riêng lẻ và bạn không cần dữ liệu sau, máy phát sẽ sáng. Xem generator comprehension để biết thêm chi tiết.