socket Python đệm

Question

Hãy nói rằng tôi muốn đọc một dòng từ một ổ cắm, sử dụng socket mô-đun tiêu chuẩn:

def read_line(s): 
    ret = '' 

    while True: 
     c = s.recv(1) 

     if c == '\n' or c == '': 
      break 
     else: 
      ret += c 

    return ret 

gì chính xác xảy ra trong s.recv(1)? Nó sẽ phát hành một cuộc gọi hệ thống mỗi lần? Tôi đoán tôi nên thêm một số đệm, dù sao:

Đối phù hợp nhất với phần cứng và mạng thực tế, giá trị của bufsize nên một sức mạnh tương đối nhỏ của 2, ví dụ, 4096.

http://docs.python.org/library/socket.html#socket.socket.recv

Nhưng dường như không dễ dàng để viết bộ đệm hiệu quả và an toàn theo chủ đề. Nếu tôi sử dụng file.readline() thì sao?

# does this work well, is it efficiently buffered? 
s.makefile().readline() 

Answer 1

Cuộc gọi recv() được xử lý trực tiếp bằng cách gọi hàm C thư viện.

Nó sẽ chặn việc chờ ổ cắm có dữ liệu. Trong thực tế, nó sẽ chỉ cho phép khối cuộc gọi hệ thống recv().

file.readline() là triển khai đệm hiệu quả. Nó không phải là luồng an toàn, bởi vì nó giả định nó là người duy nhất đọc tệp. (Ví dụ bằng cách đệm đầu vào sắp tới.)

Nếu bạn đang sử dụng đối tượng tệp, mỗi lần read() được gọi với đối số dương, mã cơ bản sẽ chỉ số lượng dữ liệu được yêu cầu, trừ khi dữ liệu đã được lưu vào bộ đệm.

Nó sẽ được đệm nếu:

• bạn đã gọi readline(), mà đọc một bộ đệm đầy đủ

• cuối dòng là trước khi kết thúc của bộ đệm

Vì vậy, để lại dữ liệu trong bộ đệm. Nếu không thì bộ đệm nói chung không được lấp đầy.

Mục tiêu của câu hỏi không rõ ràng. nếu bạn cần xem dữ liệu có sẵn trước khi đọc hay không, bạn có thể select() hoặc đặt ổ cắm thành chế độ không chặn với s.setblocking(False). Sau đó, lần đọc sẽ trả về trống, thay vì chặn, nếu không có dữ liệu chờ.

Bạn có đang đọc một tệp hoặc ổ cắm có nhiều luồng không? Tôi sẽ đặt một nhân viên duy nhất vào việc đọc ổ cắm và cho các vật phẩm nhận được vào một hàng đợi để xử lý bởi các chủ đề khác.

Đề xuất tư vấn Python Socket Module source và C Source that makes the system calls.

Answer 2

Nếu bạn quan tâm đến hiệu suất và kiểm soát ổ cắm hoàn toàn (bạn không chuyển nó vào thư viện), hãy thử thực hiện bộ đệm của riêng bạn bằng Python - Python string.find và string.split và thật nhanh chóng.

def linesplit(socket): 
    buffer = socket.recv(4096) 
    buffering = True 
    while buffering: 
     if "\n" in buffer: 
      (line, buffer) = buffer.split("\n", 1) 
      yield line + "\n" 
     else: 
      more = socket.recv(4096) 
      if not more: 
       buffering = False 
      else: 
       buffer += more 
    if buffer: 
     yield buffer 

Nếu bạn mong đợi payload để bao gồm dòng mà không phải là quá lớn, mà nên chạy khá nhanh, và tránh nhảy qua quá nhiều lớp chức năng cuộc gọi không cần thiết. Tôi muốn được thú vị khi biết cách so sánh này với tệp.readline() hoặc sử dụng socket.recv (1).

Answer 3

def buffered_readlines(pull_next_chunk, buf_size=4096): 
    """ 
    pull_next_chunk is callable that should accept one positional argument max_len, 
    i.e. socket.recv or file().read and returns string of up to max_len long or 
    empty one when nothing left to read. 

    >>> for line in buffered_readlines(socket.recv, 16384): 
    ... print line 
    ... 
    >>> # the following code won't read whole file into memory 
    ... # before splitting it into lines like .readlines method 
    ... # of file does. Also it won't block until FIFO-file is closed 
    ... 
    >>> for line in buffered_readlines(open('huge_file').read): 
    ... # process it on per-line basis 
     ... 
    >>> 
    """ 
    chunks = [] 
    while True: 
    chunk = pull_next_chunk(buf_size) 
    if not chunk: 
     if chunks: 
     yield ''.join(chunks) 
     break 
    if not '\n' in chunk: 
     chunks.append(chunk) 
     continue 
    chunk = chunk.split('\n') 
    if chunks: 
     yield ''.join(chunks + [chunk[0]]) 
    else: 
     yield chunk[0] 
    for line in chunk[1:-1]: 
     yield line 
    if chunk[-1]: 
     chunks = [chunk[-1]] 
    else: 
     chunks = []