Khóa phiên dịch toàn cầu và truy cập dữ liệu (ví dụ: đối với mảng NumPy)

Question

Tôi đang viết một phần mở rộng C cho Python, sẽ phát hành Khóa thông dịch toàn cục trong khi nó hoạt động trên dữ liệu. Tôi nghĩ rằng tôi đã hiểu cơ chế của GIL khá tốt, nhưng vẫn còn một câu hỏi: Tôi có thể truy cập dữ liệu trong một đối tượng Python trong khi luồng không sở hữu GIL không? Ví dụ, tôi muốn đọc dữ liệu từ một mảng lớn (NumPy) trong hàm C trong khi tôi vẫn muốn cho phép các luồng khác làm những việc khác trên các lõi CPU khác. Chức năng C nên

• phát hành GIL với Py_BEGIN_ALLOW_THREADS
• đọc và làm việc trên các dữ liệu mà không cần sử dụng Python chức năng
• thậm chí ghi dữ liệu vào mảng NumPy xây dựng trước đây
• reacquire các GIL với Py_END_ALLOW_THREADS

Điều này có an toàn không? Tất nhiên, các luồng khác không được phép thay đổi các biến mà hàm C sử dụng. Nhưng có thể có một nguồn ẩn cho các lỗi: có thể trình thông dịch Python di chuyển một đối tượng, ví dụ. bởi một số loại bộ sưu tập rác, trong khi chức năng C hoạt động trên nó trong một chủ đề riêng biệt?

Để minh họa câu hỏi với ví dụ tối thiểu, hãy xem xét mã (tối thiểu nhưng hoàn thành) bên dưới. Biên dịch nó (trên Linux) với

gcc -pthread -fno-strict-aliasing -DNDEBUG -g -fwrapv -fPIC -I/usr/lib/pymodules/python2.7/numpy/core/include -I/usr/include/python2.7 -c gilexample.c -o gilexample.o 
gcc -pthread -shared gilexample.o -o gilexample.so 

và thử nghiệm nó trong Python với

import gilexample 
gilexample.sum([1,2,3]) 

Là mã giữa Py_BEGIN_ALLOW_THREADS và Py_END_ALLOW_THREADS an toàn không? Nó truy cập nội dung của một đối tượng Python, và tôi không muốn sao chép mảng (có thể lớn) trong bộ nhớ.

#include <Python.h> 
#include <numpy/arrayobject.h> 

// The relevant function 
static PyObject * sum(PyObject * const self, PyObject * const args) { 
    PyObject * X; 
    PyArg_ParseTuple(args, "O", &X); 
    PyObject const * const X_double = PyArray_FROM_OTF(X, NPY_DOUBLE, NPY_ALIGNED); 
    npy_intp const size = PyArray_SIZE(X_double); 
    double * const data = (double *) PyArray_DATA(X_double); 
    double sum = 0; 

    Py_BEGIN_ALLOW_THREADS // IS THIS SAFE? 

    npy_intp i; 
    for (i=0; i<size; i++) 
    sum += data[i]; 

    Py_END_ALLOW_THREADS 

    Py_DECREF(X_double); 
    return PyFloat_FromDouble(sum); 
} 

// Python interface code 
// List the C methods that this extension provides. 
static PyMethodDef gilexampleMethods[] = { 
    {"sum", sum, METH_VARARGS}, 
    {NULL, NULL, 0, NULL}  /* Sentinel - marks the end of this structure */ 
}; 

// Tell Python about these methods. 
PyMODINIT_FUNC initgilexample(void) { 
    (void) Py_InitModule("gilexample", gilexampleMethods); 
    import_array(); // Must be present for NumPy. 
} 

Answer 1

Tôi có thể truy cập dữ liệu trong một đối tượng Python trong khi thread không sở hữu GIL?

Không, bạn không thể.

Answer 2

Điều này có an toàn không?

Đúng, không. Tôi nghĩ bạn nên chuyển các cuộc gọi đến PyArray_SIZE và PyArray_DATA bên ngoài khối GIL ít hơn; nếu bạn làm điều đó, bạn sẽ chỉ hoạt động trên dữ liệu C. Bạn cũng có thể muốn tăng số lượng tham chiếu trên đối tượng trước khi đi vào khối GIL-less và giảm nó sau đó.

Sau khi chỉnh sửa, nó sẽ an toàn. Đừng quên giảm số lượng tham chiếu sau đó.