Celery and SQLAlchemy - Đối tượng kết quả này không trả về các hàng. Nó đã được đóng tự động

Question

Tôi có một dự án cần tây được kết nối với cơ sở dữ liệu MySQL. Một trong các bảng được định nghĩa như thế này:

class MyQueues(Base): 
    __tablename__ = 'accepted_queues' 

    id = sa.Column(sa.Integer, primary_key=True) 
    customer = sa.Column(sa.String(length=50), nullable=False) 
    accepted = sa.Column(sa.Boolean, default=True, nullable=False) 
    denied = sa.Column(sa.Boolean, default=True, nullable=False) 

Ngoài ra, trong các thiết lập tôi có

THREADS = 4 

Và tôi bị mắc kẹt trong một hàm trong code.py:

def load_accepted_queues(session, mode=None): 

    #make query 
    pool = session.query(MyQueues.customer, MyQueues.accepted, MyQueues.denied) 

    #filter conditions  
    if (mode == 'XXX'): 
     pool = pool.filter_by(accepted=1) 
    elif (mode == 'YYY'): 
     pool = pool.filter_by(denied=1) 
    elif (mode is None): 
     pool = pool.filter(\ 
      sa.or_(MyQueues.accepted == 1, MyQueues.denied == 1) 
      ) 

    #generate a dictionary with data 
    for i in pool: #<---------- line 90 in the error 
     l.update({i.customer: {'customer': i.customer, 'accepted': i.accepted, 'denied': i.denied}}) 

Khi chạy này Tôi gặp lỗi:

[20130626 115343] Traceback (most recent call last): 
    File "/home/me/code/processing/helpers.py", line 129, in wrapper 
    ret_value = func(session, *args, **kwargs) 
    File "/home/me/code/processing/test.py", line 90, in load_accepted_queues 
    for i in pool: #generate a dictionary with data 
    File "/home/me/envs/me/local/lib/python2.7/site-packages/sqlalchemy/orm/query.py", line 2341, in instances 
    fetch = cursor.fetchall() 
    File "/home/me/envs/me/local/lib/python2.7/site-packages/sqlalchemy/engine/base.py", line 3205, in fetchall 
    l = self.process_rows(self._fetchall_impl()) 
    File "/home/me/envs/me/local/lib/python2.7/site-packages/sqlalchemy/engine/base.py", line 3174, in _fetchall_impl 
    self._non_result() 
    File "/home/me/envs/me/local/lib/python2.7/site-packages/sqlalchemy/engine/base.py", line 3179, in _non_result 
    "This result object does not return rows. " 
ResourceClosedError: This result object does not return rows. It has been closed automatically 

Vì vậy, chủ yếu nó là phần

ResourceClosedError: This result object does not return rows. It has been closed automatically 

và đôi khi cũng lỗi này:

DBAPIError: (Error) (, AssertionError('Result length not requested length:\nExpected=1. Actual=0. Position: 21. Data Length: 21',)) 'SELECT accepted_queues.customer AS accepted_queues_customer, accepted_queues.accepted AS accepted_queues_accepted, accepted_queues.denied AS accepted_queues_denied \nFROM accepted_queues \nWHERE accepted_queues.accepted = %s OR accepted_queues.denied = %s' (1, 1)

tôi không thể tái tạo các errror đúng vì nó thường xảy ra khi xử lý nhiều dữ liệu. Tôi đã cố gắng thay đổi THREADS = 4 thành 1 và các lỗi biến mất. Dù sao, nó không phải là một giải pháp vì tôi cần số lượng các chủ đề được giữ trên 4.

Ngoài ra, tôi đang bối rối về sự cần thiết phải sử dụng

for i in pool: #<---------- line 90 in the error 

hoặc

for i in pool.all(): #<---------- line 90 in the error 

và không thể tìm thấy một lời giải thích hợp của nó.

Tất cả cùng nhau: bất kỳ lời khuyên nào để bỏ qua những khó khăn này?

Answer 1

All together: any advise to skip these difficulties?

có. bạn hoàn toàn không thể sử dụng Phiên (hoặc bất kỳ đối tượng nào được liên kết với Phiên đó) hoặc Kết nối, trong nhiều hơn một luồng cùng một lúc, đặc biệt là với MySQL-Python có kết nối DBAPI rất không an toàn *. Bạn phải tổ chức ứng dụng của bạn sao cho mỗi luồng giao dịch với kết nối MySQL-Python riêng của nó (và do đó kết nối SQLAlchemy/Session/các đối tượng liên quan đến Session đó) mà không có sự rò rỉ cho bất kỳ luồng nào khác.

• Chỉnh sửa: cách khác, bạn có thể sử dụng mutexes để giới hạn quyền truy cập vào kết nối phiên/kết nối/DBAPI chỉ với một trong các chủ đề đó, mặc dù điều này ít phổ biến hơn. để đánh bại mục đích sử dụng nhiều luồng ở vị trí đầu tiên.