Sử dụng Django ORM trong chủ đề và tránh "quá nhiều khách hàng" ngoại lệ bằng cách sử dụng BoundedSemaphore

Question

Tôi làm việc trên lệnh manage.py tạo ra khoảng 200 luồng để kiểm tra máy chủ từ xa. Thiết lập cơ sở dữ liệu của tôi cho phép tôi sử dụng 120 kết nối, vì vậy tôi cần phải sử dụng một số loại tổng hợp. Tôi đã cố gắng sử dụng chủ đề tách ra, như thế này

class Pool(Thread): 
    def __init__(self): 
     Thread.__init__(self)   
     self.semaphore = threading.BoundedSemaphore(10) 

    def give(self, trackers): 
     self.semaphore.acquire() 
     data = ... some ORM (not lazy, query triggered here) ... 
     self.semaphore.release() 
     return data 

tôi vượt qua thể hiện của đối tượng này để mỗi thread check-nhưng vẫn nhận được "OperationalError: Fatal: xin lỗi, quá nhiều khách hàng đã" bên trong đối tượng Pool sau init-ing 120 chủ đề. Tôi đã dự kiến ​​rằng chỉ có 10 kết nối cơ sở dữ liệu sẽ được mở và các chuỗi sẽ chờ khe semaphore miễn phí. Tôi có thể kiểm tra semaphore hoạt động bằng cách bình luận "phát hành()", trong trường hợp đó chỉ có 10 chủ đề sẽ làm việc và khác sẽ chờ cho đến khi chấm dứt ứng dụng.

Nhiều như tôi hiểu, mỗi chuỗi đang mở kết nối mới với cơ sở dữ liệu ngay cả khi cuộc gọi thực sự nằm trong chuỗi khác nhau, nhưng tại sao? Có cách nào để thực hiện tất cả các truy vấn cơ sở dữ liệu bên trong chỉ có một luồng không?

Answer 1

ORM của Django quản lý các kết nối cơ sở dữ liệu trong các biến chuỗi địa phương. Vì vậy, mỗi luồng khác nhau truy cập vào ORM sẽ tạo ra kết nối riêng của nó. Bạn có thể thấy rằng trong một vài dòng đầu tiên của django/db/backends/__init__.py.

Nếu bạn muốn giới hạn số lượng kết nối cơ sở dữ liệu được thực hiện, bạn phải giới hạn số chuỗi khác nhau thực sự truy cập ORM. Một giải pháp có thể là triển khai một dịch vụ ủy nhiệm các yêu cầu ORM tới một nhóm các luồng ORM chuyên dụng. Để truyền tải các yêu cầu và kết quả của chúng từ và tới các luồng khác, bạn sẽ phải thực hiện một số loại cơ chế truyền thông điệp. Vì đây là một vấn đề điển hình của nhà sản xuất/người tiêu dùng, nên các tài liệu Python về luồng nên đưa ra một số gợi ý làm thế nào để đạt được điều này.

Chỉnh sửa: Tôi vừa googled cho "kết nối django tổng hợp". Có rất nhiều người phàn nàn rằng Django không cung cấp một hồ bơi kết nối thích hợp. Một số người trong số họ đã quản lý để tích hợp một gói gộp riêng biệt. Đối với PostgreSQL, tôi sẽ xem xét phần mềm trung gian pgpool.