Kết nối cơ sở dữ liệu tổng hợp với dịch vụ đa luồng

Question

Tôi có dịch vụ .NET 4 C# đang sử dụng thư viện TPL để phân luồng. Gần đây chúng tôi đã chuyển sang sử dụng kết nối tổng hợp, vì một kết nối đã trở thành một cổ chai để xử lý.

Trước đây, chúng tôi đã sử dụng mệnh đề khóa để kiểm soát an toàn luồng trên đối tượng kết nối. Khi công việc sẽ sao lưu, hàng đợi sẽ tồn tại dưới dạng nhiệm vụ, và nhiều luồng (nhiệm vụ) sẽ đợi trong mệnh đề khóa. Bây giờ, trong hầu hết các kịch bản, các chủ đề chờ IO cơ sở dữ liệu và các quy trình làm việc MUCH nhanh hơn.

Tuy nhiên, bây giờ tôi đang sử dụng tính năng tổng hợp kết nối, chúng tôi có sự cố mới. Khi đạt đến số lượng kết nối tối đa (100 mặc định), nếu có yêu cầu kết nối thêm, có thời gian chờ (xem Pooling info). Khi điều này xảy ra, một ngoại lệ được ném ra rằng "Yêu cầu kết nối đã hết thời gian".

Tất cả IDisposables của tôi đều nằm trong các câu lệnh và tôi đang quản lý đúng các kết nối của mình. Kịch bản này xảy ra do nhiều công việc được yêu cầu hơn so với hồ bơi có thể xử lý (dự kiến). Tôi hiểu lý do tại sao ngoại lệ này bị ném và tôi biết cách xử lý nó. Một thử lại đơn giản cảm thấy giống như một hack. Tôi cũng nhận ra rằng tôi có thể tăng thời gian chờ thông qua chuỗi kết nối, tuy nhiên điều đó không giống như một giải pháp vững chắc. Trong thiết kế trước đó (không gộp chung), các mục công việc sẽ xử lý vì khóa trong ứng dụng.

Cách tốt nhất để xử lý trường hợp này là gì để đảm bảo rằng tất cả công việc được xử lý?

Answer 1

Cách tiếp cận khác là sử dụng mã semaphore xung quanh mã truy xuất kết nối từ nhóm (và, hy vọng, trả về chúng). Sempahore giống như một tuyên bố khóa, ngoại trừ việc nó cho phép một số người yêu cầu có thể cấu hình tại một thời điểm, không chỉ một.

Something như thế này nên làm:

//Assuming mySemaphore is a semaphore instance, e.g. 
// public static Semaphore mySemaphore = new Semaphore(100,100); 
try { 
    mySemaphore.WaitOne(); // This will block until a slot is available. 
    DosomeDatabaseLogic(); 
} finally { 
    mySemaphore.Release(); 
} 

Answer 2

Bạn có thể tìm kiếm để kiểm soát mức độ song song bằng cách sử dụng phương pháp Parallel.ForEach() như sau:

var items = ; // your collection of work items 
var parallelOptions = new ParallelOptions { MaxDegreeOfParallelism = 100 }; 
Parallel.ForEach(items, parallelOptions, ProcessItem) 

Trong trường hợp này tôi đã chọn để thiết lập mức độ đến 100, nhưng bạn có thể chọn một giá trị có ý nghĩa cho triển khai nhóm kết nối hiện tại của bạn.

Tất nhiên, giải pháp này giả định rằng bạn có một tập hợp các mục công việc ở phía trước. Tuy nhiên, nếu bạn đang tạo Nhiệm vụ mới thông qua một số cơ chế bên ngoài như yêu cầu web đến thì ngoại lệ thực sự là một điều tốt. Tại thời điểm đó, tôi sẽ đề nghị bạn sử dụng cấu trúc dữ liệu Queue đồng thời, nơi bạn có thể đặt các mục công việc và bật chúng ra khi các luồng công nhân có sẵn.

Answer 3

Giải pháp đơn giản nhất là tăng thời gian chờ kết nối với khoảng thời gian bạn sẵn sàng chặn yêu cầu trước khi trả lại lỗi. Phải có một khoảng thời gian dài "quá dài".

Điều này sử dụng hiệu quả hồ bơi kết nối làm hàng đợi công việc với thời gian chờ. Nó dễ dàng hơn rất nhiều so với cố gắng để thực hiện một mình. Bạn sẽ phải kiểm tra hồ bơi kết nối là công bằng (FIFO).