LINQ hiệu suất cho bộ sưu tập

Question

trong bộ nhớ tôi có một danh sách: người sử dụng Bộ sưu tập trong đó có khoảng 100K + hồ sơ của người sử dụng (tất cả đối tượng người dùng nạp đầy đủ từ cơ sở dữ liệu với các lĩnh vực như Bio, Tên, họ cuối cùng vv). Bộ sưu tập này được tìm nạp khi bắt đầu ứng dụng từ cơ sở dữ liệu và được lưu trong bộ nhớ.

Sau đó, tôi có mã như:

User cachedUser = users.FirstOrDefault(x => string.Equals(x.UserName, username, 
StringComparison.CurrentCultureIgnoreCase)); 

nào tôi sử dụng để lấy người dùng từ bộ sưu tập này. Nhưng bằng cách nào đó tôi nhận thấy rằng hoạt động này là cực kỳ chậm. Có một vấn đề hiệu suất trong khi sử dụng LINQ để truy vấn trong bộ sưu tập bộ nhớ của các đối tượng lớn? Thay vào đó, tôi có nên gọi cho DB mỗi khi tôi muốn có người dùng không?

Answer 1

Nếu bạn muốn tối ưu hóa thời gian phản hồi của bạn và bạn có thể tạo ra một Dictionary<T,U> và tìm kiếm người dùng trong:

Dictionary<string, User> usersDictionary = new <Dictionary<string, User>(StringComparer.CurrentCultureIgnoreCase); 

    // After querying the users from the DB add them to the dictionary    
    usersDictionary.Add(user.UserName, user); 

    // Then when you need to retrieve a user 
    User retrieveUser = null; 
    usersDictionary.TryGetValue(username, out retrieveUser); 

Hy vọng rằng sẽ giúp!

Answer 2

truy vấn LINQ của bạn giống như bất kỳ kỹ thuật lặp khác (vòng lặp, tìm kiếm trong mảng) sẽ truy cập vào tất cả các hồ sơ duy nhất cho đến khi kỷ lục được yêu cầu được tìm thấy. Trong trường hợp xấu nhất có nghĩa là so sánh 100k. Để làm cho việc này nhanh hơn, bạn có các tùy chọn sau:

1. sử dụng danh sách được sắp xếp hoặc từ điển: tìm kiếm nhị phân nhanh hơn rất nhiều. Sắp xếp dữ liệu khi lấy nó ra khỏi cơ sở dữ liệu bằng cách sử dụng ORDER BY
2. sử dụng một DataSet. Nó giống như một cơ sở dữ liệu trong bộ nhớ cung cấp nhanh hơn tìm kiếm
3. Để lại các dữ liệu trong cơ sở dữ liệu và thiết lập các chỉ số thích hợp cho việc truy cập nhanh hơn

Tôi đề nghị để sử dụng cơ sở dữ liệu do các nguyên nhân sau:

• Đó là một sự lãng phí bộ nhớ để lưu trữ 100k bản ghi, mà bạn có thể không bao giờ sử dụng
• Ngay sau khi bạn thay đổi dữ liệu của mình, bạn sẽ phải làm mới bộ nhớ cache của mình, có thể khá phức tạp
• web applicati các tiện ích được đa luồng (mọi yêu cầu chạy trong chuỗi riêng của nó). Trong trường hợp bạn thay đổi dữ liệu, bạn sẽ phải đồng bộ hóa với các khóa.
• một cơ sở dữ liệu có thể cache thường được gọi là dữ liệu
• bạn phải viết mã ít hơn
• bạn có một ứng dụng web không quốc tịch mà quy mô tốt hơn (trang trại web)
• ứng dụng của bạn có thể có các dữ liệu khác, bạn không thể lưu trữ tất cả mọi thứ trong bộ nhớ

Answer 3

Tôi nghĩ rằng bạn có thể cần phải suy nghĩ lại về kiến ​​trúc của bạn dựa trên thông tin mà bạn đã cho chúng ta. Tận dụng cơ sở dữ liệu và để nó thực hiện công việc tìm kiếm cho bạn. Quan sát, đo lường và thực hiện các thay đổi cho phù hợp sau đó. Bạn có thể nhận ra rằng bạn đã tối ưu hóa toàn bộ mọi thứ.

Answer 4

Chênh lệch trong việc thực hiện tìm kiếm mà bạn nhận thấy là vì cơ sở dữ liệu là sử dụng lập chỉ mục để xác định vị trí các chuỗi trong cơ sở dữ liệu, nhưng bạn trong bộ nhớ bạn tìm kiếm đơn giản tất cả hồ sơ cho đến khi bạn tìm thấy một sự. Ngoài ra, cơ sở dữ liệu giữ một số băm cho chuỗi và tìm kiếm số băm này nhanh hơn rất nhiều và không thực sự so sánh chuỗi.

Dictionary<> cũng làm một chỉ mục, nhưng có sự chậm trễ để thêm dữ liệu, khi dữ liệu bắt đầu phát triển vì khi thêm dữ liệu, mỗi lần tìm kiếm vị trí đặt nó vào đúng điểm chỉ mục.

Ngoài ra bộ đệm ẩn cơ sở dữ liệu kết quả, nhiều bộ nhớ cache cơ sở dữ liệu cũng lập chỉ mục và tạo số liệu thống kê bổ sung giúp định vị nhanh những gì bạn đang tìm kiếm.

Tốt hơn là để cơ sở dữ liệu thực hiện tìm kiếm, ngoại trừ nếu bạn có thể thực hiện điều gì đó nhanh hơn cho các trường hợp tùy chỉnh bổ sung.