Sử dụng CPU hệ thống cao khi cạnh tranh với futex

Question

Tôi đã quan sát thấy rằng khi các futexes Linux được tranh luận, hệ thống dành rất nhiều thời gian trong các vòng quay. Tôi nhận thấy điều này là một vấn đề ngay cả khi futexes không được sử dụng trực tiếp, mà còn khi gọi các cuộc gọi md/free, rand, glib mutex và các cuộc gọi hệ thống/thư viện khác thực hiện cuộc gọi đến futex. Có ANY cách loại bỏ hành vi này không?

Tôi đang sử dụng CentOS 6.3 với hạt nhân 2.6.32-279.9.1.el6.x86_64. Tôi cũng đã thử phiên bản 3.6.6 mới nhất được tải xuống trực tiếp từ kernel.org.

Ban đầu, sự cố xảy ra trên máy chủ 24 lõi có RAM 16 GB. Quá trình này có 700 chủ đề. Các dữ liệu thu thập với "hồ sơ perf" cho thấy rằng spinlock được gọi là từ futex được gọi là từ __lll_lock_wait_private và __lll_unlock_wake_private, và đang ăn đi 50% thời gian CPU. Khi tôi ngừng quá trình với gdb, backtraces cho thấy các cuộc gọi đến __lll_lock_wait_private __lll_unlock_wake_private được làm từ malloc và miễn phí.

Tôi đã cố gắng giảm vấn đề, vì vậy tôi đã viết một chương trình đơn giản cho thấy đó thực sự là các futexes đang gây ra vấn đề spinlock.

Bắt đầu 8 chủ đề, mỗi chủ đề cách làm như sau:

//... 
    static GMutex *lMethodMutex = g_mutex_new(); 
    while (true) 
    { 
     static guint64 i = 0; 
     g_mutex_lock (lMethodMutex); 
     // Perform any operation in the user space that needs to be protected. 
     // The operation itself is not important. It's the taking and releasing 
     // of the mutex that matters. 
     ++i; 
     g_mutex_unlock (lMethodMutex); 
    } 
    //... 

Tôi đang chạy này trên một máy 8-core, với nhiều RAM.

Sử dụng "trên cùng", tôi quan sát thấy máy đang ở chế độ không hoạt động 10%, 10% ở chế độ người dùng và 90% ở chế độ hệ thống.

Sử dụng "Perf top", tôi quan sát thấy như sau:

50.73% [kernel]    [k] _spin_lock 
11.13% [kernel]    [k] hpet_msi_next_event 
    2.98% libpthread-2.12.so  [.] pthread_mutex_lock 
    2.90% libpthread-2.12.so  [.] pthread_mutex_unlock 
    1.94% libpthread-2.12.so  [.] __lll_lock_wait 
    1.59% [kernel]    [k] futex_wake 
    1.43% [kernel]    [k] __audit_syscall_exit 
    1.38% [kernel]    [k] copy_user_generic_string 
    1.35% [kernel]    [k] system_call 
    1.07% [kernel]    [k] schedule 
    0.99% [kernel]    [k] hash_futex 

Tôi mong chờ mã này để dành một số thời gian trong spinlock, vì mã futex có để có được hàng đợi futex chờ đợi. Tôi cũng sẽ mong đợi mã để dành một số thời gian trong hệ thống, vì trong đoạn mã này có rất ít mã đang chạy trong không gian người dùng. Tuy nhiên, 50% thời gian dành cho spinlock dường như quá mức, đặc biệt khi thời gian cpu này là cần thiết để thực hiện các công việc hữu ích khác.

Answer 1

Tôi cũng đã gặp phải sự cố tương tự. Trải nghiệm của tôi là bạn có thể thấy hiệu suất hay thậm chí là bế tắc khi khóa và mở khóa rất nhiều, tùy thuộc vào phiên bản libc và rất nhiều thứ không rõ ràng khác (ví dụ: gọi tới ngã ba() như here).

This guy giải quyết các vấn đề về hiệu suất của mình bằng cách chuyển sang tcmalloc, có thể là một ý tưởng hay, tùy thuộc vào trường hợp sử dụng. Nó có thể là giá trị một thử cho bạn là tốt.

Đối với tôi, tôi thấy một bế tắc lặp lại khi tôi có nhiều chuỗi thực hiện rất nhiều khóa và mở khóa. Tôi đang sử dụng rootfs Debian 5.0 (hệ thống nhúng) với libc từ năm 2010 và sự cố đã được khắc phục bằng cách nâng cấp lên Debian 6.0.