Tại sao "Kích thước bộ nhớ được phép cạn kiệt"?

Question

Tôi đang viết tập lệnh theo lô và nhận được lỗi Allowed memory size of 134217728 bytes exhausted.

Tôi không hiểu tại sao bộ nhớ được lấp đầy. Tôi đã thử xóa biến số $row, nhưng điều đó không thay đổi gì cả. Đây là mã của tôi:

// ... (sql connection) 
$result = mysql_query("SELECT * FROM large_table"); 

while ($row = mysql_fetch_array($result)) { 
    echo $row['id'] . PHP_EOL; 
    unset($row); 
} 

(đơn giản hóa code)

Tại sao bộ nhớ lấp đầy, và làm thế nào tôi có thể tránh nó?

Lưu ý: đây là tập lệnh theo lô. Điều này là bình thường mà tôi phải xử lý dữ liệu như vậy (đi qua 1 triệu dòng).

Cập nhật: Việc hết bộ nhớ xảy ra xung quanh dòng 400 000, vì vậy điều này phải là thứ gì đó trong vòng lặp? Tôi muốn tránh phải thực hiện phân trang nếu có thể.

Answer 1

Hãy thử sử dụng http://www.php.net/manual/en/function.mysql-unbuffered-query.php (mysql_unbuffered_query()) để ngăn chặn toàn bộ bảng được nạp vào bộ nhớ, nhưng vẫn tránh pagination.

Answer 2

Giới hạn truy vấn của bạn để có kết quả ví dụ 1k và thực thi lại (với trường hợp bù trừ) cho đến khi bạn trải qua tất cả bảng. Việc bỏ đặt chỗ hiện tại của bạn không có sự khác biệt, vì hàng $ bị ghi đè với mỗi lần lặp lại, do đó bạn có thể bỏ qua nó.

$chunk_size = 1000; 
$done = 0; 

$keep_asking_for_data = true; 
do{ 
    $result = mysql_query("SELECT * FROM `large_table` LIMIT {$done}, {$chunk_size}"); 
    $num_rows = mysql_num_rows($result); 
    if($num_rows){ 
     $done += $num_rows; 
     while($row = mysql_fetch_assoc($result)){ 
      echo "{$row['id']}\n"; 
     } 
    } else { 
     $keep_asking_for_data = false; 
    } 
    mysql_free_result($result); 
}while($keep_asking_for_data); 

Chỉ cần biên soạn trên đầu tôi, hy vọng nó hoạt động = D

Answer 3

Nếu bạn đang sử dụng MySQL, trang kết quả của bạn, do đó bạn không làm chấm dứt bộ nhớ có sẵn của bạn. MySQL chính nó đang chiếm bộ nhớ này với resultset cơ sở dữ liệu của bạn. Có một cái nhìn tại liên kết sau, đặc biệt là cú pháp LIMIT offset, limit của SELECT:

http://dev.mysql.com/doc/refman/5.0/en/select.html

Answer 4

Tôi đã gặp sự cố tương tự với cơ sở dữ liệu lớn. Tôi đã hết bộ nhớ, mặc dù chưa đặt biến $ row vào khoảng 400.000 bản ghi, nhưng truy vấn không được lọc đã sửa nó.

Chỉ cần để tham khảo cho những người khác (và tôi khi tôi làm điều đó một lần nữa!), Một số không có bộ đệm dụ truy vấn code is:

$sql = "SELECT SEQ, RECTYPE, ROSTERGRP, EMPNM, EMPNUM, DT, RDUTYCAT, ADUTYCAT FROM " . 
     $tblRosters . " ORDER BY EMPNUM,DT"; 
$result = mysql_unbuffered_query($sql, $dbConn); 
$svRow = array(); 
while ($row = mysql_fetch_array($result)) 
    { 
     // your processing code here 
    } 
    // Unset, close db etc. if you are finished goes here.