Giải quyết lỗi "Máy chủ MySQL đã biến mất"

Question

Tôi đã viết một số mã bằng PHP trả về nội dung html từ các miền .edu. Giới thiệu ngắn gọn được cung cấp tại đây: Errors regarding Web Crawler in PHP

Trình thu thập thông tin hoạt động tốt khi số lượng liên kết thu thập thông tin nhỏ (khoảng 40 URL) nhưng tôi nhận được lỗi "Máy chủ MySQL đã biến mất" sau số này.

Tôi đang lưu trữ nội dung html dưới dạng văn bản dài trong bảng MySQL và tôi không nhận được lý do lỗi xuất hiện sau ít nhất 40-50 lần chèn.

Bất kỳ trợ giúp nào về vấn đề này đều được đánh giá cao.

Xin lưu ý rằng tôi đã thay đổi wait_timeout và max_allowed_packet để đáp ứng các truy vấn của tôi và mã php và bây giờ tôi không biết phải làm gì. Xin hãy giúp tôi trong vấn đề này.

Answer 1

Bạn có thể có xu hướng xử lý vấn đề này bằng cách "ping" máy chủ mysql trước truy vấn. Đây là một ý tưởng tồi. Để biết thêm về lý do tại sao, hãy xem bài đăng SO này: Should I ping mysql server before each query?

Cách tốt nhất để xử lý vấn đề là bằng cách bao gồm các truy vấn bên trong try/catch chặn mọi ngoại lệ cơ sở dữ liệu để bạn có thể xử lý chúng một cách thích hợp. Điều này đặc biệt quan trọng trong các kịch bản lệnh chạy và/hoặc kiểu daemon dài. Vì vậy, đây là ví dụ rất cơ bản bằng cách sử dụng "trình quản lý kết nối" để kiểm soát quyền truy cập vào các kết nối DB:

class DbPool { 

    private $connections = array(); 

    function addConnection($id, $dsn) { 
     $this->connections[$id] = array(
      'dsn' => $dsn, 
      'conn' => null 
     ); 
    } 

    function getConnection($id) { 
     if (!isset($this->connections[$id])) { 
      throw new Exception('Invalid DB connection requested'); 
     } elseif (isset($this->connections[$id]['conn'])) { 
      return $this->connections[$id]['conn']; 
     } else { 
      try { 
       // for mysql you need to supply user/pass as well 
       $conn = new PDO($dsn); 

       // Tell PDO to throw an exception on error 
       // (like "MySQL server has gone away") 
       $conn->setAttribute(
        PDO::ATTR_ERRMODE, 
        PDO::ERRMODE_EXCEPTION 
       ); 
       $this->connections[$id]['conn'] = $conn; 

       return $conn; 
      } catch (PDOException $e) { 
       return false; 
      } 
     } 
    } 

    function close($id) { 
     if (!isset($this->connections[$id])) { 
      throw new Exception('Invalid DB connection requested'); 
     } 
     $this->connections[$id]['conn'] = null; 
    } 


} 


class Crawler { 

    private $dbPool; 

    function __construct(DbPool $dbPool) { 
     $this->dbPool = $dbPool; 
    } 

    function crawl() { 
     // craw and store data in $crawledData variable 
     $this->save($crawledData); 
    } 

    function saveData($crawledData) { 
     if (!$conn = $this->dbPool->getConnection('write_conn') { 
      // doh! couldn't retrieve DB connection ... handle it 
     } else { 
      try { 
       // perform query on the $conn database connection 
      } catch (Exception $e) { 
       $msg = $e->getMessage(); 
       if (strstr($msg, 'MySQL server has gone away') { 
        $this->dbPool->close('write_conn'); 
        $this->saveData($val); 
       } else { 
        // some other error occurred 
       } 
      } 
     } 
    } 
} 

Answer 2

Tôi có another answer đề cập đến những gì tôi nghĩ là một vấn đề tương tự và sẽ yêu cầu câu trả lời tương tự. Về cơ bản, bạn có thể sử dụng chức năng mysql_ping() để kiểm tra kết nối trước khi chèn. Trước khi MySQL 5.0.14, mysql_ping() sẽ tự động kết nối lại máy chủ, nhưng bây giờ bạn phải xây dựng logic kết nối lại của riêng bạn. Điều gì đó tương tự như vậy sẽ phù hợp với bạn:

function check_dbconn($connection) { 
    if (!mysql_ping($connection)) { 
     mysql_close($connection); 
     $connection = mysql_connect('server', 'username', 'password'); 
     mysql_select_db('db',$connection); 
    } 
    return $connection; 
} 

foreach($array as $value) { 
    $dbconn = check_dbconn($dbconn); 
    $sql="insert into collected values('".$value."')"; 
    $res=mysql_query($sql, $dbconn); 
    //then some extra code. 
} 

Answer 3

Bạn đang mở một kết nối DB và sử dụng lại nó? Có thể là một thời gian chờ đơn giản của nó? Bạn có thể được phục vụ tốt hơn bằng cách mở một kết nối DB mới cho mỗi hoạt động đọc/ghi của bạn (liên hệ với IE .edu, nhận văn bản, mở DB, viết văn bản, đóng db, lặp lại).

Bạn cũng sử dụng tay cầm như thế nào? Có thể nó đã bị lỗi và đã 'biến mất' vì lý do đó?

Answer 4

Vâng Đây là những gì tôi đang làm bây giờ dựa trên gợi ý của rdlowrey và tôi đoán điều này cũng đúng.

public function url_db_html($sourceLink = NULL, $source) { 
    $source = mysql_real_escape_string($source); 

    $query = "INSERT INTO html (id, sourceLink, sourceCode) 
      VALUES (NULL,('$sourceLink') , ('$source'))"; 

    try { 
     if(mysql_query($query, $this->connection)==FALSE) { 
      $msg = mysql_errno($this->connection) . ": " . mysql_error($this->connection); 
      throw new DbException($msg); 
     }   
    } catch (DbException $e) { 
     echo "<br><br>Catched!!!<br><br>"; 
     if(strstr($e->getMessage(), 'MySQL server has gone away')) { 
      $this->connection = mysql_connect("localhost", "root", ""); 
      mysql_select_db("crawler1", $this->connection); 
     } 
    } 
} 

Vì vậy, khi truy vấn không thực thi được, tập lệnh sẽ bỏ qua nhưng sẽ đảm bảo kết nối được thiết lập lại.

Tuy nhiên, trình thu thập dữ liệu web của tôi bị lỗi khi gặp phải các tệp như .jpg, .bmp, .pdf, v.v. Có cách nào để bỏ qua các url đó có chứa các tiện ích mở rộng này hay không. Tôi đang sử dụng preg_match và đã cho pdf và doc để phù hợp. Tuy nhiên, tôi muốn các chức năng để bỏ qua tất cả các liên kết có chứa phần mở rộng như mp3, pdf, vv Điều này có thể ??

Answer 5

Tôi đang đối mặt với "Máy chủ Mysql đã biến mất" lỗi khi sử dụng Mysql connector 5.X, thay thế dll sang phiên bản cuối cùng đã giải quyết được sự cố.