Đọc các tệp rất lớn trong PHP

Question

fopen không thành công khi tôi cố gắng đọc trong một tệp có kích thước rất vừa phải trong PHP. A 6 meg file làm cho nó bị nghẹt thở, mặc dù các tệp nhỏ hơn xung quanh 100k vẫn ổn. Tôi đã đọc rằng đôi khi cần phải biên dịch lại PHP với cờ -D_FILE_OFFSET_BITS=64 để đọc các tệp trên 20 hợp đồng biểu diễn hoặc điều gì đó vô lý, nhưng tôi không nên gặp vấn đề với tệp 6 meg? Cuối cùng, chúng tôi sẽ muốn đọc trong các tệp có dung lượng khoảng 100 megabyte, và sẽ tốt hơn nếu có thể mở chúng và sau đó đọc qua chúng theo từng dòng với các fgets như tôi có thể làm với các tệp nhỏ hơn.

gì là thủ đoạn của bạn/giải pháp cho việc đọc và làm các hoạt động trên các tập tin rất lớn trong PHP?

Cập nhật: Dưới đây là một ví dụ về một codeblock đơn giản mà không thành công trên tập 6 meg của tôi - PHP dường như không ném ra một lỗi, nó chỉ trả về false. Có lẽ tôi đang làm một cái gì đó cực kỳ ngu ngốc?

$rawfile = "mediumfile.csv"; 

if($file = fopen($rawfile, "r")){ 
    fclose($file); 
} else { 
    echo "fail!"; 
} 

Cập nhật khác: Cảm ơn sự giúp đỡ của bạn, nó đã trở thành một điều cực kỳ ngu ngốc - vấn đề quyền. Tập tin nhỏ của tôi không hiểu sao có quyền đọc khi tệp lớn hơn không. Doh!

Answer 1

Bạn có chắc chắn rằng đó là fopen đó là thất bại và không thiết lập thời gian chờ tập lệnh của bạn? Mặc định thường là khoảng 30 giây hoặc lâu hơn và nếu tệp của bạn mất nhiều thời gian hơn để đọc, nó có thể bị vấp ngã.

Một điều cần xem xét có thể là giới hạn bộ nhớ trên kịch bản của bạn - đọc các tập tin vào một mảng có thể đi qua này, vì vậy kiểm tra log lỗi của bạn để cảnh báo bộ nhớ.

Nếu không có vấn đề nào ở trên, bạn có thể xem xét sử dụng fgets để đọc tệp theo từng dòng, xử lý khi bạn thực hiện.

$handle = fopen("/tmp/uploadfile.txt", "r") or die("Couldn't get handle"); 
if ($handle) { 
    while (!feof($handle)) { 
     $buffer = fgets($handle, 4096); 
     // Process buffer here.. 
    } 
    fclose($handle); 
} 

Sửa

PHP dường như không ném ra một lỗi, nó chỉ trả về false.

Đường dẫn đến $rawfile có đúng so với vị trí tập lệnh đang chạy không? Có lẽ thử đặt một đường dẫn tuyệt đối ở đây cho tên tệp.

Answer 2

Bạn cũng có thể thử sử dụng hàm readfile nếu bạn chỉ muốn xuất tệp.

Nếu đây không phải là trường hợp - có lẽ bạn nên suy nghĩ về việc thiết kế của ứng dụng, tại sao bạn muốn để mở các file lớn như vậy trên các yêu cầu web?

Answer 3

tôi đã sử dụng fopen để mở file video cho streaming, sử dụng một kịch bản php như một video streaming máy chủ, và tôi đã không có vấn đề với các tập tin kích thước hơn 50/60 MB.

Answer 4

Bạn đã thử tệp() chưa?

http://is2.php.net/manual/en/function.file.php

Hoặc file_ get_contents()

http://is2.php.net/manual/en/function.file-get-contents.php

Answer 5

Nếu sự cố xảy ra do đạt đến giới hạn bộ nhớ, bạn có thể thử đặt giá trị cao hơn (điều này có thể hoạt động hoặc không phụ thuộc vào cấu hình của php).

này đặt ra giới hạn bộ nhớ đến 12 Mb

ini\_set("memory_limit","12M"); 

Answer 6

đối với tôi, fopen() đã được rất chậm với các file trên 1mb, tập tin() là nhanh hơn nhiều. Chỉ cần cố gắng đọc các dòng 100 tại một thời điểm và tạo ra chèn hàng loạt, fopen() mất 37 giây so với tệp() mất 4 giây. Phải là chuỗi string-> array được tích hợp vào tệp()

Tôi sẽ thử tất cả các tùy chọn xử lý tệp để xem tùy chọn nào sẽ hoạt động tốt nhất trong ứng dụng của bạn.

Answer 7

Đã 2 bài kiểm tra với một file 1,3GB và 9.5GF file

1,3

Sử dụng fopen()

Quá trình này sử dụng 15.555 ms cho tính toán của mình.

Nó dành 169 ms trong hệ thống gọi

Sử dụng file()

Quá trình này sử dụng 6983 ms cho tính toán của mình.

Nó dành 4469 ms trong hệ thống gọi

9.5GB

Sử dụng fopen()

Quá trình này sử dụng 113.559 ms cho tính toán của nó

Nó dành 2.532 ms trong hệ thống gọi

Sử dụng file()

Quá trình này sử dụng 8221 ms cho tính toán của nó

Nó dành 7998 ms trong hệ thống gọi

vẻ file() nhanh