Làm cách nào bạn duyệt qua một thư mục và thực hiện một số chức năng trên tất cả các tệp và kết hợp đầu ra theo cách hiệu quả của bộ nhớ?

Question

Thiết lập

Tôi cần duyệt qua thư mục trên 100 tệp .txt, mở mỗi thư mục và thực hiện một số chức năng trên mỗi tệp, sau đó kết hợp kết quả. Các tệp này rất lớn, theo thứ tự 10GB. Một số hoạt động phổ biến ở psuedocode có thể là:

foldr concatFile mempty $ openFile <$> [filePath1, ..., filePathn] 
foldr countStuff 0  $ openFile <$> [filePath1, ..., filePathn] 

Bí quyết là để đảm bảo tất cả các tập tin không bao giờ tồn tại trong bộ nhớ cùng một lúc, giải pháp ngây thơ trước đây của tôi đã tạo ra tất cả các loại file swap trên mac của tôi. Ngoài ra, nếu một trong tệp filePath không hợp lệ, tôi chỉ muốn bỏ qua và tiếp tục với chương trình.

Giải pháp của tôi

Hiện nay tôi đang sử dụng ống dẫn và muốn tìm một giải pháp sử dụng ống dẫn nếu có thể. Nhưng nếu nó không phải là công cụ thích hợp tôi sử dụng cái gì khác.

Answer 1

Bạn có thể tổ ống dẫn thực hiện như thế này:

{-# LANGUAGE OverloadedStrings #-} 

import Conduit 
import qualified Data.ByteString as BS 

-- Process a single file 
processFile :: FilePath -> IO() 
processFile path = runResourceT (sourceFile path =$= mapC BS.length $$ sumC) >>= print 

-- Run processFile for directory in a tree  
doit :: FilePath -> IO() 
doit top = runResourceT $ sourceDirectoryDeep False top $$ mapM_C (liftIO . processFile) 

Thay processFile với bất cứ điều gì bạn muốn làm - bao gồm bỏ qua các tập tin. Sự hiểu biết của tôi là Nhà sản xuất sourceFile sẽ chẻ một cách hiệu quả nội dung của một tệp.

Và, theo số this Yesod article, sourceDirectoryDeep nên xem qua cấu trúc thư mục hiệu quả.

Điều bạn dường như không thể thực hiện với sourceDirectoryDeep là các thư mục tỉa .