Các tệp lớn trong vùng chứa Docker

Question

Tôi cần tạo hình ảnh Docker (và do đó là vùng chứa từ hình ảnh đó) sử dụng các tệp lớn (có chứa dữ liệu di truyền, do đó đạt kích thước ~ 10GB).

Tôi phải tối ưu hóa mức sử dụng của mình như thế nào? Tôi có nên đưa chúng vào thùng chứa (chẳng hạn như COPY large_folder large_folder_in_container) không? Có cách nào tốt hơn để tham khảo các tệp như vậy không? Vấn đề là nó có vẻ kỳ lạ với tôi để đẩy container đó (mà sẽ là> 10GB) trong kho riêng của tôi. Tôi tự hỏi nếu có một cách để gắn một loại khối lượng vào thùng chứa, mà không đóng gói tất cả những GB với nhau.

Cảm ơn bạn.

Answer 1

Tôi có nên đưa chúng vào vùng chứa (chẳng hạn như COPY large_folder large_folder_in_container) không?

Nếu bạn làm như vậy, điều đó sẽ bao gồm chúng trong ảnh, không phải là container: bạn có thể khởi động 20 container từ hình ảnh đó, không gian đĩa thực tế sử dụng vẫn sẽ là 10 GB.

Nếu bạn tạo một hình ảnh khác từ hình ảnh đầu tiên của bạn, hệ thống tệp lớp sẽ tái sử dụng các lớp từ hình ảnh gốc và hình ảnh mới sẽ vẫn là "chỉ" 10GB.

Answer 2

Có cách nào tốt hơn để tham chiếu các tệp như vậy không?

Nếu bạn đã có cách nào đó để phân phối dữ liệu, tôi sẽ sử dụng "gắn kết gắn kết" để đính kèm âm lượng vào các vùng chứa.

docker run -v /path/to/data/on/host:/path/to/data/in/container <image> ... 

Bằng cách đó bạn có thể thay đổi hình ảnh và bạn sẽ không phải tải xuống lại bộ dữ liệu lớn mỗi lần.

Nếu bạn muốn sử dụng registry để phân phối các bộ dữ liệu lớn, nhưng muốn quản lý thay đổi dữ liệu cài đặt riêng, bạn có thể sử dụng một container khối lượng dữ liệu với một Dockerfile như thế này:

FROM scratch 
COPY dataset /dataset 
VOLUME /dataset 

Từ vùng chứa ứng dụng của bạn, bạn có thể đính kèm khối lượng đó bằng cách sử dụng:

docker run -d --name dataset <data volume image name> 
docker run --volumes-from dataset <image> ... 

Dù bằng cách nào, tôi nghĩ rằng https://docs.docker.com/engine/tutorials/dockervolumes/ là những gì bạn muốn.