Lưu trữ tệp cho các ứng dụng web: Hệ thống tập tin vs DB và công cụ NoSQL

Question

Tôi có một ứng dụng web lưu trữ nhiều tệp do người dùng tạo. Hiện tại tất cả chúng đều được lưu trữ trên hệ thống tập tin của máy chủ, trong đó có một số nhược điểm đối với tôi.

• Khi chúng tôi di chuyển "thư mục" (theo định nghĩa của ứng dụng), chúng tôi cũng phải di chuyển tệp trên đĩa (mặc dù điều này là do các quyết định thiết kế lạ hơn. những thứ trên hệ thống tập tin).
• Thật khó để viết các thử nghiệm cho các hành động của hệ thống tệp; Tôi có một lớp hệ thống tập tin giả lập ghi nhật ký các hành động như di chuyển, xóa, vv, mà không thực hiện chúng, mà nhiều hay ít công việc, nhưng tôi không có 100% sự tự tin trong các bài kiểm tra.
• Tôi sẽ thêm một số công việc khác cần truy cập các tệp từ dịch vụ khác để thực hiện các tác vụ bổ sung (ví dụ: lập chỉ mục trong Solr, tạo hình thu nhỏ, chuyển đổi định dạng phim), vì vậy tôi cần nhận các tệp từ xa. Làm điều này qua mạng chia sẻ có vẻ tinh ranh ...
• Xử lý các quyền trên hệ thống tệp đôi khi cho chúng tôi vấn đề trong quá khứ, mặc dù hiện tại chúng tôi đã chuyển sang môi trường Linux thuần túy, điều này sẽ ít hơn.

Vì vậy, câu hỏi chính của tôi là

• các nhược điểm của lưu trữ file như BLOB trong MySQL là gì?
• Các vấn đề tương tự tồn tại với các hệ thống NoSQL như Cassandra?
• Có ai có bất kỳ đề xuất nào khác có thể thích hợp không, ví dụ: MogileFS, v.v ...?

Answer 1

Không phải là câu trả lời trực tiếp mà là một số gợi ý cho các câu hỏi rất thú vị và tương tự (vâng, chúng về màu sắc và hình ảnh nhưng đây là IMO có thể so sánh).

Nhược điểm của việc lưu trữ tệp dưới dạng BLOB trong MySQL là gì?

• Storing Images in DB - Yea or Nay?
• Images in database vs file system
• https://stackoverflow.com/search?q=images+database+filesystem

Đừng những vấn đề cùng tồn tại với các hệ thống NoSQL như Cassandra?

• NoSQL for filesystem storage organization and replication?
• Storing images in NoSQL stores

PS: Tôi không muốn trở thành kẻ phá đám nhưng tôi không nghĩ rằng bất kỳ giải pháp NoSQL là sẽ giải quyết vấn đề của bạn (NoSQL chỉ là không phù hợp với hầu hết các doanh nghiệp).

Answer 2

có thể là giải pháp lai.

Sử dụng cơ sở dữ liệu để lưu trữ siêu dữ liệu về từng tệp - và sử dụng hệ thống tệp để lưu trữ tệp.

bất kỳ việc tái cơ cấu 'thư mục' nào có thể được lập mô hình trong DB và được tham chiếu từ vị trí hệ điều hành thực tế.

Answer 3

Nếu hệ điều hành hoặc ứng dụng không cần quyền truy cập vào tệp, thì không cần lưu trữ tệp trên hệ thống tệp. Nếu bạn muốn sao lưu các tập tin cùng một lúc bạn sao lưu cơ sở dữ liệu, thì có ít lợi ích hơn để lưu trữ chúng bên ngoài cơ sở dữ liệu. Do đó, nó có thể là một giải pháp hợp lệ để lưu trữ các tệp trong cơ sở dữ liệu.

Một nhược điểm nữa là các tệp xử lý trong db có nhiều chi phí hơn là xử lý tệp ở cấp hệ thống tệp. Tuy nhiên, miễn là những lợi thế lớn hơn những nhược điểm, và có vẻ như nó có thể trong trường hợp của bạn, bạn có thể cho nó một thử.

Mối quan tâm chính của tôi là quản lý bộ nhớ đĩa. Khi tệp cơ sở dữ liệu của bạn lớn, việc quản lý toàn bộ cơ sở dữ liệu của bạn trở nên phức tạp hơn. Bạn không muốn di chuyển ra khỏi chảo và vào lửa.

Answer 4

Bạn có thể lưu trữ tệp có dung lượng tối đa 2GB trong Cassandra bằng cách chia chúng thành 1MB cột hoặc hơn. Điều này khá phổ biến.

Bạn cũng có thể lưu nó thành một cột lớn, nhưng sau đó bạn phải đọc toàn bộ nội dung đó vào bộ nhớ khi truy cập vào nó.