2016-01-21 23 views
5

Tôi đang làm việc trên Flume với Spool Directory là Source, HDFS as sink và File as channel. Khi thực hiện công việc flume. Tôi đang gặp vấn đề dưới đây. Kênh bộ nhớ hoạt động tốt. Nhưng chúng ta cần phải thực hiện tương tự bằng cách sử dụng kênh File. Sử dụng kênh tệp tôi đang gặp sự cố bên dưới.Không gian có thể sử dụng đã cạn kiệt trong kênh sử dụng kênh tập tin

Tôi đã định cấu hình kích thước bộ nhớ JVM thành 3GB trong tệp flume.env.sh. Vui lòng cho tôi biết bất kỳ cài đặt nào khác mà chúng tôi cần thực hiện.

20 tháng 1 năm 2016 20: 05: 27,099 L ERI [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.SinkRunner $ PollingRunner.run: 160) - Không thể phân phối sự kiện. Ngoại lệ sau. java.lang.IllegalStateException: Kênh đã đóng [channel = Artiva-memory-channel]. Do java.io.IOException: Không gian có thể sử dụng hết, chỉ còn lại 427515904 bytes, yêu cầu 524288000 bytes

Trả lời

1

Kênh tệp không liên quan gì đến bộ nhớ nhưng có HDD (đĩa). Kênh như vậy sử dụng hệ thống tệp để lưu trữ dữ liệu. Vì vậy, hãy kiểm tra xem có bao nhiêu dung lượng trống trong các ổ đĩa nơi tệp tin trạm kiểm soát và tệp dữ liệu được ghi (vui lòng xem thông số FileChannel).

+0

Hi..Cảm ơn bạn đã trả lời ... tôi đã cung cấp minimumRequiredSpace = 524288000 ... nhưng vẫn gặp vấn đề tương tự ... –

+1

Vì bạn muốn định cấu hình 524288000 byte cấu hình không thành công. Nhật ký bạn đăng cho biết chỉ có 427515904 byte có sẵn trong đĩa của bạn. Vì vậy, bạn phải cấu hình 427515904 byte hoặc ít hơn để nó có thể hoạt động. – frb

+0

@frb Tôi nhận được java.io.IOException: Không gian có thể sử dụng hết, chỉ còn lại 0 byte, yêu cầu 524288000 byte. lỗi nói 0 byte còn lại nhưng tôi kiểm soát có 777 priviledge trên thư mục và có rất nhiều không gian cho nó. Làm thế nào tôi có thể sửa chữa? – neverwinter

Các vấn đề liên quan