Xin chào thế giới trong zeppelin thất bại

Question

Tôi vừa cài đặt apache zeppelin (được xây dựng từ nguồn mới nhất từ ​​git repo) và thấy thành công nó đang hoạt động ở cổng 10008. Tôi đã tạo một sổ ghi chú mới với một dòng mã

val a = "Hello World!" 

và chạy đoạn này và thấy lỗi dưới đây

java.net.ConnectException: Kết nối từ chối tại java.net.PlainSocketImpl.socketConnect (Native Method) tại java.net.AbstractPlainSocketImpl.doConnect (AbstractPlainSock etImpl.java:350) tại java.net.AbstractPlainSocketImpl.connectToAddress (AbstractPlainSocketImpl.java:206) tại java.net.AbstractPlainSocketImpl.connect (AbstractPlainSocketImpl.java:188) tại java.net.SocksSocketImpl.connect (SocksSocketImpl.java:392) tại java.net.Socket.connect (Socket.java WEBC89) tại org.apache.thrift.transport.TSocket.open (TSocket.java:182) tại org.apache.zeppelin. interpreter.remote.ClientFactory.create (ClientFactory.java:51) tại org.apache.zeppelin.interpreter.remote.ClientFactory.create (ClientFactory.java:37) tại org.apache.commons.pool2.BasePooledObjectFactory. makeObject (BasePooledObjectFactory.java:60) tại org.apache.commons.pool2.impl.GenericObjectPool.create (GenericObjectPool.java:861) tại org.apache.commons.pool2.impl.GenericObjectPool.borrowObject (GenericObjectPool.java:435) tại org.apache.commons.pool2.impl.GenericObjectPool.borrowObject (GenericObjectPool.java:363) tại org.apache.zeppelin.interpreter.remote.RemoteInterpreterProcess.getClient (RemoteInterpreterProcess.java:139) tại org.apache. zeppelin.interpreter.remote.RemoteInterpreter.init (RemoteInterpreter.java:137) tại org.apache.zeppelin.interpreter.remote.RemoteInterpreter.getFormType (RemoteInterpreter.java:257) tại org.apache.zeppelin.interpreter.LazyOpenInterpreter.getFormType (LazyOpenInterpreter.java:104) tại org.apache.zeppelin.notebook.Paragraph.jobRun (Paragraph.java:197) tại org.apache.zeppelin.scheduler.Job .run (Job.java:170) tại org.apache.zeppelin.scheduler.RemoteScheduler $ JobRunner.run (RemoteScheduler.java:304) tại java.util.concurrent.Executors $ RunnableAdapter.call (Executors.java: 511) tại java.util.concurrent.FutureTask.run (FutureTask.java:266) tại java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.access $ 201 (ScheduledThreadPoolExecutor.java:180) tại java.util.concurrent. ScheduledThreadPoolExecutor $ ScheduledFutureTask.run (ScheduledThreadPoolExecutor.java:293) tại java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1142) tại java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:617) tại java.lang.Thread.run (Thread.java:745

Bất kỳ đầu mối nào?

Chương trình phụ trợ của tôi là tia lửa 1.5 và tôi đã xác minh bằng giao diện web của thông dịch viên rằng zeppelin trỏ đến đúng phiên bản của tia lửa và spark.home approproate.

Answer 1

Tôi nhận thấy rằng url trỏ đến tia lửa không chính xác.Một lần, tôi sửa chữa nó, nó hoạt động tốt. Dù sao cũng cảm ơn bạn.

Answer 2

Lỗi có thể bị lỗi cũng xảy ra khi xảy ra lỗi trong khi Zeppelin đang cố gắng tạo trình thông dịch.

Zeppelin bắt đầu interpretter trong một quá trình khác nhau và cố gắng kết nối với việc sử dụng tiết kiệm Nghị định thư

Trong trường hợp của tôi, tôi đã báo lỗi này khi cố gắng gán 5GB cho tài xế tia lửa trong spark-defaults.conf Nó được giải quyết khi cho ý kiến ​​dòng này (hoặc gán 4g hoặc ít hơn)

#spark.driver.memory    5g 

Bạn có thể có một cái nhìn lúc này JIRA ZEPPELIN-305

EDIT:

Lỗi này có thể do bất kỳ lý do nào ngăn cản quá trình thông dịch Spark bắt đầu. Gần đây, tôi đã có nó khi cố gắng để thêm các tùy chọn JMX để ZEPPELIN_JAVA_OPTS, mà gây ra quá trình thông dịch viên sử dụng cùng một cổng JMX như quá trình Zeppelin. Đưa ra các "Cảng đã được sử dụng" lỗi

Vui lòng kiểm tra các bản ghi Zeppelin (theo mặc định họ đang có trong ZEPPELIN_DIR/logs/để xem những gì đang xảy ra khi Zeppelin cố gắng để bắt đầu Spark Interpreter

Answer 3

Tôi có vấn đề này khi $SPARK_HOME đã không được đặt đúng

Answer 4

đã cùng một vấn đề khi $ YARN_QUEUE được đặt không chính xác

Answer 5

câu hỏi này đã được mở cho một năm nay, không chắc chắn nếu giải pháp cho các vấn đề đã được thực hiện. Gần đây, tôi tình cờ gặp một lỗi tương tự bằng cách sử dụng Yarn-Spark trên Amazon EMR. Khi tôi sửa lỗi, tôi đã nhận ra những điều sau và Ould đề nghị mọi người thử nếu họ tìm thấy mình trong đôi giày tương tự (giải pháp được dựa trên EMR, nhưng phải tương tự trên các dịch vụ khác)

1. kill -9 `ps -ef | grep zeppelin | grep -v grep | awk '{print $2}'`(*will make sure zombie processes are taken care of*) 
2. kill -9 `ps -ef | grep hadoop-yarn-resourcemanager | grep -v grep | awk '{print $2}'` 
3. sudo /sbin/restart hadoop-yarn-resourcemanager 
4. At times, simply starting the resource-manager does not start the name-node `sudo start hadoop-hdfs-namenode` 
5. sudo /usr/lib/zeppelin/bin/zeppelin-daemon.sh start 
6. Use telnet to make sure that the default ports are open for required service. 

Tại endo cùng, ta nên có thể nhận được khí cầu zeppelin chạy đúng với một SparkContext hợp lệ. Hy vọng điều này hữu ích

Answer 6

Trong trường hợp của tôi, (project-root)/node_modules/zeppelin/spark-2.0.2-bin-hadoop2.7 chưa được cài đặt, vì một số lý do không xác định. rm -rf node_modules; npm cache clear; npm i đã sửa nó.

Answer 7

Ngăn xếp lỗi như [1] dưới đây có thể có nghĩa là nhiều thứ khác nhau. Máy chủ Zeppelin không thể kết nối với một thông dịch viên địa phương, vì nó không khởi động hoặc đã chết. Có vẻ như một lỗi Zeppelin vì nó không thể bắt khi interpreter.sh thoát ra mà không tạo ra một quá trình thông dịch Zeppelin, gửi https://issues.apache.org/jira/browse/ZEPPELIN-1984 để theo dõi điều đó.

Trong mọi trường hợp của chúng tôi với nguyên nhân gốc rễ khác nhau, lỗi thực sự là chỉ revealable nếu bạn muốn thêm

LOG="/tmp/interpreter.sh-$$.log" 
date >> $LOG 
set -x 
exec >> $LOG 
exec 2>&1 

đến $ ZEPPELIN_HOME/bin/interpreter.sh như vậy thì một /tmp/interpreter.sh-* .log sẽ hiển thị cho bạn vấn đề thực tế.

[1]

ERROR [2017/01/18 16: 54: 38.533] ({hồ bơi-2-thread-2} NotebookServer.java [afterStatusChange]: 1645) - Lỗi org .apache.zeppelin.interpreter.InterpreterException: org.apache.zeppelin.interpreter.InterpreterException: org.apache.thrift.transport.TTransportException: java.net.ConnectException: Kết nối từ chối tại org.apache.zeppelin.interpreter.remote .RemoteInterpreter.init (RemoteInterpreter.java:232) tại org.apache.zeppelin.interpreter.remote.RemoteInterpreter.getFormType (RemoteInterpreter.java:400) tại org.apache.zeppelin.interpreter.LazyOpenInterpreter.getFormType (LazyOpenInterpreter.java : 105) tại org.apache.zeppelin.notebook.Paragraph.jobRun (Đoạn.java:316) tại org.apache.zeppelin.scheduler.Job.run (Job.java:176) tại org.apache.zeppelin .scheduler.RemoteScheduler $ JobRunner.run (RemoteScheduler.java:329) tại java.util.concurrent.Executors $ RunnableAdapter.call (Executors.java:471) tại java.util.concurrent.FutureTask.run (FutureTask.java:262)

Chỉnh sửa. Một cách khác để tiết lộ nguyên nhân gốc rễ thực sự là thay đổi log4j để xem đầu ra của quá trình thông dịch tia lửa, như được gợi ý bởi Jeff trong ZEPPELIN-1984. Thay đổi ZEPPELIN_HOME/conf/log4j.properies của bạn như sau:

log4j.rootLogger = INFO, dailyfile 

log4j.appender.stdout = org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout = org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%5p [%d] ({%t} %F[%M]:%L) - %m%n 

log4j.appender.dailyfile.DatePattern=.yyyy-MM-dd 
log4j.appender.dailyfile.Threshold = DEBUG 
log4j.appender.dailyfile = org.apache.log4j.DailyRollingFileAppender 
log4j.appender.dailyfile.File = ${zeppelin.log.file} 
log4j.appender.dailyfile.layout = org.apache.log4j.PatternLayout 
log4j.appender.dailyfile.layout.ConversionPattern=%5p [%d] ({%t} %F[%M]:%L) - %m%n 

log4j.logger.org.apache.zeppelin.interpreter.InterpreterFactory=DEBUG 
log4j.logger.org.apache.zeppelin.notebook.Paragraph=DEBUG 
log4j.logger.org.apache.zeppelin.scheduler=DEBUG 
log4j.logger.org.apache.zeppelin.livy=DEBUG 
log4j.logger.org.apache.zeppelin.flink=DEBUG 
log4j.logger.org.apache.zeppelin.spark=DEBUG 
log4j.logger.org.apache.zeppelin.python=DEBUG 
log4j.logger.org.apache.zeppelin.interpreter.util=DEBUG 
log4j.logger.org.apache.zeppelin.interpreter.remote=DEBUG 
log4j.logger.org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer=DEBUG 

và khởi động lại Zeppelin. Lưu ý: nó có thể tạo ra quá nhiều đăng nhập. Lời khuyên ban đầu của tôi về việc thêm một vài dòng vào interpreter.sh không yêu cầu khởi động lại Zeppelin.

Cũng tạo yêu cầu kéo đến (một phần) khắc phục vấn đề này: https://github.com/apache/zeppelin/pull/1921

Cập nhật 2017/01/24. https://issues.apache.org/jira/browse/ZEPPELIN-1984 được sửa trong bản gốc và sẽ được loại trừ trong bản phát hành Zeppelin 0.8. Hai bản sửa lỗi quan trọng là một phần của ZEPPELIN-1984:

• bạn sẽ không nhận được "kết nối bị từ chối" mà quá trình interpter không thể bắt đầu;
• Zeppelin sẽ hiển thị nguyên nhân gốc rễ (trong một đoạn văn đầu ra) nguyên nhân gốc rễ là gì.

Answer 8

tôi khắc phục lỗi này với sự thay đổi các tia modle sợi-cluster để sợi-client như nó seted trong zepplin/conf/defalt.sh

Answer 9

tôi đã hoàn toàn lỗi tương tự khi cố gắng chạy Zeppelin với Spark trong cùng một vùng chứa docker trên phiên bản vi mô trong Amazon ECS.

Nguồn lỗi hiển thị trong nhật ký đầu ra trong% ZEPPELIN_HOME%/logs/*. Và đã nói rằng Zeppelin không thể khởi động trình thông dịch Spark do bộ nhớ thấp. Vì vậy, tôi đã chuyển hình ảnh Docker của mình sang thể hiện với nhiều bộ nhớ hơn.

Answer 10

Trong trường hợp của tôi, tôi có ba nút trong cụm của mình. Mặc dù trong ba người trong số họ tia lửa đã được cài đặt, zeppelin đã được cài đặt trên chỉ một trong số họ.

So In Zeppelin Interpreter Menu -> Spark -> Edit -> Properties -> Thạc sĩ

thay đổi thông số mà từ sợi-client để địa phương [*] cố định vấn đề của tôi.