Dưới đây là tôi spark-defaults.conf
và đầu ra của spark-shell
Spark vỏ kết nối với Mesos bị mắc kẹt tại sched.cpp
$ cat conf/spark-defaults.conf
spark.master mesos://172.16.**.***:5050
spark.eventLog.enabled false
spark.broadcast.compress false
spark.driver.memory 4g
spark.executor.memory 4g
spark.executor.instances 1
$ bin/spark-shell
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Using Spark's repl log4j profile: org/apache/spark/log4j-defaults-repl.properties
To adjust logging level use sc.setLogLevel("INFO")
Welcome to
____ __
/__/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 1.5.2
/_/
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_80)
Type in expressions to have them evaluated.
Type :help for more information.
15/11/15 04:56:11 WARN MetricsSystem: Using default name DAGScheduler for source because spark.app.id is not set.
I1115 04:56:12.171797 72994816 sched.cpp:164] Version: 0.25.0
I1115 04:56:12.173741 67641344 sched.cpp:262] New master detected at [email protected]**.***:5050
I1115 04:56:12.173951 67641344 sched.cpp:272] No credentials provided. Attempting to register without authentication
Nó bị treo ở đây vô thời hạn trong khi Mesos Web UI cho thấy rằng rất nhiều các khuôn khổ Spark được spinning- tục đăng ký và hủy đăng ký cho đến khi tôi thoát spark-shell
bằng Ctrl-C.
tôi nghi ngờ rằng nó được một phần do máy tính xách tay của tôi có nhiều địa chỉ ip. Khi chạy trên máy chủ, nó tiếp tục dòng tiếp theo, và Scala REPL thông thường:
I1116 09:53:30.265967 29327 sched.cpp:641] Framework registered with 9d725348-931a-48fb-96f7-d29a4b09f3e8-0242
15/11/16 09:53:30 INFO mesos.MesosSchedulerBackend: Registered as framework ID 9d725348-931a-48fb-96f7-d29a4b09f3e8-0242
15/11/16 09:53:30 INFO util.Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 57810.
15/11/16 09:53:30 INFO netty.NettyBlockTransferService: Server created on 57810
15/11/16 09:53:30 INFO storage.BlockManagerMaster: Trying to register BlockManager
15/11/16 09:53:30 INFO storage.BlockManagerMasterEndpoint: Registering block manager 172.16.**.***:57810 with 2.1 GB RAM, BlockManagerId(driver, 172.16.**.***, 57810)
15/11/16 09:53:30 INFO storage.BlockManagerMaster: Registered BlockManager
15/11/16 09:53:30 INFO repl.Main: Created spark context..
Spark context available as sc.
Tôi đang chạy Mesos 0.25.0 được xây dựng bởi tầng khí quyển, và tôi đang thiết spark.driver.host
đến địa chỉ có thể truy cập từ tất cả các máy trong cụm Mesos. Tôi thấy rằng mọi cổng mở theo quy trình của spark-shell
đều được liên kết với địa chỉ IP đó hoặc đến *
.
The most similar question on StackOverflow dường như không hữu ích, vì trong trường hợp này máy tính xách tay của tôi có thể truy cập được từ máy chủ.
Tôi không thể định vị tệp nhật ký có thể chứa lý do tại sao các khung không được đăng ký. Tôi nên tìm cách giải quyết vấn đề này ở đâu?
Bạn có tìm thấy giải pháp nào không ?? – bistaumanga
thật không may: ( – lyomi
Tôi gặp vấn đề tương tự, sẽ cập nhật nếu tôi tìm thấy giải pháp. –