Làm cách nào để xác định liệu một trang web có tồn tại với shell scripting hay không?

Question

Tôi đang cố gắng tạo một chương trình có thể chuyển đổi một loạt các bản quét manga thành một tệp pdf và tôi không muốn phải cố gắng tải xuống hình ảnh để xác định xem tôi có đúng url hay không. Có một lệnh shell scripting mà tôi có thể sử dụng để chỉ kiểm tra xem một trang web có tồn tại không?

Answer 1

Theo một * NIX, bạn có thể sử dụng curl phát hành một HEAD yêu cầu đơn giản (HEAD chỉ yêu cầu các tiêu đề, không phải là cơ thể trang):

curl --head http://myurl/ 

Sau đó, bạn có thể chỉ mất dòng đầu tiên, mà chứa các mã trạng thái HTTP (200 OK, 404 Not Found, vv):

curl -s --head http://myurl/ | head -n 1 

Và sau đó kiểm tra xem bạn có một phản ứng phong nha (mã trạng thái là 200 hoặc 3 **):

curl -s --head http://myurl/ | head -n 1 | grep "HTTP/1.[01] [23].." 

Điều này sẽ xuất dòng đầu tiên nếu mã trạng thái được chấp nhận hoặc không có gì nếu không. Bạn cũng có thể đường ống mà đến/dev/null để có được không có đầu ra, và sử dụng $? để xác định xem nó có tác dụng hay không:

curl -s --head http://myurl/ | head -n 1 | grep "HTTP/1.[01] [23].." > /dev/null 
# on success (page exists), $? will be 0; on failure (page does not exist or 
# is unreachable), $? will be 1 

EDIT-s chỉ đơn giản nói với curl để không hiển thị một "thanh tiến trình".

Answer 2

wget hoặc cURL sẽ thực hiện công việc. Xem tại đây wget hoặc cURL để biết chi tiết và tải xuống các địa điểm. Cung cấp URL cho các công cụ dòng lệnh này và kiểm tra phản hồi.

Answer 3

Sử dụng cURL để lấy mã trạng thái và kiểm tra các giá trị bắt buộc.

status=$(curl -s --head -w %{http_code} http://www.google.com/ -o /dev/null) 
echo $status 

Answer 4

Đầu tiên chắc chắn không có uỷ quyền issue.If bất kỳ yêu cầu ủy quyền, bạn cung cấp tên người dùng và mật khẩu .Create một file shell script (checkURL.sh) và dán đoạn mã dưới đây.

Hy vọng điều này sẽ giúp bạn.

checkURL.sh

yourURL="http://abc-repo.mycorp.com/data/yourdir" 

if curl --output /dev/null --silent --head --fail "$yourURL" 
then 
    echo "This URL Exist" 
else 
    echo "This URL Not Exist" 
fi 

của nó làm việc cho tôi trong Nexus và Repository khác.

Answer 5

Bạn luôn có thể sử dụng wget; Tôi làm như mã đơn giản hơn.

if [[ $(wget http://url/ -O-) ]] 2>/dev/null 
    then echo "This page exists." 
    else echo "This page does not exist." 
fi 

Sử dụng tùy chọn -O- với wget có nghĩa là nó sẽ cố gắng để sản xuất các nội dung của trang, nhưng chỉ nếu nó tồn tại. Vì vậy, nếu không có bất kỳ đầu ra, sau đó trang không tồn tại. 2>/dev/null chỉ để gửi đầu ra (nếu có) vào thùng rác.

Tôi biết đã quá hạn, nhưng tôi hy vọng điều này sẽ hữu ích.