Cách thông minh nhất để xử lý robots.txt trong Express là gì?

Question

Tôi hiện đang làm việc trên một ứng dụng được xây dựng với Express (Node.js) và tôi muốn biết cách thông minh nhất để xử lý robots.txt khác nhau cho các môi trường khác nhau (phát triển, sản xuất) là gì.

Đây là những gì tôi có ngay bây giờ nhưng tôi không thuyết phục bởi giải pháp, tôi nghĩ rằng đó là dơ bẩn:

app.get '/robots.txt', (req, res) -> 
    res.set 'Content-Type', 'text/plain' 
    if app.settings.env == 'production' 
    res.send 'User-agent: *\nDisallow: /signin\nDisallow: /signup\nDisallow: /signout\nSitemap: /sitemap.xml' 
    else 
    res.send 'User-agent: *\nDisallow: /' 

(NB: nó là CoffeeScript)

Nên có một tốt hơn đường. Bạn sẽ làm điều này như thế nào?

Cảm ơn bạn.

Answer 1

Sử dụng chức năng trung gian. Bằng cách này, robots.txt sẽ được xử lý trước khi bất kỳ phiên, cookieParser, vv:

app.use(function (req, res, next) { 
    if ('/robots.txt' == req.url) { 
     res.type('text/plain') 
     res.send("User-agent: *\nDisallow: /"); 
    } else { 
     next(); 
    } 
}); 

Với tốc 4 app.get nay được xử lý theo thứ tự nó xuất hiện vì vậy bạn chỉ có thể sử dụng:

app.get('/robots.txt', function (req, res) { 
    res.type('text/plain'); 
    res.send("User-agent: *\nDisallow: /"); 
}); 

Answer 2

Có vẻ như một cách ok.

Cách khác, nếu bạn muốn chỉnh sửa robots.txt làm tệp thông thường và có thể có các tệp khác bạn chỉ muốn ở chế độ sản xuất hoặc phát triển, hãy sử dụng 2 thư mục riêng biệt và kích hoạt một thư mục khác khởi động.

if (app.settings.env === 'production') { 
    app.use(express['static'](__dirname + '/production')); 
} else { 
    app.use(express['static'](__dirname + '/development')); 
} 

sau đó bạn thêm 2 thư mục với mỗi phiên bản của robots.txt.

PROJECT DIR 
    development 
     robots.txt <-- dev version 
    production 
     robots.txt <-- more permissive prod version 

Và bạn có thể tiếp tục thêm các tệp khác trong thư mục và giữ mã của bạn đơn giản hơn.

(xin lỗi, đây là javascript, không coffeescript)

Answer 3

Đối với việc lựa chọn các robots.txt tùy thuộc môi trường một cách middleware:

var env = process.env.NODE_ENV || 'development'; 

if (env === 'development' || env === 'qa') { 
    app.use(function (req, res, next) { 
    if ('/robots.txt' === req.url) { 
     res.type('text/plain'); 
     res.send('User-agent: *\nDisallow: /'); 
    } else { 
     next(); 
    } 
    }); 
} 

Answer 4

1. Tạo 012.với nội dung sau:

   User-agent: * 
   Disallow: 
   

2. thêm nó vào thư mục public/.

bạn robots.txt sẽ có sẵn cho bánh xích tại http://yoursite.com/robots.txt