Canonicalize/bình thường hóa URL?

Question

Tôi đang tìm một chức năng thư viện để chuẩn hóa một URL bằng Python, để loại bỏ các phần "./" hoặc "../" trong đường dẫn hoặc thêm cổng mặc định hoặc thoát các ký tự đặc biệt, v.v. Kết quả phải là một chuỗi duy nhất cho hai URL trỏ đến cùng một trang web. Ví dụ: http://google.com và http://google.com:80/a/../ sẽ trả về cùng một kết quả.

Tôi thích Python 3 và đã xem qua mô-đun urllib. Nó cung cấp các chức năng để phân tách các URL nhưng không có gì để chuẩn hóa chúng. Java có chức năng URI.normalize() thực hiện một điều tương tự (mặc dù nó không xem xét cổng mặc định 80 bằng không có cổng đã cho), nhưng có điều gì đó như thế này là python không?

Answer 1

Theo sau good start, tôi đã soạn một phương thức phù hợp với hầu hết các trường hợp thường thấy trong web.

def urlnorm(base, link=''): 
    '''Normalizes an URL or a link relative to a base url. URLs that point to the same resource will return the same string.''' 
    new = urlparse(urljoin(base, url).lower()) 
    return urlunsplit((
    new.scheme, 
    (new.port == None) and (new.hostname + ":80") or new.netloc, 
    new.path, 
    new.query, 
    '')) 

Answer 2

Làm thế nào về điều này:

In [1]: from urllib.parse import urljoin 

In [2]: urljoin('http://example.com/a/b/c/../', '.') 
Out[2]: 'http://example.com/a/b/' 

Lấy cảm hứng từ câu trả lời cho this question. Nó không bình thường hóa các cổng, nhưng nó sẽ được đơn giản để whip lên một chức năng mà không.

Answer 3

Đây là những gì tôi sử dụng và nó đã hoạt động cho đến nay. Bạn có thể lấy urlnorm từ pip.

Lưu ý rằng tôi sắp xếp các tham số truy vấn. Tôi đã tìm thấy điều này là cần thiết.

from urlparse import urlsplit, urlunsplit, parse_qsl 
from urllib import urlencode 
import urlnorm 

def canonizeurl(url): 
    split = urlsplit(urlnorm.norm(url)) 
    path = split[2].split(' ')[0] 

    while path.startswith('/..'): 
     path = path[3:] 

    while path.endswith('%20'): 
     path = path[:-3] 

    qs = urlencode(sorted(parse_qsl(split.query))) 
    return urlunsplit((split.scheme, split.netloc, path, qs, '')) 

Answer 4

Module urltools bình thường hóa nhiều dấu gạch chéo, . và .. thành phần mà không rối tung lên các dấu gạch chéo đôi trong http://.

Khi bạn làm pip install urltools việc sử dụng như sau:

print urltools.normalize('http://domain.com:80/a////b/../c') 
>>> 'http://domain.com/a/c'