Google sử dụng giao thức nào cho Gmail? (không phải IMAP hoặc POP)

Question

Bạn có thể truy cập gmail bằng giao diện web, ứng dụng khách Android của Google hoặc sử dụng IMAP. Theo như tôi có thể nói, giao diện web và ứng dụng Android sử dụng giao thức hoàn toàn khác với IMAP - chúng không chỉ là giao diện trên đầu nó. Lý do tôi chắc chắn rằng đó là bởi vì các ứng dụng Android có thể không có vấn đề mở một thư mục với 1 m mail trong < 3 giây. Không có ứng dụng IMAP đơn giản nào có thể thực hiện điều đó.

Vì vậy, câu hỏi của tôi là những gì được biết về giao thức bí mật này? Tài liệu tham chiếu cho nó ở đâu? Nó đã được thiết kế ngược chưa? Google có cấm sử dụng nó không? câu trả lời

arnt của cung cấp một phương pháp tuyệt vời để kiểm tra tốc độ imap liệu gmail của:

$ openssl s_client -host imap.gmail.com -port 993 -crlf 
... 
* OK Gimap ready for requests from 12.34.56.78 
$ a LOGIN ***@*** *** 
a OK 
$ c SELECT "[Gmail]/All mail" !!!! 
* FLAGS (\Answered \Flagged \Draft \Deleted \Seen) 
* OK [PERMANENTFLAGS (\Answered \Flagged \Draft \Deleted \Seen \*)] Flags permitted. 
* OK [UIDVALIDITY 673376278] UIDs valid. 
* 1142417 EXISTS 
* 0 RECENT 
* OK [UIDNEXT 1159771] Predicted next UID. 
* OK [HIGHESTMODSEQ 8670601] 
c OK [READ-WRITE] [Gmail]/All mail selected. (Success) 

Lệnh Tôi đã đánh dấu, c SELECT "[Gmail]/All mail" mất khoảng 20 giây để hoàn thành. Kể từ thời điểm đó là lớn hơn nó cần cho các ứng dụng Gmail trên điện thoại Android tương đối không đủ sức mạnh của tôi để khởi động và tải nhãn Tất cả thư mà nó trong vòng chưa đầy 6 giây ngay cả sau khi tôi đã xóa cache của nó. Ứng dụng web thậm chí còn nhanh hơn. Trừ khi tôi thiếu một cái gì đó cơ bản này chứng minh "vượt quá nghi ngờ hợp lý" mà khách hàng Gmail của Google không sử dụng IMAP vì bạn không bao giờ phải đợi 20 giây cho bất kỳ lệnh SELECT nào để hoàn thành.

Answer 1

Sau khi nghiên cứu nhiều hơn, tôi đã phát hiện ra rằng có tồn tại một API cho GMail: https://developers.google.com/gmail/api/ Tôi không nghĩ rằng API được phát hành khi tôi đăng câu hỏi này trở lại trong năm 2013.

Sử dụng API đó, tôi đã tạo ra một chương trình demo mà fetches các mail 100 cuối cùng của một nhãn: https://gist.github.com/bjourne/37a9d15b03862003008a1b0169190dbe

phần liên quan của chương trình là:

resource = service.users().messages() 
result = resource.list(userId = 'me', labelIds = [label]).execute() 
mail_ids = [m['id'] for m in result['messages']] 

start = time() 
mails = [] 
batch = BatchHttpRequest() 
cb = lambda req, res, exc: mails.append(to_mail(res)) 
for mail_id in mail_ids: 
    get_request = resource.get(**headers_params(mail_id)) 
    batch.add(get_request, callback = cb) 
result = batch.execute() 
print('Took %.2f seconds' % (time() - start)) 

Nó liệt kê 100 thông điệp cuối cùng được sắp xếp theo ngày trong một nhãn (thư mục trong thuật ngữ IMAP) c ontaining hơn 570k tin nhắn.

Trên máy của tôi, vòng lặp này mất khoảng 0,5 - 0,8 giây. Tôi có thể tự tin tuyên bố rằng không có ứng dụng khách IMAP thuần túy nào trên hành tinh thậm chí còn đến gần. Có khả năng, IMAP sẽ không bao giờ nhanh hơn vì nó không phù hợp với cách Google lưu trữ thư nội bộ.

Vì vậy, tôi sẽ trả lời câu hỏi của riêng tôi. Đây là API họ đang sử dụng và nó không được tiếp xúc trước đó.

Answer 2

"Không ứng dụng khách IMAP nào khác có thể làm điều này" là một tuyên bố khá táo bạo, nhưng hàng triệu tin nhắn cũng là một con số khá lớn. Tôi khuyên bạn nên cung cấp cho Trojitá một lần thử tại đây. Rất có thể đồng bộ hóa ban đầu sẽ là khá chậm (nó sẽ chuyển cờ cho hàng triệu thư đó vì nhiều lý do kỹ thuật liên quan đến cách cờ IMAP, SELECT, SEARCH và STATUS được chỉ định), nhưng resynchronizaiton tiếp theo sẽ nhanh như chớp đến ESEARCH, CONDSTORE và QRESYNC. Tôi rất muốn nghe Trojitá hoạt động tốt như thế nào với thiết lập của bạn - thông tin liên hệ có trên trang chủ.

Đối với câu hỏi của bạn - hầu hết các webmail ngày nay đều cung cấp API riêng để sử dụng riêng. Một kiến ​​trúc điển hình là chuyển các thông điệp về trạng thái cập nhật thông qua JSON, nhưng không có tiêu chuẩn cho điều này và giao diện là độc quyền. Rất có thể là "ứng dụng" GMail sử dụng cùng một phương pháp (hoặc tương tự). Bạn không có nhiều tùy chọn để xác minh điều này vì có thể sử dụng TLS. Với một giao diện web, nó là tầm thường để xem lưu lượng truy cập với một plugin trình duyệt thích hợp, nhưng không quá nhiều với một ứng dụng Android độc lập.

Answer 3

Ứng dụng Android (ít nhất là ứng dụng tôi đã sử dụng) sử dụng IMAP. Bạn có thể xác minh điều này bằng cách chạy Wireshark trên máy chủ.

Vì sao ứng dụng Android quá nhanh - điều tôi biết là nó sử dụng lệnh TÌM KIẾM để chọn các thông báo n gần đây nhất. Các ứng dụng khách trên máy tính để bàn như Thunderbird hoặc Outlook nặng hơn nhiều và tải xuống các tiêu đề và siêu dữ liệu cho mọi thư trong thư mục, bất chấp các đề xuất cho chúng không.

Điện thoại thông minh không có tài nguyên để lưu trữ và xử lý hàng triệu email (mặc dù có nhiều email hiện đại hơn) nên phương pháp TÌM KIẾM cho phép truy cập thư nhanh cho thiết bị cầm tay.

Dù sao đi nữa, Wireshark có thể tiết lộ rất nhiều về hành vi của máy khách và máy chủ IMAP. Nếu bạn thực sự tò mò, hãy cho nó một shot. Bạn không thể làm điều này nếu máy chủ là Gmail, nhưng bạn có thể dùng thử trên máy chủ khác (ví dụ: hMailServer).

Answer 4

Bạn có thể kiểm tra hiệu suất IMAP của Gmail một cách dễ dàng (nếu bạn có hộp thư triệu thư). Mở kết nối IMAP với

openssl s_client -connect imap.gmail.com:993 -crlf 

rồi đăng nhập và mở hộp thư đến của bạn.

a login yourname@gmail.com yourpassword 
b select inbox 

Hoặc mở hộp mọi thư của bạn nếu hộp thư là không đủ lớn (tên có thể thay đổi tùy theo ngôn ngữ giao diện người dùng):

c select "[Gmail]/All Mail" 

Nếu SELECT là nhanh nhưng một khách hàng IMAP chậm, thì đó là vì máy khách gửi các lệnh chậm bổ sung/không cần thiết. Nhiều người chọn điền hoặc cập nhật cấu trúc dữ liệu cho toàn bộ triệu thư ngay cả khi họ sẽ chỉ hiển thị 40 thư. Đó là sự lựa chọn của khách hàng, chứ không phải sự chậm trễ của IMAP.