MediaRecorder thay đổi kích thước mà không khiêu khích

Question

Tôi đang sử dụng MediaRecorder API cùng với các phương pháp Canvas captureStream để mã hóa một dòng VP8 video của một canvas trong trình duyệt. Dữ liệu này được gửi tới FFmpeg thông qua ổ cắm web nhị phân.

var outputCaptureStream = $('canvas')[0].captureStream(30); 
var mediaRecoder = new MediaRecoder(outputCaptureStream, { 
    mimeType: 'video/webm' 
}); 

mediaRecorder.ondataavailable = function (e) { 
    ffmpegStdin.write(e.data); 
} 

mediaRecoder.start(1000); 

Vì lý do nào đó, luồng dường như chuyển ngẫu nhiên sang dòng giữa có độ phân giải thấp hơn. FFmpeg là không hài lòng về điều này:

dòng Input # 0: 0 khung thay đổi từ kích thước: 1280x720 fmt: yuv420p kích thước: 1024x576 fmt: yuv420p

[VP8 @ 0x2a02c00] Upscaling không được thực hiện. Cập nhật phiên bản FFmpeg của bạn lên phiên bản mới nhất từ ​​Git. Nếu sự cố vẫn xảy ra, điều đó có nghĩa là tệp của bạn có một tính năng chưa được triển khai. [VP8 @ 0x2a02c00] Nếu bạn muốn giúp đỡ, tải lên một mẫu của tập tin này để ftp://upload.ffmpeg.org/incoming/ và liên hệ với các mailing list ffmpeg-devel. (ffmpeg-devel@ffmpeg.org)

Tôi nghi ngờ rằng nó có liên quan đến việc sử dụng CPU quá mức và Firefox đang cố gắng hữu ích bằng cách giảm kích thước video xuống. Câu hỏi của tôi:

• Firefox có giảm tốc độ video không?
• Nếu vậy, những điều kiện gây ra điều này xảy ra? (CPU tải? Suối backpressure?)
• Có thể để ngăn chặn Firefox từ việc này?
• Có một lời giải thích khác nhau cho hành vi này mà tôi đang thiếu?

Answer 1

Firefox sẽ rescale (downscale) WebRTC/getUserMedia video nếu phát hiện CPU của hệ thống đang bị quá tải. Có một vài prefs trong about: config điều khiển hành vi này, nhưng nó không thể điều khiển qua JS.

Bạn có thể tắt tính năng này bằng cách thiết lập

media.navigator.load_adapt = false

Bạn có thể ghé qua media.navigator.load_adapt khác. * Cờ đối với một số kiểm soát hành vi. Theo mặc định, bạn sẽ nhận được downscaling nếu CPU được chốt hơn 90% trong 3 giây.