Cách cải thiện chất lượng camera ở ARKit

Question

Tôi đang xây dựng một ứng dụng ARKit nơi chúng tôi muốn có thể chụp ảnh cảnh. Tôi đang tìm chất lượng hình ảnh của chế độ xem ARCamera không đủ tốt để chụp ảnh bằng iPad Pro.

hình ảnh camera tiêu chuẩn:

ARCamera ảnh:

Tôi đã thấy một bài diễn đàn của Apple đề cập đến điều này có thể iPad Pro 10,5 cụ thể và có liên quan đến vị trí ống kính cố định (https://forums.developer.apple.com/message/262950#262950).

Có cách nào công khai để thay đổi cài đặt không? Ngoài ra, tôi đã cố gắng sử dụng AVCaptureSession để chụp ảnh bình thường và áp dụng nó cho sceneView.scene.background.contents để chuyển ra một hình ảnh mờ cho hình ảnh có độ phân giải cao hơn tại thời điểm chụp ảnh nhưng không thể nhận được AVCapturePhotoOutput để làm việc với ARKit

Answer 1

Cập nhật: Chúc mừng người nộp đơn feature requests! Trong iOS 11.3 (còn gọi là "ARKit 1.5"), bạn có thể kiểm soát ít nhất một số cài đặt chụp. Và bây giờ bạn có được 1080p với tính năng tự động lấy nét được bật theo mặc định.

Kiểm tra ARWorldTrackingConfiguration.supportedVideoFormats để biết danh sách các đối tượng ARConfiguration.VideoFormat, mỗi đối tượng xác định độ phân giải và tỷ lệ khung hình. Đầu tiên trong danh sách là tùy chọn mặc định (và tốt nhất) được hỗ trợ trên thiết bị hiện tại của bạn, vì vậy nếu bạn chỉ muốn độ phân giải/tốc độ khung hình tốt nhất có sẵn, bạn không phải làm gì cả. (Và nếu bạn muốn từ chối vì lý do hiệu suất bằng cách đặt videoFormat, có thể tốt hơn để làm điều đó dựa trên thứ tự mảng thay vì kích thước mã hóa.)

Tự động lấy nét được bật theo mặc định trong iOS 11.3, vì vậy, ví dụ của bạn (với một chủ thể tương đối gần với máy ảnh) nên đi ra tốt hơn nhiều. Nếu vì một lý do nào đó bạn cần tắt nó, there's a switch for that.

---

Vẫn không có API để thay đổi cài đặt máy ảnh cho phiên chụp cơ bản được ARKit sử dụng.

Theo các kỹ sư quay lại WWDC, ARKit sử dụng một tập hợp con hạn chế khả năng chụp ảnh để đảm bảo tốc độ khung hình cao với tác động tối thiểu đến việc sử dụng CPU và GPU. Có một số chi phí chế biến để sản xuất video trực tiếp chất lượng cao hơn, nhưng cũng có một số chi phí xử lý cho hệ thống tích hợp cảm biến chuyển động và thị giác máy tính khiến ARKit hoạt động - tăng chi phí quá nhiều và bạn bắt đầu thêm độ trễ. Và đối với một công nghệ có nghĩa vụ cho người dùng xem "sống" tăng cường của thế giới của họ, bạn không muốn phần "được tăng cường" để chuyển động quay phim chậm bởi nhiều khung hình. (Ngoài ra, trên tất cả những điều đó, bạn có thể muốn một số thời gian CPU/GPU còn sót lại để ứng dụng của bạn hiển thị nội dung 3D có chiều ngang ở phía trên chế độ xem máy ảnh.)

Tình trạng này giống nhau giữa các thiết bị iPhone và iPad, nhưng bạn nhận thấy nó nhiều hơn trên iPad chỉ vì màn hình lớn hơn rất nhiều - video 720p không quá tệ trên màn hình 4-5 ", nhưng có vẻ khủng khiếp kéo dài để lấp đầy màn hình 10-13". (May mắn là bạn nhận được 1080p theo mặc định trong iOS 11.3, có vẻ tốt hơn.)

Hệ thống AVCapture cung cấp khả năng chụp ảnh có chất lượng cao hơn với độ phân giải cao hơn trong khi quay video, nhưng ARKit không hiển thị phiên chụp nội bộ của nó trong bất kỳ cách nào, vì vậy bạn không thể sử dụng AVCapturePhotoOutput cùng với nó.(Chụp ảnh tĩnh có độ phân giải cao trong một phiên có thể vẫn tốt feature request.)