Nhập dữ liệu vào Google Colaboratory

Question

Các cách phổ biến để nhập dữ liệu cá nhân vào sổ ghi chép của Google là gì? Có thể nhập một trang tính không công khai của Google không? Bạn không thể đọc từ tệp hệ thống. Các tài liệu giới thiệu liên kết với một guide on using BigQuery, nhưng điều đó có vẻ hơi ... nhiều.

Answer 1

Sửa: Một ví dụ máy tính xách tay chính thức chứng minh tập tin địa phương upload/download và tích hợp với Drive và tờ có sẵn ở đây: https://colab.research.google.com/notebook#fileId=/v2/external/notebooks/io.ipynb

Chắc chắn, đây là một máy tính xách tay: https://colab.research.google.com/notebook#fileId=0B7I8C_4vGdF6SDdBT1pJZlZTU1k

máy tính xách tay này cho thấy:

1. Xuất khung dữ liệu gấu trúc thành Trang tính riêng tư mới được tạo. Và,
2. Đọc dữ liệu đó từ các trang tính.

Answer 2

Cách đơn giản nhất tôi đã thực hiện là:

kho

1. Make trên github với bộ dữ liệu của bạn
2. Clone kho của bạn với! git clone --recursive [GITHUB LINK REPO]
3. Tìm dữ liệu của bạn (! ls command)
4. Mở tệp bằng gấu trúc như bạn làm trong sổ ghi chú jupyter bình thường.

Answer 3

Giải pháp đơn giản nhất tôi đã tìm thấy cho đến nay mà hoạt động hoàn hảo cho nhỏ để các file cỡ trung CSV là:

1. Tạo một ý chính bí mật trên gist.github.com và tải lên (hoặc copy-paste nội dung của) tệp của bạn.
2. Nhấp vào chế độ xem Nguyên xem và sao chép URL tệp thô.
3. Sử dụng các URL sao chép như là địa chỉ tập tin khi bạn gọi pandas.read_csv(URL)

này có thể hoặc không thể làm việc để đọc một dòng tập tin văn bản bằng cách dòng hoặc các tập tin nhị phân.

Answer 4

Cách đơn giản để nhập dữ liệu từ googledrive của bạn - làm điều này tiết kiệm thời gian cho mọi người (không biết tại sao Google không liệt kê bước này một cách rõ ràng).

INSTALL và xác thực PYDRIVE

 !pip install -U -q PyDrive ## you will have install for every colab session 

    from pydrive.auth import GoogleAuth 
    from pydrive.drive import GoogleDrive 
    from google.colab import auth 
    from oauth2client.client import GoogleCredentials 

    # 1. Authenticate and create the PyDrive client. 
    auth.authenticate_user() 
    gauth = GoogleAuth() 
    gauth.credentials = GoogleCredentials.get_application_default() 
    drive = GoogleDrive(gauth) 

tải lên

nếu bạn cần phải tải dữ liệu từ ổ đĩa cục bộ:

from google.colab import files 

    uploaded = files.upload() 

    for fn in uploaded.keys(): 
     print('User uploaded file "{name}" with length {length} bytes'.format(name=fn, length=len(uploaded[fn]))) 

thực thi và điều này sẽ hiển thị một nút chọn tập tin - tìm upload của bạn tệp - nhấp vào mở

Sau khi tải lên, nó sẽ di chuyển splay:

sample_file.json(text/plain) - 11733 bytes, last modified: x/xx/2018 - %100 done 
    User uploaded file "sample_file.json" with length 11733 bytes 

CREATE FILE CHO NOTEBOOK

Nếu tập tin dữ liệu của bạn là đã có trong GDrive của bạn, bạn có thể bỏ qua bước này.

Bây giờ, nó nằm trong ổ google của bạn. Tìm tệp trong ổ google của bạn và nhấp chuột phải. Nhấp vào 'liên kết có thể chia sẻ'. Bạn sẽ nhận được một cửa sổ với:

https://drive.google.com/open?id=29PGh8XCts3mlMP6zRphvnIcbv27boawn 

Copy - '29PGh8XCts3mlMP6zRphvnIcbv27boawn' - đó là tập tin ID.

Trong máy tính xách tay của bạn:

json_import = drive.CreateFile({'id':'29PGh8XCts3mlMP6zRphvnIcbv27boawn'}) 

    json_import.GetContentFile('sample.json') - 'sample.json' is the file name that will be accessible in the notebook. 

DỮ LIỆU NHẬP VÀO NOTEBOOK

Để nhập dữ liệu bạn đã tải lên vào máy tính xách tay (tệp json trong ví dụ này - làm thế nào bạn nạp sẽ phụ thuộc vào tập tin/kiểu dữ liệu - .txt, .csv, vv):

sample_uploaded_data = json.load(open('sample.json')) 

Bây giờ bạn có thể in để xem dữ liệu là có:

print(sample_uploaded_data) 

Answer 5

Khi bạn xuất dữ liệu của mình vào trang tính google, bạn có thể sử dụng phương pháp mô tả tại đây: https://stackoverflow.com/a/48986530/2919826 để tải lại dữ liệu dưới dạng khung dữ liệu Pandas. Điều bất tiện duy nhất là dữ liệu của bạn sẽ được công khai, mọi người có liên kết đều có thể đọc được.

Answer 6

nhập khẩu nhanh chóng và dễ dàng từ Dropbox:

!pip install dropbox 
import dropbox 
access_token = 'YOUR_ACCESS_TOKEN_HERE' # https://www.dropbox.com/developers/apps 
dbx = dropbox.Dropbox(access_token) 

# response = dbx.files_list_folder("") 

metadata, res = dbx.files_download('/dataframe.pickle2') 

with open('dataframe.pickle2', "wb") as f: 
    f.write(res.content)