Làm cách nào để nhập dữ liệu từ mongodb sang gấu trúc?

Question

Tôi có một lượng lớn dữ liệu trong một bộ sưu tập trong mongodb mà tôi cần phân tích. Làm cách nào để nhập dữ liệu đó vào gấu trúc?

Tôi mới làm quen với gấu trúc và vón cục.

EDIT: Bộ sưu tập mongodb chứa các giá trị cảm biến được gắn thẻ ngày và giờ. Các giá trị cảm biến là kiểu dữ liệu float.

mẫu dữ liệu:

{ 
"_cls" : "SensorReport", 
"_id" : ObjectId("515a963b78f6a035d9fa531b"), 
"_types" : [ 
    "SensorReport" 
], 
"Readings" : [ 
    { 
     "a" : 0.958069536790466, 
     "_types" : [ 
      "Reading" 
     ], 
     "ReadingUpdatedDate" : ISODate("2013-04-02T08:26:35.297Z"), 
     "b" : 6.296118156595, 
     "_cls" : "Reading" 
    }, 
    { 
     "a" : 0.95574014778624, 
     "_types" : [ 
      "Reading" 
     ], 
     "ReadingUpdatedDate" : ISODate("2013-04-02T08:27:09.963Z"), 
     "b" : 6.29651468650064, 
     "_cls" : "Reading" 
    }, 
    { 
     "a" : 0.953648289182713, 
     "_types" : [ 
      "Reading" 
     ], 
     "ReadingUpdatedDate" : ISODate("2013-04-02T08:27:37.545Z"), 
     "b" : 7.29679823731148, 
     "_cls" : "Reading" 
    }, 
    { 
     "a" : 0.955931884300997, 
     "_types" : [ 
      "Reading" 
     ], 
     "ReadingUpdatedDate" : ISODate("2013-04-02T08:28:21.369Z"), 
     "b" : 6.29642922525632, 
     "_cls" : "Reading" 
    }, 
    { 
     "a" : 0.95821381, 
     "_types" : [ 
      "Reading" 
     ], 
     "ReadingUpdatedDate" : ISODate("2013-04-02T08:41:20.801Z"), 
     "b" : 7.28956613, 
     "_cls" : "Reading" 
    }, 
    { 
     "a" : 4.95821335, 
     "_types" : [ 
      "Reading" 
     ], 
     "ReadingUpdatedDate" : ISODate("2013-04-02T08:41:36.931Z"), 
     "b" : 6.28956574, 
     "_cls" : "Reading" 
    }, 
    { 
     "a" : 9.95821341, 
     "_types" : [ 
      "Reading" 
     ], 
     "ReadingUpdatedDate" : ISODate("2013-04-02T08:42:09.971Z"), 
     "b" : 0.28956488, 
     "_cls" : "Reading" 
    }, 
    { 
     "a" : 1.95667927, 
     "_types" : [ 
      "Reading" 
     ], 
     "ReadingUpdatedDate" : ISODate("2013-04-02T08:43:55.463Z"), 
     "b" : 0.29115237, 
     "_cls" : "Reading" 
    } 
], 
"latestReportTime" : ISODate("2013-04-02T08:43:55.463Z"), 
"sensorName" : "56847890-0", 
"reportCount" : 8 
} 

Answer 1

pymongo có thể cung cấp cho bạn một bàn tay, Dưới đây là một số mã Tôi đang sử dụng :

import pandas as pd 
from pymongo import MongoClient 


def _connect_mongo(host, port, username, password, db): 
    """ A util for making a connection to mongo """ 

    if username and password: 
     mongo_uri = 'mongodb://%s:%s@%s:%s/%s' % (username, password, host, port, db) 
     conn = MongoClient(mongo_uri) 
    else: 
     conn = MongoClient(host, port) 


    return conn[db] 


def read_mongo(db, collection, query={}, host='localhost', port=27017, username=None, password=None, no_id=True): 
    """ Read from Mongo and Store into DataFrame """ 

    # Connect to MongoDB 
    db = _connect_mongo(host=host, port=port, username=username, password=password, db=db) 

    # Make a query to the specific DB and Collection 
    cursor = db[collection].find(query) 

    # Expand the cursor and construct the DataFrame 
    df = pd.DataFrame(list(cursor)) 

    # Delete the _id 
    if no_id: 
     del df['_id'] 

    return df 

Answer 2

http://docs.mongodb.org/manual/reference/mongoexport

xuất khẩu sang csv và sử dụng read_csv hoặc JSON và sử dụng DataFrame.from_records

Answer 3

Monary thực hiện chính xác điều đó và nó là siêu nhanh. (another link)

Xem this cool post bao gồm hướng dẫn nhanh và một số thời gian.

Answer 4

Bạn có thể tải dữ liệu mongodb của mình vào gấu trúc DataFrame sử dụng mã này. Nó làm việc cho tôi. Hy vọng cho bạn quá.

import pymongo 
import pandas as pd 
from pymongo import MongoClient 
client = MongoClient() 
db = client.database_name 
collection = db.collection_name 
data = pd.DataFrame(list(collection.find())) 

Answer 5

Sử dụng

pandas.DataFrame(list(...)) 

sẽ tiêu tốn rất nhiều bộ nhớ nếu kết quả iterator/máy phát điện là lớn

tốt hơn để tạo ra khối nhỏ và concat vào cuối

def iterator2dataframes(iterator, chunk_size: int): 
    """Turn an iterator into multiple small pandas.DataFrame 

    This is a balance between memory and efficiency 
    """ 
    records = [] 
    frames = [] 
    for i, record in enumerate(iterator): 
    records.append(record) 
    if i % chunk_size == chunk_size - 1: 
     frames.append(pd.DataFrame(records)) 
     records = [] 
    if records: 
    frames.append(pd.DataFrame(records)) 
    return pd.concat(frames) 

Answer 6

Để xử lý dữ liệu ngoài lõi (không phù hợp với RAM) một cách hiệu quả (nghĩa là với việc thực thi song song), bạn có thể thử Python Blaze ecosystem: Blaze/Dask/Odo.

Blaze (và Odo) có các chức năng ngoài hộp để xử lý MongoDB.

Một vài điều hữu ích để bắt đầu:

• Introducing Blaze Expessions (với MongoDB dụ truy vấn)
• ReproduceIt: Reddit word count
• Difference between Dask Arrays and Blaze

Và một bài báo trong đó cho thấy những điều tuyệt vời là có thể với Blaze stack: Analyzing 1.7 Billion Reddit Comments with Blaze and Impala (về cơ bản, truy vấn 975 Gb nhận xét Reddit tính bằng giây).

P.S. Tôi không liên kết với bất kỳ công nghệ nào trong số này.

Answer 7

import pandas as pd 
from odo import odo 

data = odo('mongodb://localhost/db::collection', pd.DataFrame) 

Answer 8

Theo PEP, đơn giản là tốt hơn so với phức tạp:

import pandas as pd 
df = pd.DataFrame.from_records(db.<database_name>.<collection_name>.find()) 

Bạn có thể bao gồm các điều kiện như bạn sẽ làm việc với cơ sở dữ liệu MongoDB thường xuyên hoặc thậm chí sử dụng find_one() để có được chỉ có một phần tử từ cơ sở dữ liệu , v.v.

và thì đấy!

Answer 9

Thực hiện theo câu trả lời tuyệt vời này theo số waitingkuo Tôi muốn thêm khả năng thực hiện việc đó bằng cách sử dụng chunksize phù hợp với .read_sql() và .read_csv(). Tôi mở rộng câu trả lời từ Deu Leung bằng cách tránh từng người một từng 'bản ghi' của 'trình lặp'/'con trỏ'. Tôi sẽ mượn chức năng read_mongo trước đó.

def read_mongo(db, 
      collection, query={}, 
      host='localhost', port=27017, 
      username=None, password=None, 
      chunksize = 100, no_id=True): 
""" Read from Mongo and Store into DataFrame """ 


# Connect to MongoDB 
#db = _connect_mongo(host=host, port=port, username=username, password=password, db=db) 
client = MongoClient(host=host, port=port) 
# Make a query to the specific DB and Collection 
db_aux = client[db] 


# Some variables to create the chunks 
skips_variable = range(0, db_aux[collection].find(query).count(), int(chunksize)) 
if len(skips_variable)<=1: 
    skips_variable = [0,len(skips_variable)] 

# Iteration to create the dataframe in chunks. 
for i in range(1,len(skips_variable)): 

    # Expand the cursor and construct the DataFrame 
    #df_aux =pd.DataFrame(list(cursor_aux[skips_variable[i-1]:skips_variable[i]])) 
    df_aux =pd.DataFrame(list(db_aux[collection].find(query)[skips_variable[i-1]:skips_variable[i]])) 

    if no_id: 
     del df_aux['_id'] 

    # Concatenate the chunks into a unique df 
    if 'df' not in locals(): 
     df = df_aux 
    else: 
     df = pd.concat([df, df_aux], ignore_index=True) 

return df