Trong python, làm thế nào tôi có thể tải một db sqlite hoàn toàn vào bộ nhớ trước khi kết nối với nó?

Question

Tôi có một tệp db sqlite byte 100 mega mà tôi muốn tải vào bộ nhớ trước khi thực hiện truy vấn sql. Có thể làm điều đó trong python?

Cảm ơn

Answer 1

apsw là một wrapper thay thế cho sqlite, cho phép bạn sao lưu cơ sở dữ liệu trên đĩa vào bộ nhớ trước khi thực hiện các thao tác.

Từ docs:

### 
### Backup to memory 
### 

# We will copy the disk database into a memory database 

memcon=apsw.Connection(":memory:") 

# Copy into memory 
with memcon.backup("main", connection, "main") as backup: 
    backup.step() # copy whole database in one go 

# There will be no disk accesses for this query 
for row in memcon.cursor().execute("select * from s"): 
    pass 

connection trên là bạn db trên đĩa.

Answer 2

1. Nhận một cơ sở dữ liệu trong bộ nhớ chạy (công cụ tiêu chuẩn)
2. Attach cơ sở dữ liệu đĩa (file).
3. Tạo lại bảng/chỉ mục và sao chép nội dung.
4. Tháo cơ sở dữ liệu đĩa (file)

Dưới đây là một ví dụ (lấy from here) trong Tcl (có thể là hữu ích để nhận được ý tưởng chung cùng):

proc loadDB {dbhandle filename} { 

    if {$filename != ""} { 
     #attach persistent DB to target DB 
     $dbhandle eval "ATTACH DATABASE '$filename' AS loadfrom" 
     #copy each table to the target DB 
     foreach {tablename} [$dbhandle eval "SELECT name FROM loadfrom.sqlite_master WHERE type = 'table'"] { 
      $dbhandle eval "CREATE TABLE '$tablename' AS SELECT * FROM loadfrom.'$tablename'" 
     } 
     #create indizes in loaded table 
     foreach {sql_exp} [$dbhandle eval "SELECT sql FROM loadfrom.sqlite_master WHERE type = 'index'"] { 
      $dbhandle eval $sql_exp 
     } 
     #detach the source DB 
     $dbhandle eval {DETACH loadfrom} 
    } 
} 

Answer 3

Lưu ý rằng bạn có thể không cần tải một cách rõ ràng cơ sở dữ liệu vào bộ nhớ của SQLite. Đơn giản chỉ cần đệm bộ nhớ cache của hệ điều hành của bạn bằng cách sao chép nó vào null.

Windows: copy file.db nul: 
Unix/Mac: cp file.db /dev/null 

Điều này có lợi thế là hệ điều hành quản lý bộ nhớ, đặc biệt loại bỏ nó nếu có điều gì quan trọng hơn.

Answer 4

Nếu bạn đang sử dụng Linux, bạn có thể thử tmpfs là hệ thống tệp dựa trên bộ nhớ.

Nó rất dễ dàng để sử dụng nó:

1. gắn tmpfs vào một thư mục.
2. sao chép tệp sqlite db vào thư mục.
3. mở tệp dưới dạng tệp sqlite db bình thường.

Hãy nhớ rằng, mọi thứ trong tmpfs sẽ bị mất sau khi khởi động lại. Vì vậy, bạn có thể sao chép tập tin db trở lại đĩa nếu nó thay đổi.