Lưu trữ dữ liệu khóa-giá trị Boltdb hoàn toàn trong Go

Question

Bolt lấy khóa tệp trên tệp dữ liệu để nhiều quá trình không thể mở cùng một cơ sở dữ liệu cùng một lúc. Việc mở một cơ sở dữ liệu Bolt đã mở sẽ khiến nó bị treo cho đến khi quá trình khác đóng nó lại.

Vì đây là trường hợp, có bất kỳ khái niệm tổng hợp kết nối nào giống như các máy khách khác nhau đang kết nối và truy cập cơ sở dữ liệu cùng một lúc không? Điều này có thể xảy ra trong boltdb không? Giống như có nhiều kết nối khác nhau đọc và ghi trong cơ sở dữ liệu cùng một lúc. Làm thế nào nó có thể được thực hiện?

Answer 1

Cơ sở dữ liệu Bolt thường được nhúng vào một chương trình lớn hơn và không được sử dụng trên mạng như bạn làm với cơ sở dữ liệu được chia sẻ (nghĩ SQLite vs MySQL). Sử dụng Bolt hơi giống một số liên tục map[[]byte][]byte nếu có thể. Tùy thuộc vào những gì bạn đang làm, bạn có thể muốn chỉ sử dụng một cái gì đó như Redis.

Điều đó nói rằng, nếu bạn cần sử dụng Bolt theo cách này, nó không phải là rất khó khăn để bọc với một máy chủ đơn giản. Đây là một ví dụ viết/đọc các khóa từ một Bolt DB qua HTTP. Bạn có thể sử dụng Keep-Alive để kết nối tổng hợp.

Mã tại địa chỉ: https://github.com/skyec/boltdb-server

package main 

import (
    "flag" 
    "fmt" 
    "io/ioutil" 
    "log" 
    "net/http" 
    "time" 

    "github.com/boltdb/bolt" 
    "github.com/gorilla/mux" 
) 

type server struct { 
    db *bolt.DB 
} 

func newServer(filename string) (s *server, err error) { 
    s = &server{} 
    s.db, err = bolt.Open(filename, 0600, &bolt.Options{Timeout: 1 * time.Second}) 
    return 
} 

func (s *server) Put(bucket, key, contentType string, val []byte) error { 
    return s.db.Update(func(tx *bolt.Tx) error { 
     b, err := tx.CreateBucketIfNotExists([]byte(bucket)) 
     if err != nil { 
      return err 
     } 
     if err = b.Put([]byte(key), val); err != nil { 
      return err 
     } 
     return b.Put([]byte(fmt.Sprintf("%s-ContentType", key)), []byte(contentType)) 
    }) 
} 

func (s *server) Get(bucket, key string) (ct string, data []byte, err error) { 
    s.db.View(func(tx *bolt.Tx) error { 
     b := tx.Bucket([]byte(bucket)) 
     r := b.Get([]byte(key)) 
     if r != nil { 
      data = make([]byte, len(r)) 
      copy(data, r) 
     } 

     r = b.Get([]byte(fmt.Sprintf("%s-ContentType", key))) 
     ct = string(r) 
     return nil 
    }) 
    return 
} 

func (s *server) ServeHTTP(w http.ResponseWriter, r *http.Request) { 
    vars := mux.Vars(r) 

    if vars["bucket"] == "" || vars["key"] == "" { 
     http.Error(w, "Missing bucket or key", http.StatusBadRequest) 
     return 
    } 

    switch r.Method { 
    case "POST", "PUT": 
     data, err := ioutil.ReadAll(r.Body) 
     if err != nil { 
      http.Error(w, err.Error(), http.StatusInternalServerError) 
      return 
     } 
     err = s.Put(vars["bucket"], vars["key"], r.Header.Get("Content-Type"), data) 
     w.WriteHeader(http.StatusOK) 
    case "GET": 
     ct, data, err := s.Get(vars["bucket"], vars["key"]) 
     if err != nil { 
      http.Error(w, err.Error(), http.StatusInternalServerError) 
      return 
     } 
     w.Header().Add("Content-Type", ct) 
     w.Write(data) 
    } 
} 

func main() { 
    var (
     addr string 
     dbfile string 
    ) 

    flag.StringVar(&addr, "l", ":9988", "Address to listen on") 
    flag.StringVar(&dbfile, "db", "/var/data/bolt.db", "Bolt DB file") 
    flag.Parse() 

    log.Println("Using Bolt DB file:", dbfile) 
    log.Println("Listening on:", addr) 

    server, err := newServer(dbfile) 
    if err != nil { 
     log.Fatalf("Error: %s", err) 
    } 

    router := mux.NewRouter() 
    router.Handle("/v1/buckets/{bucket}/keys/{key}", server) 
    http.Handle("/", router) 

    log.Fatal(http.ListenAndServe(addr, nil)) 
} 

Answer 2

Không có khái niệm tổng hợp kết nối trong boltdb, vì không có kết nối. Nó không phải là một cơ sở dữ liệu máy khách/máy chủ, nó là một cơ sở dữ liệu nhúng (như sqlite hoặc Berkeley-DB).

Boltdb được thiết kế sao cho nhiều goroutines của cùng một quy trình có thể truy cập cơ sở dữ liệu cùng một lúc (sử dụng các giao dịch khác nhau). Mô hình là một người viết, nhiều độc giả. Boltdb không được thiết kế để hỗ trợ truy cập từ nhiều quy trình.

Nếu bạn cần một chương trình Go để sử dụng một cơ sở dữ liệu nhúng hỗ trợ truy cập từ nhiều quy trình cùng một lúc, bạn có thể muốn có một cái nhìn tại wrappers qua LMDB, chẳng hạn như:

• https://github.com/szferi/gomdb
• https://github.com/armon/gomdb