Nhật ký cơ sở dữ liệu và nhật ký tệp

Question

Tôi đã tạo một ứng dụng web PHP + MYSQL và tôi đang cố triển khai hệ thống ghi nhật ký để lưu trữ và theo dõi một số hành động của từng người dùng.

Mục đích của việc này là như sau: theo dõi hoạt động của phiên của từng người dùng bằng cách ghi nhật ký hành động + thời gian +, sau đó xem trang nào anh truy cập sau này bằng cách ghi thời gian + pagename; cho mỗi người dùng sẽ có một tệp ở định dạng: nhật ký {userid} _ {month} .log

Mỗi nhật ký sẽ chỉ được chủ sở hữu trang web xem, thông qua bảng điều khiển quản trị tùy chỉnh và dữ liệu sẽ chỉ được sử dụng cho mục đích bảo mật (như để hiển thị cho người dùng nếu anh ta đăng nhập từ một IP khác hoặc nếu ai đó đã đăng nhập từ một IP khác và xem khu vực nào của trang web mà người dùng truy cập trong phiên đăng nhập của anh ấy).

Hiện tại, tôi có bảng MYSQL MyISAM nơi lưu trữ userid, IP, thời gian, hành động và ứng dụng vẫn chưa được khởi chạy nhưng chúng tôi dự định có rất nhiều người dùng (trên 100k) và sử dụng cơ sở dữ liệu cho các giải pháp cảm thấy như tự tử.

Vì vậy, bạn đề xuất điều gì? Làm thế nào nên đăng nhập được thực hiện? Sử dụng các tập tin, sử dụng một bảng trong cơ sở dữ liệu hiện tại, sử dụng một cơ sở dữ liệu riêng biệt? Có bất kỳ khung công tác ghi nhật ký tệp nào có sẵn cho PHP không?

Làm thế nào để đọc tệp được thực hiện sau đó? Đọc kết quả theo hàng?

Cảm ơn bạn

Answer 1

Bạn có nhiều lựa chọn, vì vậy tôi sẽ nói từ kinh nghiệm của tôi chạy một khởi động với khoảng 500k người dùng, 100k hoạt động mỗi tháng, mà có vẻ là trong phạm vi của bạn.

Chúng tôi đã ghi lại tác vụ người dùng trong cơ sở dữ liệu MySQL.

1. Truy vấn dữ liệu của bạn là rất dễ dàng và nhanh chóng (với điều kiện chỉ số tốt)
2. Chúng tôi chạy trên Azure, và đã có một MySQL chuyên dụng (với nô lệ, vv) để lưu trữ tất cả các dữ liệu người dùng, bao gồm cả các bản ghi. Không gian không phải là một vấn đề.
3. Việc đăng nhập vào MySQL có thể chậm, tùy thuộc vào mọi thứ bạn đang đăng nhập, vì vậy chúng tôi chỉ cần đăng nhập vào Redis và có ứng dụng Python đọc nó từ Redis và chèn vào MySQL ở chế độ nền. Điều này làm cho việc đăng nhập về cơ bản không ảnh hưởng đến thời gian tải.

Chúng tôi quyết định để đăng nhập vào MySQL cho hành động người dùng vì:

1. Chúng tôi muốn chạy các truy vấn trên bất cứ điều gì bất cứ lúc nào mà không cần nhiều nỗ lực. Định dạng có cấu trúc của nhật ký hành động của người dùng khiến việc này trở nên vô cùng dễ dàng.
2. Nó cũng cho phép bạn hiển thị các nhật ký nhất định cho người dùng, nếu bạn cần.
3. Khi chúng tôi giới thiệu huy hiệu, chúng tôi không cần phải phân tích cú pháp nhật ký văn bản thành huy hiệu giải thưởng cho những người đã thực hiện một số hành động X cụ thể. Chúng tôi chỉ viết một truy vấn chống lại các nhật ký hành động của người dùng và các huy hiệu đã được trao. Vì vậy, việc thêm các tính năng dựa trên hành động cũng dễ dàng.

Chúng tôi đã sử dụng ghi nhật ký tệp cho một vài nhật ký ứng dụng - hoặc những thứ chúng tôi không truy vấn hàng ngày - chẳng hạn như ứng dụng Python ghi vào cơ sở dữ liệu, truy cập máy chủ Web và nhật ký lỗi, v.v.

Chúng tôi đã sử dụng Logstash để xử lý các nhật ký đó. Nó có thể chỉ đơn giản là móc vào một tệp nhật ký và truyền nó tới máy chủ Logstash của bạn. Logstash cũng có thể truy vấn nhật ký của bạn, điều này khá thú vị.

nâng cao sử dụng

Chúng tôi sử dụng Slack cho truyền thông nhóm và tích hợp các ứng dụng cơ sở dữ liệu bằng văn bản Python với nó, điều này cho phép chúng tôi gửi các lỗi quan trọng đối với một kênh (thông qua API của họ), nơi một người nào đó có thể hành động một sửa chữa ngay lập tức .

Đóng

Đề nghị của tôi sẽ không qua nghĩ rằng nó bây giờ, đăng nhập để MySQL, truy vấn và xem số liệu thống kê. Thực hiện cập nhật, rửa sạch và lặp lại. Bạn muốn giữ chu kỳ giữa triển khai và cập nhật nhanh chóng, vì vậy việc đưa ra quyết định từ truy vấn SQL nhanh chóng giúp bạn dễ dàng.

Về cơ bản những gì bạn muốn tránh là đăng nhập vào máy chủ, tìm nhật ký và grep theo cách của bạn để tìm nội dung nào đó, ở trên đạt được điều đó.

Đây là những gì chúng tôi đã làm, nó vẫn chạy như vậy và chúng tôi không có kế hoạch thay đổi nó sớm. Chúng tôi đã không có bất kỳ vấn đề mà chúng tôi không thể tìm thấy bất cứ điều gì mà chúng tôi cần. Nếu có một lượng lớn người dùng và chúng tôi mở rộng đến 1 triệu người dùng hoạt động hàng tháng, thì chúng tôi có thể thay đổi nó.

Xin lưu ý: bất cứ cách nào bạn quyết định để đăng nhập, nếu bạn đang lưu dữ liệu POST, hãy chắc chắn không bao giờ làm điều đó cho thông tin thẻ tín dụng, trừ khi bạn đã tuân thủ. Hoặc sử dụng thư viện JavaScript của Stripe.

Answer 2

Nếu bạn chắc chắn rằng đọc nhật ký chủ yếu sẽ tập trung vào một người dùng tại một thời điểm, bạn nên xem xét partioning bảng đăng nhập của bạn: http://dev.mysql.com/doc/refman/5.1/en/partitioning-range.html sử dụng user_id của bạn như là chìa khóa phân vùng.

Số lượng phân vùng tối đa là 1024, bạn sẽ có một phân vùng lưu trữ 1/1000 trong số 100 nghìn người dùng của mình, đó là điều gì đó hợp lý.

Answer 3

Có bất kỳ khung ghi nhật ký tệp nào có sẵn cho PHP không?

Có này đó có sẵn trên packagist là: https://packagist.org/packages/psr/log

Lưu ý rằng nó không phải là một khung đăng nhập tập tin nhưng một API cho một logger dựa trên tiêu chuẩn PSR-3 từ FIG. Vì vậy, nếu bạn thích, đó là giao diện logger "chuẩn" cho PHP. Bạn có thể xây dựng một trình ghi nhật ký thực hiện giao diện này hoặc tìm kiếm xung quanh trên packagist cho các trình ghi nhật ký khác thực hiện giao diện đó (hoặc tệp hoặc dựa trên MySQL). Có một vài logger khác trên packagist (tách trà, lâm nghiệp) nhưng nó sẽ là thích hợp hơn để sử dụng một trong đó dính vào tiêu chuẩn PSR.

Answer 4

Chúng tôi đăng nhập bằng công cụ tuyệt vời Graylog.

Tỷ lệ cao như bạn muốn, có công cụ tuyệt vời về hiển thị dữ liệu, cực kỳ nhanh ngay cả đối với truy vấn phức tạp và tập dữ liệu khổng lồ, và tìm kiếm cơ bản (elasticsearch).Sau này có thể là một lợi thế khi bạn nhận được nhiều khả năng mở rộng các bản ghi của mình mà không có các lược đồ mysql phức tạp có thể cung cấp cho bạn.

Graylog, elasticsearch và mongodb (được sử dụng để lưu cấu hình của graylog và webinterface) dễ dàng triển khai thông qua các công cụ như con rối, đầu bếp và các loại tương tự.

Thực tế việc đăng nhập vào graylog thật dễ dàng với monolog php-lib đã đề cập.

Nguyền rủa những bất lợi lớn ở đây là bạn phải học một loạt các công cụ và phần mềm mới. Nhưng nó là giá trị nó theo ý kiến ​​của tôi.

Answer 5

Sử dụng SysLog;) Thiết lập trên máy chủ khác và có thể đăng nhập tất cả các quy trình của bạn một cách riêng biệt (chẳng hạn như mạng, máy chủ, sql, apache và php của bạn). Có thể hữu ích cho bạn và giảm thời gian gỡ lỗi. :)

Answer 6

Điểm mấu chốt của vấn đề là dữ liệu bạn đang viết sẽ không bị thay đổi. Theo kinh nghiệm của tôi trong trường hợp này, tôi sẽ sử dụng một trong hai:

• MySQL with a blackhole công cụ lưu trữ. Đặt nó lên ngay và nhanh chóng phồng rộp!
• Riak Cluster (giải pháp NoSQL) - mặc dù đây có thể là một đường cong học tập cho bạn nhưng đó có thể là một cách bạn có thể cần phải thực hiện.