Bảng1: Mọi thứ kể cả bồn rửa nhà bếp. Ngày ở định dạng sai (năm cuối cùng để bạn không thể sắp xếp trên cột đó), Số được lưu trữ dưới dạng VARCHAR, địa chỉ đầy đủ trong cột 'đường phố', firstname và lastname trong cột firstname, thành phố trong cột lastname, địa chỉ không đầy đủ, Hàng cập nhật trước các hàng bằng cách di chuyển dữ liệu từ trường này sang trường khác dựa trên một số quy tắc đã thay đổi qua nhiều năm, bản ghi trùng lặp, hồ sơ không đầy đủ, bản ghi rác ... bạn đặt tên cho nó ... oh và tất nhiên không phải là dấu thời gian hoặc CHÍNH KEY cột trong tầm nhìn.Cơn ác mộng cơ sở dữ liệu di sản MySQL cuối cùng
Bảng2: Bất kỳ hy vọng bình thường hóa nào đã được mở ra ngoài cửa sổ khi bẻ khóa em bé này. Chúng tôi có một hàng cho mỗi mục nhập và cập nhật các hàng trong bảng một. Vì vậy, bản sao như không có ngày mai (800MB giá trị) và các cột như Phone1 Phone2 Phone3 Phone4 ... Phone15 (họ không được gọi là điện thoại. Tôi sử dụng này để minh hoạ) Khóa foriegn là .. cũng đoán. Có ba ứng cử viên tùy thuộc vào loại dữ liệu nào trong hàng trong bảng1
Bảng 3: Có thể nào tệ hơn không. Ồ vâng. Các phím có tên là KHÔNG CÓ tương quan với dữ liệu bên trong chúng, và bắt buộc Phone1 Phone2 Phone3 Phone4 ... Phone15. Có các cột Duplicated from Table1 và không phải là cột TIMESTAMP hoặc PRIMARY KEY trong tầm nhìn. progess và có thể thay đổi bất cứ lúc nào.Đó là essentailly simlar cho những người khác
Ở gần 1m hàng này là một mớ hỗn độn lớn. May mắn thay nó không phải là mớ hỗn độn lớn của tôi.Không may mắn tôi phải rút ra khỏi nó một composit kỷ lục cho mỗi "khách hàng".
Ban đầu tôi đã tạo ra bản dịch bốn bước của Table1 thêm một khóa CHÍNH và chuyển đổi tất cả các ngày thành định dạng có thể sắp xếp. Sau đó, thêm một vài bước truy vấn đã trả về dữ liệu đã lọc cho đến khi tôi có Table1 đến nơi tôi có thể sử dụng nó để kéo từ các bảng khác để tạo thành composit. Sau nhiều tuần làm việc, tôi đã thực hiện điều này bằng một số thủ thuật. Vì vậy, bây giờ tôi có thể trỏ ứng dụng của tôi vào mớ hỗn độn và kéo ra một bảng dữ liệu tổng hợp tốt đẹp. May mắn thay, tôi chỉ cần một trong những số điện thoại cho mục đích của tôi để bình thường hóa bảng của tôi không phải là một vấn đề. Tuy nhiên đây là nơi mà nhiệm vụ thực sự bắt đầu, bởi vì mỗi ngày hàng trăm nhân viên thêm/cập nhật/xóa cơ sở dữ liệu này theo cách bạn không muốn tưởng tượng và mỗi đêm tôi phải lấy các hàng mới.
Vì các hàng hiện có trong bất kỳ bảng nào có thể được thay đổi và vì không có cột CẬP NHẬT CẬP NHẬT, tôi sẽ phải sử dụng nhật ký để biết điều gì đã xảy ra. Tất nhiên điều này giả định rằng có một bản ghi nhị phân, mà không có!
Giới thiệu khái niệm đã đi xuống như quả bóng dẫn. Tôi cũng có thể nói với họ rằng con cái của họ sẽ phải trải qua phẫu thuật thử nghiệm. Chúng không chính xác là công nghệ cao ... trong trường hợp bạn không thu thập được ...
Tình huống này hơi tinh tế vì chúng có một số thông tin giá trị mà công ty tôi muốn. Tôi đã được gửi xuống bởi quản lý cấp cao của một tập đoàn lớn (bạn biết họ thế nào) để "làm cho nó xảy ra".
Tôi không thể nghĩ ra cách nào khác để xử lý cập nhật hàng đêm, hơn là phân tích cú pháp tệp nhật ký bin với ứng dụng khác, để tìm hiểu những gì họ đã làm cho cơ sở dữ liệu đó trong ngày và sau đó tổng hợp bảng của tôi cho phù hợp. Tôi thực sự chỉ cần nhìn vào table1 của họ để tìm ra những gì cần làm cho bảng của tôi.Các bảng khác chỉ cung cấp các trường để xóa bỏ bản ghi. (Sử dụng MASTER SLAVE sẽ không giúp đỡ vì tôi sẽ có một bản sao của mớ hỗn độn.)
Cách khác là tạo một băm duy nhất cho mỗi hàng trong bảng 1 của chúng và xây dựng một bảng băm. Sau đó, tôi sẽ đi qua cơ sở dữ liệu ENTIRE mỗi đêm để kiểm tra xem các băm có phù hợp hay không. Nếu không thì tôi sẽ đọc bản ghi đó và kiểm tra xem nó có tồn tại trong cơ sở dữ liệu của tôi không, nếu có thì tôi sẽ cập nhật nó trong cơ sở dữ liệu của tôi, nếu nó không phải là bản ghi mới của nó và tôi sẽ INSERT nó. Điều này là xấu xí và không nhanh, nhưng phân tích cú pháp tệp nhật ký nhị phân cũng không đẹp.
Tôi đã viết thư này để giúp giải thích rõ vấn đề. thường nói với người khác giúp làm rõ vấn đề làm cho một giải pháp rõ ràng hơn. Trong trường hợp này tôi chỉ có một cơn đau đầu lớn hơn!
Suy nghĩ của bạn sẽ được đánh giá cao.
* Vấn đề duy nhất tôi có thể thấy là nếu một số bảng không có khóa chính. * - Chúng không ... Sau nhiều cuộc đàm phán ngày hôm nay họ đã nói với tôi rằng "hiếm khi" cập nhật/xóa bản ghi. .. bất cứ điều gì tha nghĩa. Khi nói chuyện với một nhà phát triển cơ sở dữ liệu khác có vẻ là cách tốt nhất (chỉ) để làm điều này đúng, là băm từng hàng darn và lưu giữ băm trong bảng. Sau đó, mỗi đêm đọc lại cơ sở dữ liệu ENTIRE tạo một băm cho mỗi hàng và chỉ cần so sánh đơn giản. Tôi chỉ không thể nhìn thấy một cách xung quanh nó. Cố gắng giải mã các tệp nhật ký nhị phân sẽ chỉ đầy nguy hiểm. –