Làm thế nào tôi có thể xác định chi phí nếu một cột chỉ chứa các bản ghi NULL?

Question

Tôi có một bảng lớn với 500 cột và 100M hàng. Dựa trên một mẫu nhỏ, tôi tin rằng chỉ có khoảng 50 cột có chứa bất kỳ giá trị nào, và 450 khác chỉ chứa giá trị NULL. Tôi muốn liệt kê các cột không chứa dữ liệu.

Mở phần cứng hiện tại của tôi, nó sẽ mất khoảng 24 giờ để truy vấn mỗi cột (select count(1) from tab where col_n is not null)

Có cách nào ít tốn kém để xác định rằng một cột là hoàn toàn trống rỗng/NULL?

Answer 1

gì về điều này:

SELECT 
    SUM(CASE WHEN column_1 IS NOT NULL THEN 1 ELSE 0) column_1_count, 
    SUM(CASE WHEN column_2 IS NOT NULL THEN 1 ELSE 0) column_2_count, 
    ... 
FROM table_name 

?

Bạn có thể dễ dàng tạo truy vấn này nếu bạn sử dụng bảng INFORMATION_SCHEMA.COLUMNS.

EDIT:

Một ý tưởng:

CHỌN MAX (column_1), MAX (column_2), ..... FROM tên_bảng

Nếu kết quả chứa giá trị, cột được dân cư. Nó sẽ yêu cầu quét một bảng.

Answer 2

Hãy thử điều này một -

DDL:

IF OBJECT_ID ('dbo.test2') IS NOT NULL 
    DROP TABLE dbo.test2 

CREATE TABLE dbo.test2 
(
     ID BIGINT IDENTITY(1,1) PRIMARY KEY 
    , Name VARCHAR(10) NOT NULL 
    , IsCitizen BIT NULL 
    , Age INT NULL 
) 

INSERT INTO dbo.test2 (Name, IsCitizen, Age) 
VALUES 
    ('1', 1, NULL), 
    ('2', 0, NULL), 
    ('3', NULL, NULL) 

Query 1:

DECLARE 
     @TableName SYSNAME 
    , @ObjectID INT 
    , @SQL NVARCHAR(MAX) 

SELECT 
     @TableName = 'dbo.test2' 
    , @ObjectID = OBJECT_ID(@TableName) 

SELECT @SQL = 'SELECT' + CHAR(13) + STUFF((
    SELECT CHAR(13) + ', [' + c.name + '] = ' + 
     CASE WHEN c.is_nullable = 0 
      THEN '0' 
      ELSE 'CASE WHEN ' + totalrows + 
       ' = SUM(CASE WHEN [' + c.name + '] IS NULL THEN 1 ELSE 0 END) THEN 1 ELSE 0 END' 
     END 
    FROM sys.columns c WITH (NOWAIT) 
    CROSS JOIN (
     SELECT totalrows = CAST(MIN(p.[rows]) AS VARCHAR(50)) 
     FROM sys.partitions p 
     WHERE p.[object_id] = @ObjectID 
      AND p.index_id IN (0, 1) 
    ) r 
    WHERE c.[object_id] = @ObjectID 
    FOR XML PATH(''), TYPE).value('.', 'NVARCHAR(MAX)'), 1, 2, ' ') + CHAR(13) + 'FROM ' + @TableName 

PRINT @SQL 

EXEC sys.sp_executesql @SQL 

Output 1:

SELECT 
    [ID] = 0 
, [Name] = 0 
, [IsCitizen] = CASE WHEN 3 = SUM(CASE WHEN [IsCitizen] IS NULL THEN 1 ELSE 0 END) THEN 1 ELSE 0 END 
, [Age] = CASE WHEN 3 = SUM(CASE WHEN [Age] IS NULL THEN 1 ELSE 0 END) THEN 1 ELSE 0 END 
FROM dbo.test2 

Query 2:

DECLARE 
     @TableName SYSNAME 
    , @SQL NVARCHAR(MAX) 

SELECT @TableName = 'dbo.test2' 

SELECT @SQL = 'SELECT' + CHAR(13) + STUFF((
    SELECT CHAR(13) + ', [' + c.name + '] = ' + 
     CASE WHEN c.is_nullable = 0 
      THEN '0' 
      ELSE 'CASE WHEN '+ 
       'MAX(CAST([' + c.name + '] AS CHAR(1))) IS NULL THEN 1 ELSE 0 END' 
     END 
    FROM sys.columns c WITH (NOWAIT) 
    WHERE c.[object_id] = OBJECT_ID(@TableName) 
    FOR XML PATH(''), TYPE).value('.', 'NVARCHAR(MAX)'), 1, 2, ' ') + CHAR(13) + 'FROM ' + @TableName 

PRINT @SQL 

EXEC sys.sp_executesql @SQL 

Output 2:

SELECT 
    [ID] = 0 
, [Name] = 0 
, [IsCitizen] = CASE WHEN MAX(CAST([IsCitizen] AS CHAR(1))) IS NULL THEN 1 ELSE 0 END 
, [Age] = CASE WHEN MAX(CAST([Age] AS CHAR(1))) IS NULL THEN 1 ELSE 0 END 
FROM dbo.test2 

Kết quả:

ID   Name  IsCitizen Age 
----------- ----------- ----------- ----------- 
0   0   0   1 

Answer 3

bạn có thể kiểm tra xem colums idexing chí giúp bạn đạt được một số hiệu suất cải thiện

CREATE UNIQUE NONCLUSTERED INDEX IndexName ON dbo.TableName(ColumnName) 
WHERE ColumnName IS NOT NULL; 
GO 

Answer 4

SQL server query to get the list of columns in a table along with Data types, NOT NULL, and PRIMARY KEY constraints

Run SQL trong câu trả lời tốt nhất của câu hỏi trên và tạo ra một truy vấn mới như dưới đây.

Select ISNULL(column1,1), ISNULL(column2,1), ISNULL(column3,1) from table

Answer 5

500 Cột ?!
Ok, câu trả lời đúng cho câu hỏi của bạn là: bình thường hóa bảng của bạn.

Đây là những gì xảy ra cho thời gian được:

Bạn không có một chỉ mục trên cột đó để SQL Server đã làm một quét toàn bộ bảng khổng lồ của mình.
SQL Server chắc chắn sẽ đọc toàn bộ hàng (nghĩa là mọi cột ngay cả khi bạn chỉ quan tâm đến một cột).
Và kể từ khi hàng của bạn có nhiều khả năng hơn 8KB ... http://msdn.microsoft.com/en-us/library/ms186981%28v=sql.105%29.aspx

Nghiêm túc, bình thường hóa bảng của bạn và nếu cần chia nó theo chiều ngang (đặt "chủ đề nhóm" cột bên trong bảng riêng biệt, để chỉ đọc chúng khi bạn cần đến chúng) .

EDIT: Bạn có thể viết lại truy vấn của bạn như thế này

select count(col_n) from tab 

và nếu bạn muốn để có được tất cả các cột cùng một lúc (tốt hơn):

SELECT 
    COUNT(column_1) column_1_count, 
    COUNT(column_2) column_2_count, 
    ... 
FROM table_name 

Answer 6

Bạn sẽ không cần phải 'đếm 'tất cả các bản ghi 100 triệu. Khi bạn chỉ cần thoát khỏi truy vấn bằng TOP 1 ngay sau khi bạn nhấn một cột có giá trị không null, sẽ tiết kiệm rất nhiều thời gian trong khi cung cấp cùng một thông tin.

Answer 7

Nếu hầu hết các hồ sơ không phải là null có thể bạn có thể kết hợp một số phương pháp tiếp cận đề nghị (ví dụ kiểm tra chỉ lĩnh vực nullable) với điều này:

if exists (select * from table where field is not null) 

này cần đẩy mạnh việc tìm kiếm vì tồn tại dừng việc tìm kiếm càng sớm khi điều kiện được đáp ứng, trong ví dụ này, một bản ghi không đơn lẻ là đủ để quyết định trạng thái của trường. Nếu trường có chỉ mục, điều này sẽ gần như ngay lập tức.

Thông thường thêm từ đầu 1 vào truy vấn này là không cần thiết vì trình tối ưu hóa truy vấn biết rằng bạn không cần truy xuất tất cả các bản ghi khớp.

Answer 8

Bạn có thể sử dụng thủ tục lưu trữ này để lừa Bạn cần cung cấp tên bảng bạn muốn truy vấn lưu ý rằng nếu bạn sẽ vượt qua thủ tục các tham số @exec = 1 nó sẽ thực hiện truy vấn chọn

SET ANSI_NULLS ON 
GO 
SET QUOTED_IDENTIFIER ON 
GO 
CREATE PROCEDURE [dbo].[SP_SELECT_NON_NULL_COLUMNS] (@tablename varchar (100)=null, @exec int =0) 
AS BEGIN 
SET NOCOUNT ON 
    IF @tablename IS NULL 
      RAISERROR('CANT EXECUTE THE PROC, TABLE NAME IS MISSING',16 ,1) 
         ELSE 
    BEGIN 
      IF OBJECT_ID('tempdb..#table') IS NOT NULL DROP TABLE #table 
      DECLARE @i VARCHAR (max)='' 
      DECLARE @sentence VARCHAR (max)='' 
      DECLARE @SELECT VARCHAR (max) 
      DECLARE @LocalTableName VARCHAR(50) = '['+@tablename+']' 
      CREATE TABLE #table (ColumnName VARCHAR (max)) 
      SELECT @i+= 
      ' IF EXISTS (SELECT TOP 1 '+column_name+' FROM ' +@LocalTableName+' WHERE ' +column_name+ 
       ' '+'IS NOT NULL) INSERT INTO #table VALUES ('''+column_name+''');' 
       FROM INFORMATION_SCHEMA.COLUMNS WHERE table_name=@tablename 
       INSERT INTO #table 
       EXEC (@i) 
       SELECT @sentence = @sentence+' '+columnname+' ,' FROM #table     
     DROP TABLE #table     
       IF @exec=0 
         BEGIN 
          SELECT 'SELECT '+ LTRIM (left (@sentence,NULLIF(LEN (@sentence)-1,-1)))+ 
             +' FROM ' +@LocalTableName 
       END 
       ELSE 
         BEGIN 
          SELECT @SELECT= 'SELECT '+ LTRIM (left (@sentence,NULLIF(LEN (@sentence)-1,-1)))+ 
               +' FROM '+@LocalTableName 
        EXEC (@SELECT) 
       END 
END 
END 

Sử dụng công cụ như sau:

EXEC [dbo].[SP_SELECT_NON_NULL_COLUMNS] 'YourTableName' , 1