Thực hiện `kiểm tra` hoặc 'thực hiện kiểm tra'

Question

Làm cách nào để triển khai khung kiểm tra hồi quy đơn giản với Make? (Tôi đang sử dụng GNU Make, nếu có vấn đề.)

makefile hiện tại của tôi trông giống như sau (thay đổi nội dung vì đơn giản):

OBJS = jscheme.o utility.o model.o read.o eval.o print.o 

%.o : %.c jscheme.h 
    gcc -c -o $@ $< 

jscheme : $(OBJS) 
    gcc -o $@ $(OBJS) 

.PHONY : clean 

clean : 
    -rm -f jscheme $(OBJS) 

Tôi muốn có một bộ kiểm tra hồi quy, ví dụ, expr.in thử nghiệm một biểu thức "tốt" & unrecognized.in thử nghiệm một "xấu", với expr.cmp & unrecognized.cmp là đầu ra được mong đợi cho mỗi. kiểm tra thủ công sẽ trông như thế này:

$ jscheme <expr.in> expr.out 2>&1 
$ jscheme <unrecognized.in> unrecognized.out 2>&1 
$ diff -q expr.out expr.cmp # identical 
$ diff -q unrecognized.out unrecognized.cmp 
Files unrecognized.out and unrecognized.cmp differ 

Tôi nghĩ để thêm một bộ quy tắc để các makefile tìm kiếm một cái gì đó như thế này:

TESTS = expr.test unrecognized.test 

.PHONY test $(TESTS) 

test : $(TESTS) 

%.test : jscheme %.in %.cmp 
    jscheme <[something.in]> [something.out] 2>&1 
    diff -q [something.out] [something.cmp] 

Câu hỏi của tôi:
• để tôi đặt gì trong [ cái gì đó] giữ chỗ?
• Có cách nào để thay thế tin nhắn từ diff bằng thông báo có nội dung “Kiểm tra expr không thành công” không?

Answer 1

Cách tiếp cận ban đầu của bạn, như được nêu trong câu hỏi, là tốt nhất. Mỗi bài kiểm tra của bạn ở dạng một cặp đầu vào và đầu ra được mong đợi. Thực hiện khá khả năng lặp qua các bước này và chạy thử nghiệm; không cần sử dụng vòng lặp vỏ for. Trong thực tế, bằng cách làm điều này bạn đang mất cơ hội để chạy thử nghiệm của bạn song song, và tạo thêm công việc cho chính mình để làm sạch các tập tin tạm thời (mà không cần thiết).

Dưới đây là một giải pháp (sử dụng bc là một ví dụ):

SHELL := /bin/bash 

all-tests := $(addsuffix .test, $(basename $(wildcard *.test-in))) 

.PHONY : test all %.test 

BC := /usr/bin/bc 

test : $(all-tests) 

%.test : %.test-in %.test-cmp $(BC) 
    @$(BC) <$< 2>&1 | diff -q $(word 2, $?) - >/dev/null || \ 
    (echo "Test $@ failed" && exit 1) 

all : test 
    @echo "Success, all tests passed." 

Giải pháp trực tiếp đề cập đến câu hỏi ban đầu của bạn:

• Các placeholders bạn đang tìm kiếm là $< và $(word 2, $?) tương ứng với điều kiện tiên quyết %.test-in và %.test-cmp tương ứng. Trái với các tập tin tạm thời bình luận @reinierpost là không cần thiết.
• Thông báo khác bị ẩn và được thay thế bằng cách sử dụng echo.
• Makefile nên được gọi với make -k để chạy tất cả các kiểm tra bất kể thử nghiệm riêng lẻ có thành công hay không.
• make -k all sẽ chỉ chạy nếu tất cả các thử nghiệm thành công.

Chúng tôi tránh liệt kê mỗi bài kiểm tra bằng tay khi xác định các biến all-tests bằng cách tận dụng các quy ước cách đặt tên tệp (*.test-in) và GNU làm functions for file names. Như một tiền thưởng này có nghĩa là giải pháp quy mô đến hàng chục ngàn bài kiểm tra ra khỏi hộp, như chiều dài của các biến là unlimited trong GNU thực hiện. Điều này là tốt hơn so với giải pháp dựa trên vỏ mà sẽ giảm hơn một khi bạn nhấn hệ điều hành command line limit.

Answer 2

Thực hiện một kịch bản thử nghiệm Á hậu mà phải mất một tên thử nghiệm và suy luận tên tập tin đầu vào, đầu ra tên tập tin và dữ liệu smaple từ đó:

#!/bin/bash 
set -e 
jscheme < $1.in > $1.out 2>&1 
diff -q $1.out $1.cmp 

Sau đó, trong bạn Makefile:

TESTS := expr unrecognised 

.PHONY: test 
test: 
    for test in $(TESTS); do bash test-runner.sh $$test || exit 1; done 

Bạn có thể cũng thử triển khai một cái gì đó như automake 's simple test framework.

Answer 3

Tôi sẽ chỉ giải quyết câu hỏi của bạn về sự khác biệt. Bạn có thể làm:

 
diff file1 file2 > /dev/null || echo Test blah blah failed >&2 

mặc dù bạn có thể muốn sử dụng cmp thay vì khác.

Trên một ghi chú khác, bạn có thể thấy hữu ích khi tiếp tục và sử dụng việc tự động tắt và sử dụng. Makefile.am của bạn (toàn bộ) sẽ trông giống như:

 
bin_PROGRAMS = jscheme 
jscheme_SOURCES = jscheme.c utility.c model.c read.c eval.c print.c jscheme.h 
TESTS = test-script 

và bạn sẽ nhận được rất nhiều toàn bộ các mục tiêu thật sự tốt đẹp miễn phí, bao gồm một khuôn khổ thử nghiệm khá đầy đủ tính năng.

Answer 4

Những gì tôi đã kết thúc với vẻ bề ngoài như thế này:

TESTS = whitespace list boolean character \ 
    literal fixnum string symbol quote 

.PHONY: clean test 

test: $(JSCHEME) 
    for t in $(TESTS); do \ 
     $(JSCHEME) < test/$$t.ss > test/$$t.out 2>&1; \ 
     diff test/$$t.out test/$$t.cmp > /dev/null || \ 
      echo Test $$t failed >&2; \ 
    done 

Nó dựa trên ý tưởng Jack Kelly, với tip Jonathan Leffler của bao gồm.