Đọc từ ifstream sẽ không đọc khoảng trắng

Question

Tôi đang triển khai lexer tùy chỉnh trong C++ và khi cố gắng đọc trong khoảng trắng, ifstream sẽ không đọc nó. Tôi đang đọc ký tự theo ký tự bằng cách sử dụng >> và tất cả khoảng trắng đều biến mất. Có cách nào để làm cho ifstream giữ tất cả các khoảng trắng và đọc nó ra cho tôi? Tôi biết rằng khi đọc toàn bộ chuỗi, đọc sẽ dừng lại ở khoảng trắng, nhưng tôi đã hy vọng rằng bằng cách đọc ký tự theo ký tự, tôi sẽ tránh hành vi này.

đã thử: .get(), khuyến cáo của nhiều câu trả lời, nhưng nó có tác dụng tương tự như std::noskipws, có nghĩa là, tôi nhận được tất cả các không gian bây giờ, nhưng không các kí tự xuống dòng mà tôi cần phải Lex một số cấu trúc.

Dưới đây là mã vi phạm (bình luận mở rộng cắt ngắn)

while(input >> current) { 
    always_next_struct val = always_next_struct(next); 
    if (current == L' ' || current == L'\n' || current == L'\t' || current == L'\r') { 
     continue; 
    } 
    if (current == L'/') { 
     input >> current; 
     if (current == L'/') { 
      // explicitly empty while loop 
      while(input.get(current) && current != L'\n'); 
      continue; 
     } 

Tôi đang phá vỡ trên dòng while và nhìn vào mỗi giá trị của current vì nó đến, và \r hay \n chắc chắn không nằm trong số họ- đầu vào chỉ bỏ qua dòng tiếp theo trong tệp đầu vào.

Answer 1

Tôi đã kết thúc chỉ cần mở Windows API và sử dụng nó để đọc toàn bộ tệp vào bộ đệm trước, sau đó đọc ký tự đệm theo ký tự. Cảm ơn các bạn.

Answer 2

Có một kẻ thao túng để vô hiệu hóa hành vi bỏ qua khoảng trắng:

stream >> std::noskipws; 

Answer 3

Nhà điều hành >> ăn khoảng trắng (space, tab, xuống dòng). Sử dụng yourstream.get() để đọc từng ký tự.

Chỉnh sửa:

Hãy coi chừng: Nền tảng (Windows, Un * x, Mac) khác với mã vạch của dòng mới. Nó có thể là '\ n', '\ r' hoặc cả hai. Nó cũng phụ thuộc vào cách bạn mở luồng tệp (văn bản hoặc nhị phân).

Chỉnh sửa (mã phân tích):

Sau

while(input.get(current) && current != L'\n'); 
    continue; 

sẽ có một \n trong current, nếu không kết thúc của tập tin là đạt. Sau đó bạn tiếp tục với vòng lặp ngoài cùng. Có ký tự đầu tiên trên dòng tiếp theo được đọc vào current. Đó không phải là những gì bạn muốn?

tôi đã cố gắng để tái tạo vấn đề của bạn (sử dụng char và cin thay vì wchar_t và wifstream):

//: get.cpp : compile, then run: get < get.cpp 

#include <iostream> 

int main() 
{ 
    char c; 

    while (std::cin.get(c)) 
    { 
    if (c == '/') 
    { 
     char last = c; 
     if (std::cin.get(c) && c == '/') 
     { 
     // std::cout << "Read to EOL\n"; 
     while(std::cin.get(c) && c != '\n'); // this comment will be skipped 
     // std::cout << "go to next line\n"; 
     std::cin.putback(c); 
     continue; 
     } 
    else { std::cin.putback(c); c = last; } 
    } 
    std::cout << c; 
    } 
    return 0; 
} 

Chương trình này, áp dụng cho bản thân, loại bỏ tất cả bình luận dòng C++ trong sản lượng của nó. Vòng lặp bên trong không ăn hết tất cả văn bản vào cuối tệp. Xin lưu ý câu hỏi putback(c). Nếu không có dòng mới sẽ không xuất hiện.

Nếu nó không hoạt động tương tự cho wifstream, nó sẽ là rất lạ ngoại trừ một lý do: khi tập tin văn bản mở là không lưu lại dưới dạng 16bit char và \n char kết thúc trong byte sai ...

Answer 4

Quấn luồng (hoặc bộ đệm của nó, cụ thể) trong một số std::streambuf_iterator? Điều đó sẽ bỏ qua tất cả các định dạng, và cũng cung cấp cho bạn một giao diện lặp lại tốt đẹp.

Ngoài ra, một cách tiếp cận hiệu quả hơn, và chống lừa đảo, có thể chỉ sử dụng API Win32 (hoặc Tăng) để bộ nhớ ánh xạ tệp. Sau đó, bạn có thể đi qua nó bằng cách sử dụng con trỏ đồng bằng, và bạn được đảm bảo rằng không có gì sẽ bị bỏ qua hoặc chuyển đổi bởi thời gian chạy.

Answer 5

Trình trích xuất luồng hoạt động giống nhau và bỏ qua khoảng trắng.

Nếu bạn muốn đọc từng byte, bạn có thể sử dụng các chức năng nhập chưa định dạng, như stream.get(c).

Answer 6

Tại sao không chỉ sử dụng getline?

Bạn sẽ nhận được tất cả các khoảng trắng, và trong khi bạn sẽ không nhận cuối dòng nhân vật, bạn vẫn sẽ biết được nơi họ nằm :)

Answer 7

Bạn có thể mở dòng trong chế độ nhị phân:

std::wifstream stream(filename, std::ios::binary); 

Bạn sẽ mất mọi hoạt động định dạng được cung cấp luồng nếu bạn làm điều này.

Các tùy chọn khác là để đọc toàn bộ dòng vào một chuỗi và sau đó xử lý chuỗi:

std::wostringstream ss; 
ss << filestream.rdbuf(); 

tất nhiên, nhận được chuỗi từ ostringstream rquires một bản sao bổ sung của chuỗi, vì vậy bạn có thể xem xét thay đổi điều này tại một số thời điểm để sử dụng luồng tùy chỉnh nếu bạn cảm thấy thích mạo hiểm. EDIT: người khác đề cập đến istreambuf_iterator, có lẽ là một cách tốt hơn để làm điều đó hơn là đọc toàn bộ luồng vào chuỗi.