Làm cách nào để tách tệp văn bản dựa trên các khối nhận xét bằng Python?

Question

Tôi lãng phí hầu hết buổi sáng của mình không giải quyết vấn đề đơn giản này. Sử dụng python, tôi muốn phân tích tập tin dữ liệu mà trông như thế này:

# This is an example comment line, it starts with a '#' character. 
# There can be a variable number of comments between each data set. 
# Comments "go with" the data set that comes after them. 
# The first data set starts on the next line: 
0.0 1.0 
1.0 2.0 
2.0 3.0 
3.0 4.0 

# Data sets are followed by variable amounts of white space. 
# The second data set starts after this comment 
5.0 6.0 
6.0 7.0 


# One more data set. 
7.0 8.0 
8.0 9.0 

Mã python Tôi muốn sẽ phân tích ví dụ trên thành ba "khối", lưu trữ chúng như các yếu tố của một danh sách. Các khối mã riêng lẻ có thể được lưu trữ dưới dạng danh sách các dòng, có hoặc không có dòng chú thích, bất cứ điều gì. Một cách handraulic là để làm điều này:

#! /usr/bin/env python 

# Read in data, seperate into rows_alldata 
f=open("example") 
rows = f.read().split('\n') 
f.close() 

# Do you haz teh codez? 
datasets=[] 
datasets.append(rows[0:8]) 
datasets.append(rows[9:13]) 
datasets.append(rows[15:18]) 

Tôi đang tìm một giải pháp tổng quát hơn hỗ trợ số lượng và độ dài của tập hợp dữ liệu. Tôi đã thử một số thảm họa được xây dựng từ các vòng tìm kiếm không phải pythonic. Tôi nghĩ tốt nhất là không làm xáo trộn câu hỏi của tôi với họ; đây là công việc chứ không phải "bài tập về nhà".

Answer 1

Sử dụng groupby.

from itertools import groupby 

def contains_data(ln): 
    # just an example; there are smarter ways to do this 
    return ln[0] not in "#\n" 

with open("example") as f: 
    datasets = [[ln.split() for ln in group] 
       for has_data, group in groupby(f, contains_data) 
       if has_data] 

Answer 2

datasets = [] 
with open('example') as f: 
    for line in f: 
     if line and not line.startswith('#'): 
      datasets.append(line.split()) 

Answer 3

datasets = [[]] 
with open('/tmp/spam.txt') as f: 
    for line in f: 
    if line.startswith('#'): 
     if datasets[-1] != []: 
     # we are in a new block 
     datasets.append([]) 
    else: 
     stripped_line = line.strip() 
     if stripped_line: 
     datasets[-1].append(stripped_line) 

Answer 4

import pprint 

with open("test.txt") as fh: 
    codes = [] 
    codeblock = [] 

    for line in fh: 
     stripped_line = line.strip() 

     if not stripped_line: 
      continue 

     if stripped_line.startswith("#"): 
      if codeblock: 
       codes.append(codeblock) 
       codeblock = [] 

     else: 
      codeblock.append(stripped_line.split(" ")) 

    if codeblock: 
     codes.append(codeblock) 

pprint.pprint(codes) 

Output:

[[['0.0', '1.0'], ['1.0', '2.0'], ['2.0', '3.0'], ['3.0', '4.0']], 
[['5.0', '6.0'], ['6.0', '7.0']], 
[['7.0', '8.0'], ['8.0', '9.0']]]