Cách nhanh nhất để loại trừ danh sách trong dict

Question

Tôi có một dict chứa danh sách và cần một cách nhanh chóng để loại trừ danh sách.

Tôi biết cách tách biệt danh sách bằng cách sử dụng hàm set(), nhưng trong trường hợp này, tôi muốn có một cách nhanh chóng lặp qua dict, deduping mỗi danh sách trên đường.

hello = {'test1':[2,3,4,2,2,5,6], 'test2':[5,5,8,4,3,3,8,9]} 

Tôi muốn nó xuất hiện như;

hello = {'test1':[2,3,4,5,6], 'test2':[5,8,4,3,9]} 

Mặc dù tôi không nhất thiết phải giữ thứ tự ban đầu của danh sách được lưu giữ.

Tôi đã cố gắng sử dụng một bộ như thế này, nhưng nó không hoàn toàn chính xác (nó không lặp lại đúng và tôi đang mất chìa khóa đầu tiên)

for key, value in hello.items(): goodbye = {key: set(value)} 
>>> goodbye 
{'test2': set([8, 9, 3, 4, 5])} 

EDIT: Sau comment PM 2Ring của dưới đây, Bây giờ tôi đang phổ biến các dict khác nhau để tránh trùng lặp ở nơi đầu tiên. Trước đây tôi đã sử dụng danh sách, nhưng việc sử dụng các bộ ngăn chặn các bản sao được thêm vào theo mặc định;

>>> my_numbers = {} 
>>> my_numbers['first'] = [1,2,2,2,6,5] 
>>> from collections import defaultdict 
>>> final_list = defaultdict(set) 
>>> for n in my_numbers['first']: final_list['test_first'].add(n) 
... 
>>> final_list['test_first'] 
set([1, 2, 5, 6]) 

Như bạn có thể thấy, đầu ra cuối cùng là bộ được xóa, theo yêu cầu.

Answer 1

Nó không lặp lại sai, bạn chỉ cần gán tạm biệt như một dict mới mỗi lần. Bạn cần gán như một dict trống, sau đó gán các giá trị cho các khóa trong mỗi lần lặp.

goodbye = {} 
for key, value in hello.items(): goodbye[key] = set(value) 
>>> goodbye 
{'test1': set([2, 3, 4, 5, 6]), 'test2': set([8, 9, 3, 4, 5])} 

Cũng kể từ bộ không giữ gìn trật tự, nếu bạn muốn giữ gìn trật tự nó là tốt nhất để thực hiện một chức năng iterating đơn giản mà sẽ trả về một danh sách mới mà bỏ qua trên các giá trị đã được thêm vào.

def uniqueList(li): 
    newList = [] 
    for x in li: 
     if x not in newList: 
      newList.append(x) 
    return newList 


goodbye = {} 
for key, value in hello.items(): goodbye[key] = uniqueList(value) 
>>> goodbye 
{'test1': [2, 3, 4, 5, 6], 'test2': [5, 8, 4, 3, 9]} 

Answer 2

Bạn có thể sử dụng danh sách hiểu với một chức năng deduplicate riêng giữ gìn trật tự:

def deduplicate(seq): 
    seen = set() 
    seen_add = seen.add 
    return [ x for x in seq if not (x in seen or seen_add(x))] 

{key: deduplicate(value) for key, value in hello.items()} 

Answer 3

Đây là một cách tiết hơn để làm việc đó, mà giữ gìn trật tự và làm việc tại tất cả các phiên bản Python:

for key in hello: 
    s = set() 
    l = [] 
    for subval in hello[key]: 
     if subval not in s: 
      l.append(subval) 
      s.add(subval) 
    hello[key] = l 

Answer 4

my_list = [1,2,2,2,3,4,5,6,7,7,7,7,7,8,9,10] 
seen = set() 
print list(filter(lambda x:x not in seen and not seen.add(x),my_list)) 

Answer 5

>>>hello = {'test1':[2,3,4,2,2,5,6], 'test2':[5,5,8,4,3,3,8,9]}  
>>>for key,value in hello.iteritems(): 
     hello[key] = list(set(value)) 
>>>hello 
{'test1': [2, 3, 4, 5, 6], 'test2': [8, 9, 3, 4, 5]}