Cosine tương đồng giữa 2 Number Giá ảo

Question

tôi cần phải tính toán cosin tương giữa hai danh sách, chúng ta hãy nói ví dụ như danh sách 1 mà là dataSetI và danh sách 2 là dataSetII. Tôi không thể sử dụng bất kỳ thứ gì như numpy hoặc mô-đun thống kê. Tôi phải sử dụng các mô-đun chung (toán học, v.v.) (và các mô-đun ít nhất có thể, tại đó, để giảm thời gian sử dụng).

Giả sử dataSetI là [3, 45, 7, 2] và dataSetII là [2, 54, 13, 15]. Độ dài của danh sách là luôn là bằng nhau.

Tất nhiên, độ tương tự cosin là giữa 0 và 1 và vì lợi ích của nó, số này sẽ được làm tròn thành số thập phân thứ ba hoặc thứ tư với format(round(cosine, 3)).

Cảm ơn bạn rất nhiều vì đã giúp đỡ.

Answer 1

import math 
from itertools import izip 

def dot_product(v1, v2): 
    return sum(map(lambda x: x[0] * x[1], izip(v1, v2))) 

def cosine_measure(v1, v2): 
    prod = dot_product(v1, v2) 
    len1 = math.sqrt(dot_product(v1, v1)) 
    len2 = math.sqrt(dot_product(v2, v2)) 
    return prod/(len1 * len2) 

Bạn có thể khỏa lấp nó sau khi tính toán:

cosine = format(round(cosine_measure(v1, v2), 3)) 

Nếu bạn muốn nó thực sự ngắn, bạn có thể sử dụng một lớp lót:

from math import sqrt 
from itertools import izip 

def cosine_measure(v1, v2): 
    return (lambda (x, y, z): x/sqrt(y * z))(reduce(lambda x, y: (x[0] + y[0] * y[1], x[1] + y[0]**2, x[2] + y[1]**2), izip(v1, v2), (0, 0, 0))) 

Answer 2

Bạn nên cố gắng SciPy. Nó có một loạt các thói quen khoa học hữu ích ví dụ, "thói quen cho tích phân máy tính số, giải phương trình vi phân, tối ưu hóa, và ma trận thưa thớt." Nó sử dụng các NumPy tối ưu hóa siêu tốc cho crunching số của nó. Xem here để cài đặt.

Lưu ý rằng spatial.distance.cosine tính toán khoảng cách khoảng cách và không giống nhau. Vì vậy, bạn phải trừ giá trị từ 1 để có được sự tương đồng tương tự.

from scipy import spatial 

dataSetI = [3, 45, 7, 2] 
dataSetII = [2, 54, 13, 15] 
result = 1 - spatial.distance.cosine(dataSetI, dataSetII) 

Answer 3

Tôi không cho rằng hiệu suất quan trọng nhiều ở đây, nhưng tôi không thể cưỡng lại. Hàm zip() hoàn toàn recopies cả hai vectơ (nhiều hơn một ma trận transpose, thực sự) chỉ để lấy dữ liệu theo thứ tự "Pythonic". Nó sẽ là thú vị khi thời gian thực hiện các loại hạt và bu lông:

import math 
def cosine_similarity(v1,v2): 
    "compute cosine similarity of v1 to v2: (v1 dot v2)/{||v1||*||v2||)" 
    sumxx, sumxy, sumyy = 0, 0, 0 
    for i in range(len(v1)): 
     x = v1[i]; y = v2[i] 
     sumxx += x*x 
     sumyy += y*y 
     sumxy += x*y 
    return sumxy/math.sqrt(sumxx*sumyy) 

v1,v2 = [3, 45, 7, 2], [2, 54, 13, 15] 
print(v1, v2, cosine_similarity(v1,v2)) 

Output: [3, 45, 7, 2] [2, 54, 13, 15] 0.972284251712 

Đó đi qua các tiếng ồn C giống như chiết xuất các yếu tố một-at-a-thời gian, nhưng làm không sao chép mảng số lượng lớn và được tất cả mọi thứ quan trọng được thực hiện trong một vòng lặp đơn và sử dụng một căn bậc hai.

ETA: Cuộc gọi in được cập nhật thành một hàm. (Bản gốc là Python 2.7, không phải 3.3. Hiện tại chạy dưới Python 2.7 với câu lệnh from __future__ import print_function.) Đầu ra là giống nhau, theo một trong hai cách.

CPython 2.7.3 trên 3.0GHz Core 2 Duo:

>>> timeit.timeit("cosine_similarity(v1,v2)",setup="from __main__ import cosine_similarity, v1, v2") 
2.4261788514654654 
>>> timeit.timeit("cosine_measure(v1,v2)",setup="from __main__ import cosine_measure, v1, v2") 
8.794677709375264 

Vì vậy, cách unpythonic là khoảng 3,6 lần nhanh hơn trong trường hợp này.

Answer 4

Bạn có thể sử dụng cosine_similarity chức năng hình thức sklearn.metrics.pairwisedocs

In [23]: from sklearn.metrics.pairwise import cosine_similarity 

In [24]: cosine_similarity([1, 0, -1], [-1,-1, 0]) 
Out[24]: array([[-0.5]]) 

Answer 5

Bạn có thể làm điều này bằng Python sử dụng chức năng đơn giản:

def get_cosine(text1, text2): 
    vec1 = text1 
    vec2 = text2 
    intersection = set(vec1.keys()) & set(vec2.keys()) 
    numerator = sum([vec1[x] * vec2[x] for x in intersection]) 
    sum1 = sum([vec1[x]**2 for x in vec1.keys()]) 
    sum2 = sum([vec2[x]**2 for x in vec2.keys()]) 
    denominator = math.sqrt(sum1) * math.sqrt(sum2) 
    if not denominator: 
    return 0.0 
    else: 
    return round(float(numerator)/denominator, 3) 
dataSet1 = [3, 45, 7, 2] 
dataSet2 = [2, 54, 13, 15] 
get_cosine(dataSet1, dataSet2) 

Answer 6

Tôi đã làm một benchmark dựa trên một số câu trả lời trong câu hỏi và sau đây đoạn mã được cho là lựa chọn tốt nhất:

def dot_product2(v1, v2): 
    return sum(map(operator.mul, v1, v2)) 


def vector_cos5(v1, v2): 
    prod = dot_product2(v1, v2) 
    len1 = math.sqrt(dot_product2(v1, v1)) 
    len2 = math.sqrt(dot_product2(v2, v2)) 
    return prod/(len1 * len2) 

Kết quả khiến tôi ngạc nhiên rằng việc triển khai dựa trên scipy không phải là nhanh nhất. Tôi profiled và thấy rằng cosin trong scipy mất rất nhiều thời gian để đúc một vector từ python danh sách để mảng numpy.

Answer 7

Bạn có thể sử dụng chức năng đơn giản này để tính toán sự tương đồng cosin:

def cosine_similarity(a, b): 
return sum([i*j for i,j in zip(a, b)])/(math.sqrt(sum([i*i for i in a]))* math.sqrt(sum([i*i for i in b]))) 

Answer 8

Sử dụng NumPy so sánh một danh sách các số đến nhiều danh sách (ma trận):

def cosine_similarity(vector,matrix): 
    return (np.sum(vector*matrix,axis=1)/(np.sqrt(np.sum(matrix**2,axis=1)) * np.sqrt(np.sum(vector**2))))[::-1] 

Answer 9

khác phiên bản dựa trên numpy chỉ

from numpy import dot 
from numpy.linalg import norm 

cos_sim = dot(a, b)/(norm(a)*norm(b)) 

Answer 10

mà không sử dụng bất kỳ nhập khẩu

Math.sqrt (x)

có thể được thay thế bằng

x ** .5

mà không sử dụng NumPy .dot() bạn phải tạo hàm dấu chấm của riêng mình bằng cách sử dụng tính năng đọc danh sách:

def dot(A,B): 
    return (sum(a*b for a,b in zip(A,B))) 

và sau đó chỉ là một vấn đề đơn giản của nó áp dụng công thức tương đồng cosin:

def cosine_similarity(a,b): 
    return dot(a,b)/((dot(a,a) **.5) * (dot(b,b) ** .5))