Hasil Kali Dalam Mengukur Keselarasan dalam Attention
Hitung hasil kali titik, pahami tanda dan besarnya secara geometris, lalu lihat bagaimana skor query-key menjadi bobot attention.
Tag
2artikeldengan tag ini.
Hitung hasil kali titik, pahami tanda dan besarnya secara geometris, lalu lihat bagaimana skor query-key menjadi bobot attention.
Skalakan dan gabungkan vektor, periksa setiap koordinat dengan NumPy, dan lihat mengapa keluaran attention adalah bentuk khusus representasi berbobot.