AI 公司面試題庫

縮放點積注意力先用查詢與鍵的點積衡量相關性，除以鍵向量維度的平方根，再用 softmax 產生權重來混合值向量。縮放的目的，是避免維度增加時分數差距過大，讓注意力過早飽和、學習訊號變弱，而不是強迫注意力平均分配。

查詢 $Q$ 表示要找什麼，鍵 $K$ 表示可供比對的特徵，值 $V$ 則是實際要聚合的內容。自注意力通常由同一輸入 $X$ 經不同的可訓練投影得到：$Q=XW_Q$、$K=XW_K$、$V=XW_V$。設查詢數為 $n$、鍵數為 $m$，每個查詢與鍵的維度為 $d_k$，值的維度為 $d_v$，則分數矩陣是 $n\times m$，輸出是 $n\times d_v$。逐列運算為 $A=\operatorname{softmax}(QK^\top/\sqrt{d_k})$，最後輸出 $O=AV$；每列權重加總為一。

為什麼是平方根？令 $s=q^\top k=\sum_{i=1}^{d_k}q_i k_i$。在所有相關分量互相獨立、均值為零、變異數為一的簡化假設下，每個乘積的均值為零，且 $\mathbb{E}[q_i^2k_i^2]=\mathbb{E}[q_i^2]\mathbb{E}[k_i^2]=1$。不同乘積的共變異數為零，所以 $\operatorname{Var}(s)=d_k$，標準差為 $\sqrt{d_k}$。由於 $\operatorname{Var}(s/c)=\operatorname{Var}(s)/c^2$，除以 $\sqrt{d_k}$ 後變異數為一。這是分布尺度的推導，不是說每個點積都會隨維度單調增加；訓練後的相關性也可能使假設不成立。

softmax 將分數轉成 $p_i=e^{z_i}/\sum_j e^{z_j}$，真正影響尖銳程度的是分數差距。其導數為 $\partial p_i/\partial z_j=p_i(\delta_{ij}-p_j)$，其中 $\delta_{ij}$ 在索引相同時為一，否則為零。權重接近單一位置獨占時，這些局部導數通常很小。以原創教學例子而言，若 $d_k=4$，兩個原始分數為 $[4,0]$，未縮放的權重約為 $[0.982,0.018]$；除以二後約為 $[0.881,0.119]$。排名不變，但其他位置仍有較明顯的權重。

標準縮放是不改變分數排名、又能補償維度效應的簡單預設。完全不縮放在維度很小或分數已受控制時未必立即失敗，但更容易讓向量長度或維度主導 softmax 尖銳程度。反過來除以 $d_k$，在上述假設下會使變異數降為 $1/d_k$，維度越大越可能接近均勻分布，削弱相關性的辨識。

作為額外設計選項，可以調整溫度：$A=\operatorname{softmax}(QK^\top/(\sqrt{d_k}\tau))$，其中 $\tau>0$。較大的溫度讓分布平滑，較小則讓它集中；可學習溫度提供彈性，卻增加參數與驗證需求，應在有訓練及評估證據時採用，而非直接替換既有模型設定。

另一選項是先正規化查詢與鍵，使用餘弦相似度，降低向量範數的影響，但也改變模型能利用的訊號，通常需要重新校準尺度。必須另行區分：softmax 前減去每列最大值只為避免指數溢位，不改變分數差與輸出，因此不能取代縮放，也不能解除已存在的飽和。

以下是建議實作程序，而非來源作者提供的部署規格。先確認張量軸：批次、head、序列、特徵；只轉置鍵的最後兩軸，再以每個 head 的 $d_k$ 縮放，不可誤用總嵌入維度或值向量維度。接著加入遮罩，在鍵軸做 softmax，最後乘上 $V$。因果遮罩排除未來位置，填補遮罩排除無效 token。

手寫版本可依序使用 scores = (Q @ K.transpose(-2, -1)) / math.sqrt(Q.shape[-1])、加入加性遮罩、weights = softmax(scores, dim=-1)、output = weights @ V。被排除位置可使用負無限大，但整列都被遮住時不能直接沿用一般 softmax；必須明訂零輸出或其他有效處理，避免產生 NaN。使用函式庫注意力介面時，先確認是否已內建縮放以及遮罩的布林語意。

驗證不只看形狀：以上述兩鍵例子核對權重，再令兩個值分別為零與十，縮放後輸出應約為 $1.19$。檢查有效列權重和接近一、遮罩位置權重為零、前向與反向皆為有限數值。另可產生符合假設的獨立隨機向量，跨多個維度比較縮放前後的經驗變異數；有限樣本只應近似理論值，不能要求精確等於一。

以下是延伸的維運建議，來源未提供正式環境量測。若損失不穩、出現 NaN，或某些 head 很早就幾乎只看單一位置，先抽樣檢查查詢與鍵的範數、縮放前後分數的標準差、最大權重與梯度範數。注意力熵 $H=-\sum_i p_i\log p_i$ 可輔助觀察集中程度，但需配合有效鍵數解讀；低熵本身不代表錯誤，因為任務可能確實需要集中注意。

常見問題包括漏做或重複縮放、head 維度設定錯誤、遮罩方向反轉、整列遮罩及低精度乘法溢位。穩定的 softmax 只能處理其輸入仍有限的情況，無法補救更早的點積溢位。應與較高精度的小型參考計算比對，必要時調整累加精度；也要確認推論與訓練使用相同的縮放與遮罩設定。

更換融合運算核心或調整 head 數時，先做輸出與梯度的容差比對，再評估任務品質、延遲和記憶體，不能由公式推論實際效能。面試可總結：先以 $QK^\top$ 比對，再以 $1/\sqrt{d_k}$ 控制分數尺度，經 softmax 聚合 $V$；平方根來自明確假設下的變異數推導，實務上仍須驗證遮罩、精度與注意力分布。