AI 公司面試題庫

縮放點積注意力先比較 Query 與 Key，再用所得權重混合 Value：

$$\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V$$

除以 $\sqrt{d_k}$ 是為了抵銷維度增加造成的分數尺度成長，降低 softmax 過早飽和、梯度變弱的風險，而不是強迫注意力平均分配。

在自注意力中，輸入向量矩陣 X 經可學習投影形成 $Q=XW_Q$、$K=XW_K$、$V=XW_V$。Query 表示尋找什麼，Key 表示可匹配的特徵，Value 是要取回的內容。若有 n 個 token，單一 head 的 Q、K 形狀是 $n\times d_k$，V 可為 $n\times d_v$。$QK^\top$ 的每列比較一個 Query 與所有 Key；逐列 softmax 將分數轉成總和為一的權重，再乘 V，得到 $n\times d_v$ 的情境表示。

為何是平方根？令 $s=\sum_{i=1}^{d_k}q_i k_i$，假設所有相關分量相互獨立、均值為零、變異數為一。變異數衡量數值繞平均值的分散程度。此時 $\mathbb{E}[q_i k_i]=0$，$\mathbb{E}[q_i^2k_i^2]=\mathbb{E}[q_i^2]\mathbb{E}[k_i^2]=1$；不同乘積間的共變異數為零，所以 $\operatorname{Var}(s)=d_k$，標準差是 $\sqrt{d_k}$。由 $\operatorname{Var}(s/c)=\operatorname{Var}(s)/c^2$，取 $c=\sqrt{d_k}$ 就得到單位變異數。這是上述假設下的精確結果，不保證訓練後相關的 Q、K 仍完全符合。

softmax 的權重定義為：

$$p_i=\frac{\exp(z_i)}{\sum_j\exp(z_j)}$$

這些權重取決於分數差距，而非共同偏移。差距過大時，權重接近單一位置獨占；其導數為：

$$\frac{\partial p_i}{\partial z_j}=p_i(\delta_{ij}-p_j)$$

其中 $\delta_{ij}$ 在 $i=j$ 時為一，否則為零，此時多數導數很小。原創示例：假設 $d_k=4$、兩個點積為 [4,0]，未縮放權重約 [0.982,0.018]；除以二後約 [0.881,0.119]。若純量 Value 為 [10,0]，輸出由約 9.82 變成 8.81。排序不變，但較弱的匹配仍有影響；這些不是實測數據。

標準縮放有維度上的統計依據，適合作為一般點積注意力的預設。完全不縮放在小維度或分數本來很小時未必立即出問題，但維度增大後，初始化時就產生過尖分布的風險較高。尖銳注意力本身不一定錯；模型可能確實需要選定一個位置，問題是是否因尺度而非學到的關係造成。

改除以 $d_k$，在相同假設下會使變異數變成 $1/d_k$，維度愈大，分數愈容易被壓向相近，削弱匹配差異。除以固定常數只能照顧某個尺度，無法自動配合 head 寬度。不能把「分數越小越好」當成設計原則，因為過平的權重也可能稀釋有用內容。

以下是延伸工程選項：可學習溫度用可調參數控制 softmax 的尖銳程度，適合有驗證資源的架構實驗，但增加調校與監控需求。先將 Q、K 正規化成單位長度的 cosine attention 則改變相似度定義，不再利用向量長度資訊；其溫度應另行設計。不要直接套用原本的單位變異數推導，也不要未經驗證就改動既有 checkpoint 的縮放設定。

建議先做容易檢查的參考版本：完成投影並拆出 head，讀取 Q 最後一維作為 $d_k$，計算 scores=(Q @ K.transpose(-2,-1))/sqrt(d_k)。這裡不是用完整 embedding 維度，也不是序列長度。接著加入遮罩、沿 Key 軸做 softmax，最後與 V 相乘；Q、K 的特徵維度及 K、V 的位置數必須相容。

遮罩用來排除 padding 或未來位置，通常將禁止位置設為負無限大。每列至少應有一個合法 Key；若整列被遮住，必須先定義略過、輸出零或拒絕輸入等行為，不能任由 softmax 產生未定義數值。穩定 softmax 會先減去列最大值，避免指數溢位；它不改變分數差距，因此不能取代 $\sqrt{d_k}$ 縮放。

驗證可先重現前述兩位置示例，檢查輸出形狀、合法列權重總和接近一、被遮位置權重為零，以及反向梯度有限。再用獨立標準常態 Q、K 做不同 $d_k$ 的合成測試，觀察未縮放分數變異數接近 $d_k$、縮放後接近一；有限樣本不會完全相等。使用融合 attention API 時，確認它是否內建縮放，並將輸出與梯度對照參考版本，避免重複除法。

文章沒有提供正式環境測量；以下是建議的運作檢查。按 layer 與 head 抽樣監控縮放前後分數的標準差、Q/K 範數、最大注意力權重，以及梯度範數。也可追蹤熵 $H=-\sum_i p_i\log p_i$，它描述權重分散程度；比較時應控制合法 Key 數量，避免把較長序列的自然差異當成故障。

若訓練初期多個 head 同時出現低熵與梯度變弱，先查漏縮放、誤用 embedding 維度、投影權重增長及資料分布改變。若權重異常平均，查重複縮放或除以 $d_k$。這些只是診斷線索，仍需一起看任務損失與品質；不能看到低熵就斷定 attention 壞掉，也不能宣稱縮放能解決所有梯度問題。

遇到 NaN 或無限值，檢查全遮罩列、輸入是否有限、低精度點積是否在 softmax 前已溢位，以及運算核心的累加精度。切換精度、融合核心或 head 配置時，以受控輸入比較輸出與梯度，容許合理浮點誤差，並驗證因果遮罩不洩漏未來資訊。面試總結：$QK^\top$ 決定匹配，softmax 決定混合權重，V 提供內容；$\frac{1}{\sqrt{d_k}}$ 在明確統計假設下穩定分數尺度，實際效果仍需正確實作與觀測確認。