AI工程师面试题库

Self-Attention计算：Attention(Q,K,V) = softmax(QK^T/√d_k)V，Q/K/V由输入线性变换得到，复杂度为 O(n²d)，n为序列长度。

高分辨率图像的优化手段：
1. Patch化：将图像分成固定大小patch（如16×16），降低序列长度。ViT标准做法
2. 窗口注意力（Swin Transformer）：限制注意力范围在本地窗口，O(n)线性复杂度
3. FlashAttention：通过IO感知的分块计算，减少HBM读写，显存节省3-10x
4. 线性注意力近似：Performer/Linformer将softmax近似为核函数

完整流程：

① 数据准备：图文对收集 → 清洗（去重、低质过滤）→ 标注（CLIP相似度打分）→ 构建指令数据集（图+问题+答案三元组）

② 模型选型：视觉编码器（CLIP/SigLIP）+ LLM骨架（LLaMA/Qwen）+ 投影层（MLP或cross-attention）

③ 训练阶段：
Stage 1: 冻结视觉编码器，只训练投影层（特征对齐）
Stage 2: 解冻LLM部分，LoRA微调（目标任务）
Stage 3（可选）: 全量微调或RLHF

④ 关键超参：学习率warmup、梯度裁剪（max_norm=1.0）、混合精度（bf16）

⑤ 评估：VQA Accuracy、CIDEr（描述生成）、房产专项：户型图理解准确率、价格区间预测

LoRA：将权重更新分解为低秩矩阵 W' = W + AB（A∈R^{d×r}, B∈R^{r×k}），r远小于d/k。只训练A/B，参数量减少99%+

QLoRA：在LoRA基础上将基座模型量化到4bit（NF4），用bfloat16做计算，单卡24G可跑7B。关键：double quantization + paged optimizer

IA³：引入可学习缩放向量，参数更少，但效果有时弱于LoRA

24G单卡跑7B的完整配置：
- 基座4bit量化（bitsandbytes）
- LoRA rank=16, alpha=32, target: q_proj/v_proj
- 梯度检查点（gradient_checkpointing=True）
- batch_size=1, gradient_accumulation=8
- 序列长度≤2048

系统排查顺序：
1. 数据问题：检查是否有inf/NaN输入，文本tokenization溢出，图像归一化范围
2. 学习率：过大导致梯度爆炸，加梯度裁剪（clip_grad_norm=1.0），降LR
3. 混合精度：fp16下溢出，换bf16；检查loss_scale
4. 模型结构：LayerNorm缺失，残差连接初始化问题
5. 批次问题：某批次含异常样本，加try-except跳过

实际案例（候选人应能描述自己的）：如"多模态对齐阶段，图像编码器输出全为0，原因是冻结参数时误冻了归一化层的running_mean"

RLHF流程：SFT预热 → 偏好数据标注（chosen/rejected对）→ 训练Reward Model → PPO强化学习

DPO优势：绕过显式RM，直接优化策略，训练更稳定，无需4个模型同时加载（PPO需要actor/critic/RM/ref各一个）。损失函数：-log σ(β log(π_θ(y_w)/π_ref(y_w)) - β log(π_θ(y_l)/π_ref(y_l)))

房产场景偏好数据：
- 同一套房子，A回答"朝南、采光好、单价5万" vs B回答"还可以"
- 用户点击行为隐式收集（哪个回答后用户继续咨询）
- 专业经纪人标注哪个回答更专业、更准确