大模型使用
⭐⭐⭐ 核心必背
如何区分用户与 AI 消息？
参考答案
协议层用 role 字段（user/assistant/system）；模型见对话模板格式，非「天然知道」。
工具调用与文本如何区分？
参考答案
API 约束输出 JSON/函数 schema；或专用 <tool_call> token；解析器按协议抽取，与自由文本分离。
最长上下文为何存在？为何含输入+输出？
参考答案
注意力 O(L²) 与显存限制；总序列长度决定 KV 与位置编码，故含 prompt+生成。
提示工程？
参考答案
通过指令、示例、角色、约束引导行为；减幻觉：要求引用、分步、不确定则拒答。
零样本、少样本与微调？
参考答案
0-shot 仅靠指令；few-shot 给示例；微调改权重适配分布；成本与效果递增。
幻觉与缓解？
参考答案
虚构事实；RAG、引用约束、工具查证、RLHF、不确定性表达、小温度+重检索。
如何知道输出结束？
参考答案
生成 EOS/停止 token；或达 max_tokens；部分 API 用结束符学习。
数学为何不准？
参考答案
自回归非符号计算；依赖记忆与模式；大数/多步易错；应用计算器工具或代码执行。
同上下文多样本防串扰？
参考答案
特殊分隔符、<|endoftext|>、文档 mask（仅 attend 本段）、packing+attention mask。
上下文限制（同 3）？
提示减幻觉？
参考答案
仅答给定材料、先列证据再结论、不知则拒答、强制引用段落。
专业提示结构？角色定义？
参考答案
角色/任务/约束/输出格式/示例；角色设定先验行为与安全边界。
防注入与检测？
参考答案
特权指令放系统消息、分隔不可信输入、输出过滤；检测异常模式、权限最小化工具。
长对话忘用户信息？
参考答案
滑动窗口+摘要、结构化 memory、RAG 拉取用户档案、定期重写 system prompt。
CoT、自洽、ToT？
参考答案
CoT 链式推理；自洽多链投票；ToT 分支搜索；成本 CoT<自洽<ToT，效果递增。
合法 JSON？
参考答案
response_format、grammar 约束解码、后验 repair JSON、json_schema。
分类输出仅限类别？
参考答案
约束解码到类别 token、logits 掩码、函数调用枚举。
贪婪 vs beam？
参考答案
贪婪每步取 argmax，快但次优；beam 保留多条假设，质量升、成本高。
随机采样与温度？
参考答案
从 softmax 采样；T↑ 分布更平更随机，T↓ 更确定。
Top-k vs Top-p？
参考答案
Top-k 截断低频；Top-p 动态核采样保留累积质量 p 的最小集合；常配合 temperature。
五个生成参数？
参考答案
max_tokens、temperature、top_p、top_k、repetition_penalty（或 frequency/presence penalty）。
⭐⭐ 常见重点
LLM 机器翻译创新？
参考答案
零样本多语、术语表 in-context、文档级上下文、后编辑人机协同。
会话 AI 组件与流程？
参考答案
编排层、记忆/RAG、工具、安全过滤、LLM、TTS/多模；循环直到任务完成。
减轻偏见？
参考答案
数据平衡与清洗、RLHF、红队、输出约束、监控与回滚。
嵌入做分类？
参考答案
文本→向量→线性分类头/SVM/kNN；或余弦最近原型。
嵌入分类 vs 生成式分类？
参考答案
嵌入：快、省、易批；生成：灵活少类定义、可解释链式，但慢且需解析。
无标注+嵌入零样本？
参考答案
每类写描述句嵌入，最近类；优化标签描述 A/B、用难例迭代。
嵌入相对生成仍有用例？
参考答案
百万级语义去重/聚类/检索；生成逐条贵且慢。
温度 0 仍有不确定性？
参考答案
浮点并列 max、beam、部分实现用采样；同一请求非确定性内核；多模态路由。
指定格式输出？
参考答案
明确 schema、示例、JSON mode / constrained decoding。
重复惩罚？
参考答案
对已出现 token 降 logits，缓解车轱辘话；实现因库而异。
⭐ 拓展了解
文档聚类与主题？
参考答案
嵌入+k-means/HDBSCAN；每簇抽代表文档+LLM 摘要主题。
词袋 vs 文档嵌入？词袋是否无用？
参考答案
词袋稀疏高维可解释；嵌入语义强。词袋在稀疏特征、基线、BM25 混合仍有用。
消融复杂提示？
参考答案
逐段删除对照评测；自动 sensitivity 分析；固定测试集。
多候选选优？
参考答案
高温多样采样+LLM 裁判打分；或 best-of-n 用奖励模型。