AI 与算法

«Documentation Index: Fetch the complete documentation index at: "https://docs.typesafe.ai/llms.txt" (https://docs.typesafe.ai/llms.txt) Use…

单纯依靠向量检索（Dense Retrieval）做 RAG 很容易在专业术语或精确编号上翻车。 实测最强流水线: 1. 分块策略：按 Markdown 层级递归切分，保留父级标题上下文； 2. 混合检索 (Hybrid Search)： 稠密检索：Embedding 语义相似度…

强化学习（RL）通过智能体与环境的交互试错来寻找最优策略，是通用人工智能的重要拼图。 Q-Learning / DQN：在离散动作空间（如 Atari 小游戏）表现亮眼； PPO (Proximal Policy Optimization)：现代连续控制任务（机械臂、机器人步态、…

整理了一份经典动态规划（DP）的核心套路，适合刷题与面试复习： 1. 0-1 背包 vs 完全背包：注意遍历顺序是倒序还是正序； 2. 最长公共子序列 (LCS)：二维表格边界初始化与斜向推导； 3. 状态压缩 DP：当状态集合较小（$N \le 16$）时，用二进制位表示集合选…

论坛的关注关系、点赞传播与社区推荐本质上都是图结构数据。 PageRank 算法：挖掘社区中具有高影响力的核心优质创作者； 社区发现算法（Louvain）：根据用户共同关注和互动的紧密程度，自动发现兴趣社群； 图嵌入（Node2Vec）：将图节点映射为稠密向量，计算相似话题与好友…

在业务集成中，最怕大模型在 JSON 外面包裹多余的寒暄废话或者忘记闭合括号。 提升稳定性几条经验: 1. 清晰的角色与限制：明确声明「你是一个只返回 JSON 的 API，不得包含任何额外说明」； 2. 少样本示范 (Few-shot)：给出 1~2 个真实的输入输出样例； 3…

想要在本地电脑上跑一个私密的代码助手？目前最主流的两种方案实测： Ollama：开箱即用，一条命令拉取模型，自带 API 服务和模型管理，适合绝大多数开发者； llama.cpp：极致底层控制，纯 C/C++ 实现，支持各种量化参数（GGUF），推理速度拉满。 硬件建议：Mac …

随着大模型生成代码能力的飞跃，很多人开始唱衰「算法与数据结构」。 但我认为情况恰恰相反： 1. 底层工程依然稳固：大模型本身的推理加速（vLLM、FlashAttention、KV Cache 管理）全都是深度的系统级内存布局与算法优化； 2. 复杂度敏感度：AI 生成的代码往往…

全量微调参数量巨大的模型成本高昂，PEFT（参数高效微调）中的 LoRA 和 QLoRA 已经成为个人与中小团队的标配。 QLoRA：将基座模型量化到 4-bit NormalFloat，配合分页优化器，单张 24G 显卡（如 RTX 4090）就能微调 70B 模型； 数据集质…

注意力机制公式大家都熟悉：$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$。 但当上下文长度从 2K 扩展到 128K 时，$O(N^2)$ 的显存占用成了致命瓶颈。…

构建自主智能体（Agent）正在从概念走向工业级落地。 关键架构组件: ReAct (Reasoning + Acting)：让模型交替进行思考（Thought）、行动（Action）与观察（Observation）； Function Calling：定义严格的 JSON Sc…