知乎 - 有问题，就会有答案
为什么传统机器学习，都会用predict表示预测，而深度学习中往往用inference这个词，他们意义有什么不同吗
机器学习中Inference 和predict的区别是什么?
Inference in deep learning: More specifically, the trained neural network is put to work out in the digital world using what it has learned — to recognize images, spoken words, a blood disease, predict the …
知乎 - 有问题，就会有答案
知乎 - 有问题，就会有答案
因果推断综述解析|A Survey on Causal Inference (1)
二、正文解析 摘要 首先文章说明了因果推断的重要性，ZZ不再赘述。然后介绍了一下本文的主要内容和贡献： 在本研究中，作者提供了关于“潜在结果框架”的完备介绍，那么这个“潜在结果框架”是一个著 …
LLM的pad策略，为啥训练时是right，预测是left？ - 知乎
Dec 10, 2024 · 上面这俩在训练时是等效的。 关键还是 padding 方向和 ignore_label 的设置方式要匹配。 position_ids 的影响也不大，目前像 Hugging Face 这种库可以自行处理。如下例中是 batch size 为 2 …
PyTorch如何量化模型（int8）并使用GPU（训练/Inference）？
或者是否可以通过将PyTorch模型转化成TensorRT进行int8的GPU Inference?
YyWangCS 的想法: 目前SGLang/vLLM的deterministic inference， …
但是对于deterministic inference本身，并没有要求不做序列维度split，只需要每一个请求的split size是固定的；disable_split_kv这个要求来自CUDA Graph，但是这个会导致长序列场景attention性能明显下 …
推断和推理有什么区别？ - 知乎
Sep 26, 2023 · 推断和推理有什么区别？ 这两个中文意思以及相应英文（比如说inference和reasoning？ ），都有什么区别？ 特别是在一些专业词汇，比如机器学习里的training和… 显示全部 关注者 10 被 …
神经网络中训练和推理有什么区别？ - 知乎
推断（Inference）可以使用低精度的技术，训练的时候因为要保证前后向传播，每次梯度的更新是很微小的，这个时候需要相对较高的精度，一般来说需要float型，如FP32，32位的浮点型来处理数据，但 …
有没有大佬帮我解释一下AI infra到底是干啥的？ - 知乎
三者共同构成 “计算 - 通信 - 存储” 一体化硬件体系，直接决定 AI Infra 的综合能力上限。 1.2 软件层 软件层是 AI Infra 的 “神经中枢”，借鉴云计算三层架构，不仅实现硬件资源管控，更重点解决存储资源的 …