Showing Posts From

神经网络理论

共 25 篇文章

模型FP16和INT8量化的计算流程总结

本文对Pytorch等模型训练框架训练出来的模型，进行浮点半精度转换FP16和定点量化INT8的相关概念和计算流程进行完整的总结。 Pytorch 模型的训练与存储格式 在我们常见的 PyTorch、TensorFlow 等主流深度学习框架中，默认使用的张量（Tensor）数据类…

RAG系统工作流程的几个问题澄清

本文简单总结了RAG系统的整体工作流程和模块分解，并在其基础上解释了 RAG工作流程以及向量数据量存储与检索向量相关的几个问题。 RAG 系统的基本流程与基本模块组成 下图是一个典型的RAG系统的工作流程分解图： !78e0975c-3248-43c4-a2f6-100c321d…

大模型交互中KV Cache的工作原理总结

本文通过描述Agent与大模型之间的交互流程，详细解释Input Token和Cached Token的区别，理解了这两者的区别，也就能够理解这两种token在算力需求和价格上的差异所在。 Input Token和Cached Token的区别 我们从各个大模型厂商购买Token…

详解卷积网络中BN层的概念及其计算流程

本文详细总结了在各种卷积神经网络结构中普遍存在的批归一化层（BN，Batch Normalization）存在的理论意义以及在各种计算机视觉网络模型中BN层进行计算的流程。 BN层的概念与存在的意义 自从 2015 年 Google 提出 Batch Normalization（…

如何把PT格式的模型转换为TFLite/LiteRT模型？

之前在尝试把Ultralytics的YOLOv8模型运行在Android手机上的过程（参考总结Android Flutter项目中YOLO模型的执行流程）中，直接使用了YOLO模型的export接口即可实现把该模型导出为ONNX、TFLite等格式。但是如何我们在开发过程中遇到的…

如何理解TFLite/LiteRT的核心概念和框架流程？

本文整理了TFLite的核心概念，与ONNX框架的对比，及其内部各个组件的关键工作流程，尝试建立对这个Android系统下的标准AI推理框架的整体概念和工作流程建立完整的理解。 TFLite是什么？以及与ONNX的比较 Google推出的 TensorFlow Lite 是一个专…

基于Insightface的人脸识别功能的完整实现流程总结

本文详细解释了计算机视觉领域中的人脸识别功能的工作流程，并通过InsightFace这个完整的人脸检测+识别的解决方案对以上流程的具体实现进行代码级别的演示和解释。 人脸检测+识别功能的完整工作流程 在人脸识别功能在实际产品的工业落地实践中，并非是通过一个独立的模型来解决完整的问…

RT-DETR（RealTime DEtection TRansformer）网络架构与计算流程详细总结

本文详细介绍了Baidu提出的基于Transformer架构的图像目标检测模型RT-DETR的网络结构及其数据在网络中的计算流程。 RT-DETR模型简介 之前在DETR（DEtection TRansformer）网络架构与计算流程详细总结整理了基于Transformer的计算…

详细解释空洞卷积和可变形卷积的计算流程

有关卷积神经网络中的标准卷积核的计算流程，在详细解释卷积神经网络中的卷积与池化计算一文中已有非常详细的总结，本文主要整理了两种相对比较特殊的卷积操作：空洞卷积和可变形卷积。 空洞卷积 简单来说，空洞卷积相比于标注的卷积计算，可以在不增加参数量的情况下，强行拉大卷积计算的感受野（R…

YOLOv5模型的损失函数计算总结

本文以YOLOv5模型的v6.0/v6.1版本为基础，详细总结和解释了损失函数各个部分的计算流程。 YOLOv5模型的损失函数由三个部分组成： - 目标框定位损失，Box Loss - 目标置信度损失，Obj Loss - 分类损失，Cls Loss 其中，边界框回归损失采用了C…

YOLOv5模型损失函数的背景知识总结

本文以YOLOv5模型的v6.0/v6.1版本为基础，详细总结和解释损失函数的计算流程及代码实现中所设计到的各项背景知识。 如下图所示的YOLOv5的检测头部分的结构，YOLOv5模型每个网格输出的检测框数据与其前几代类似，每个检测框包含的信息（5+NC）就是三个部分：检测边界框…

SAM3模型环境搭建以及图片+视频分割测试

本文详细记录了Meta在2025年11月份开源的图像分割模型SAM3的环境搭建，以及基于其中的Sample进行图片和视频分割的流程。 SAM3（Segment Anything Model 3）是Meta发布的最新版本图像分割模型。它延续了前一代SAM模型的设计理念，进一步提升了…

机器学习领域的Python Web UI框架Gradio

Gradio是目前机器学习和数据科学领域最流行、最易上手的 Python Web UI 框架之一。简单来说，它的核心使命是：让你用极短的 Python 代码（通常只需几行），瞬间为你的机器学习模型构建一个可视化的演示界面。它特别适合用于快速原型设计、向团队/客户展示模型效果，或者…

开源数据集管理工具FiftyOne

本文对Voxel51所开发的开源数据集可视化和管理引擎Fiftyone的工作特性、环境搭建以及常用的应用场景进行总结。 FiftyOne是由 Voxel51 开发的一个开源数据集可视化和管理引擎，其官网地址为：Maximize your Computer Vision Perfo…

实例讲解OpenAI的轻量级多模态模型CLIP

CLIP(Contrastive Language-Image Pre-Training) 模型OpenAI在2021年初发布的用于匹配图像和文本的预训练神经网络模型，是近年来多模态研究领域的经典之作。 CLIP解决的问题是什么？ 作为计算机视觉（CV）领域最具里程碑意义的模型之…

开源VLM模型MoonDream

本文详细介绍了业界非常流行的开源轻量级视觉语言模型MoonDream，总结了该模型的核心功能列表、基本功能测试流程以及相关的license等情况。 Moondream 是由开发者 Vikhyat Korrapati 发起并维护的一个开源、轻量级的视觉语言模型（Vision-Lan…

PyTorch中的自动微分特性与计算图解释

本文基于对Pytorch基础基础数据结构torch的学习，整理出来torch的梯度与自动微分特性背后的理论，并通过示例说明来阐述清楚基于Pytorch框架计算图以及训练流程的运行逻辑。 Torch的梯度与自动微分 PyTorch框架中的 torch.Tensor是其核心数据结构。…

机器视觉目标检测模型的P、R、PR、F1指标详解

YOLOv5模型训练结果文件中的F1_curve、P_curve、PR_curve、R_curve这四张图片文件，分别对应于模型训练完成后的F1、P、PR以及R指标的曲线图。本文对这四个指标进行了详细的总结和整理。 P_Curve P曲线对应于模型的精确率（Precision），…

深度学习的数学基础知识总结

本文对学习和理解深度学习所需要的数学基础知识，尤其是微分、偏微分、复合函数等相关的理论知识进行了总结，并基于python做了简单的代码演示。 微分 数学中的微分理论被广泛的引用到机器学习的各种最优化问题的解决方面。 通过基础的微积分计算，我们可以得到一个函数在某个点的斜率，或者说…

非专业人士的AI课6：LLM大模型的典型应用级别

本系列文章的目标是从非AI从业者的角度出发，去尝试理解AI及其大模型在应用中的基本概念，争取通过对这些概念的深入理解和澄清，建立对大模型的工作机制流程以及应用框架方面的知识结构，从而在我们的生活和工作中更好的使用AI。 LLM大语言模型在特定行业领域中的应用，大致可以分为下图所示…

非专业人士的AI课5：AI Agent的框架与工作流程解析

本系列文章的目标是从非AI从业者的角度出发，去尝试理解AI及其大模型在应用中的基本概念，争取通过对这些概念的深入理解和澄清，建立对大模型的工作机制流程以及应用框架方面的知识结构，从而在我们的生活和工作中更好的使用AI。 AI Agent是什么？ 在AI的应用方面，目前最成熟和最广…

非专业人士的AI课4：一文说清楚RAG的工作流程以及与微调的区别

本系列文章的目标是从非AI从业者的角度出发，去尝试理解AI及其大模型在应用中的基本概念，争取通过对这些概念的深入理解和澄清，建立对大模型的工作机制流程以及应用框架方面的知识结构，从而在我们的生活和工作中更好的使用AI。 RAG RAG（Retrieval Augmented Ge…

非专业人士的AI课3：LLM大语言模型项目的典型开发流程详解

本系列文章的目标是从非AI从业者的角度出发，去尝试理解AI及其大模型在应用中的基本概念，争取通过对这些概念的深入理解和澄清，建立对大模型的工作机制流程以及应用框架方面的知识结构，从而在我们的生活和工作中更好的使用AI。 本文通过对参考资料的学习，对LLM大语言模型开发流程中的各个…

非专业人士的AI课2：对大模型多模态以及开源闭源概念的总结

本系列文章的目标是从非AI从业者的角度出发，去尝试理解AI及其大模型在应用中的基本概念，争取通过对这些概念的深入理解和澄清，建立对大模型的工作机制流程以及应用框架方面的知识结构，从而在我们的生活和工作中更好的使用AI。 究竟什么是大语言模型LLM？ 目前我们所说的大模型，全称是大…

非专业人士的AI课1：深度神经网络学习入门

本系列文章的目标是从非AI从业者的角度出发，去尝试理解AI及其大模型在应用中的基本概念，争取通过对这些概念的深入理解和澄清，建立对大模型的工作机制流程以及应用框架方面的知识结构，从而能够帮助我们在生活和工作中更好的使用AI。 深度神经网络是一切AI模型的基础 目前几乎所有比较流行…