Showing Posts From

音视频

共 33 篇文章

安全摄像头的Webhooks和HTTP Push功能

本文介绍了部分安全摄像头产品中所支持的WebHooks和HTTP Push的第三方报警平台的功能，以及该功能实现的架构与通信流程最佳实践。 摄像头Webhooks和HTTP Push告警功能 常规的摄像头，在通过 PIR 或者 AI（如人形检测、人脸识别、车牌识别）等方式检测到事…

PANNs音频分类模型在RK3588平台上的适配全记录

之前在PANNs音频分类模型的预研信息汇总 一文中，对PANNs这个音频分类模型的信息进行了汇总，在PC端做了一些简单的测试。 在基于ECS50数据集对PANNs语音分类模型进行的训练流程 一文中，记录了基于PANNs模型的CNN14架构对ECS50数据集进行训练的完整流程。 本…

音频FFT计算流程总结与频谱图解读

本文总结了语音信号序列进行FFT计算其对应频谱的概率、参数总结以及计算流程，并提供了一个Python例子代码对一个wav文件进行频谱图的计算并进行解读。 语音信号FFT计算简介及其参数总结 众所周知，在时域中，音频信号是随着时间波动的压力值（即声压，表现为振幅的大小）。傅里叶变换…

PANNs音频分类模型的预研信息汇总

本文整理了经典的音频分类模型PANNs的基本情况，模型架构及其预训练参数文件的分类，开发环境的搭建和基本的推理测试，以及对该模型主推的CNN14模型的网络架构进行了说明。 PANNs模型简介 PANNs (Large-scale Pre-trained Audio Neural …

短红外（SWIR）传感器的工作原理与应用总结

本文简要总结了基于短波红外光频段成像的SWIR传感器及其成像系统的技术概念以及在工业和生活中的常见应用，为理解和在实际产品中应用该技术做好基础。 SWIR技术简介 SWIR：Short Wave InfraRed Light，短波红外光。波长范围通常在0.9-1.7um波段（也有…

详细总结图像ISP处理流程之Gamma校正

本文详细总结了图像ISP处理流程中的Gamma校正模块，解释了在ISP处理流程中要包含Gamma校正模块的原因，以及主流ISP在进行Gamma校正的处理过程中的主要思路和工作流程。 Gamma校正存在的意义 在ISP对于Sensor输出RAW图像的处理流程中，Gamma校正模块是…

镜头成像的Lens Shading问题

本文对镜头成像中普遍存在的Lens Shading问题进行详细的总结，分析该问题出现的原因，以及在相机产品进行图像调试中解决该问题的思路进行整理。 镜头的Lens Shading问题 从定义上讲，Lens Shading（镜头阴影）是光学成像系统中，因为镜头物理特性方面的原因导致…

消费类Audio Codec的音频接口总结

本文基于对市场上常用的Audio Codec TLV320AI3101的数据手册进行总结和学习，从中更深入的总结通用audio codec的输入输出接口及其内部的信号处理流程，以此建立对audio codec及其音频处理流程的更为全面的认识。 全文分为三个部分： - 模拟音频输入…

音频3A处理简介：AEC，ANS，AGC

本系列文章完整的总结了消费类摄像头领域中针对音频进行处理的3A（AGC，AEC，ANS）概念理论及其工作原理进行总结，为该领域产品中音频效果的调优和问题接近打下基础。 在消费类摄像头领域中，相比与视频图像方面的3A（自动曝光AE Auto Exposure，自动白平衡AWB Au…

图像传感器和镜头的CRA参数解释及其匹配

CRA：Chief Ray Angle，也就是主入射光线角度。对于镜头和Image Sensor而言，虽然两者都有CRA参数，但是其实际定义是明显不同的。 镜头的CRA参数 Lens的CRA参数则由镜头的设计本身决定，表示从镜心到成像面的光线角度分布模式。也就是就是镜头各个位置的…

对AI NVR的思考以及君正的AI NVR平台A1

君正的A1系列是针对NVR市场所推出的集成式解决方案，相比于传统的NVR方案，君正方案最大的特色是继承了较强的AI算力，所以君正在这个方案的命名上也刻意的以xVR这样的形式进行命名，以强调其AI算力。 A1方案的架构和基本规格 以下是A1方案的架构图： !image.png - …

G711音频压缩标准的实现详解

G.711是ITU-T所定义的一种音频压缩标准，广泛应用于电话通信网络和VoIP领域。在具体的实现上，G711的音频编解码又可以分为u-law（主要应用于北美和日本）和A-law（主要应用于欧洲和世界的其他地方）两种形式，在本文中分别进行说明。 G.711在电话通信应用中所定义的…

2024 US主流消费类NVR功能与规格参数总结

对Amazon US市场上消费类NVR主流厂家在2024年主推的NVR型号所具备的基本功能和规格参数进行，从而梳理出来目前该市场和产品领域的典型产品形态。 从Amazon US以及网络搜索的相关资料看到，目前北美市场上的消费类NVR的主流厂家包括：Swann，Annke，Amec…

Ring Doorbell的Pre Roll功能及其工作原理

Ring Doorbell的Pre Roll和Advanced Pre Roll Ring目前是北美和欧洲Doorbell市场的主流供应商，其有线以及无线门铃摄像头产品的Pre Roll和Advanced Pre Roll功能颇受用户好评。 对于无线门铃摄像头而言，正常的使用场景…

对微信IoT平台及其音视频能力在物联网产品中接入的调研

基于微信生态的IoT平台总结 微信IoT平台是腾讯的微信团队针对物联网消费类电子、交通出行、工业能源、零售教育等以智能硬件为载体，提供行业价值和业务的云端以及音视频接入能力的完整解决方案。除了提供一个IoT平台以外，该解决方案最大的特色就在于微信小程序以及微信原本就已经具备的音视…

RGBIR Sensor的工作原理和流程总结

一般情况下，IPC摄像头行业绝大多数情况下都采用白天全彩，夜视切换为黑白的工作模式。这种方案采用白天和晚上两套滤光片，使用SOC的GPIO来控制IRCUT机构件对滤光片进行切换：白天模式下，ISP设置为全彩模式，IRCUT切换为白天的滤光片，关闭IR灯，出彩色图像；黑夜模式下，I…

基于Homekit的Video Camera生态调研总结

因工作需要，对Apple Homekit生态下的Video Camera进行调研和总结，判断是否可以作为下一个产品预研点的选项之一。因此以下资料仅包含对网络公开资料的学习和总结，尚未拿到Apple Homekit MFI认证相关的文档和资料，也没有进行实际设备在苹果Homekit…

主流无线投屏技术对比

投屏技术从使用方式上主要可以分为两大类： - 推送投屏：手机/平板把要播放的视频推送到电视上，由电视自行拉流、解码、播放，电视开始播放后手机/平板就可以关闭了； - 镜像投屏：手机/平板上的屏幕显示内容实时的投屏显示在电视上，使用中手机/平板不能关机/关屏； 对于这两种投屏技术而…

UCConfig学习笔记之UCConfig Mode 0

在参考文档1中，对UCConfig Mode 0的定义是：Non‐scalable single layer AVC bitstream with Simulcast (number of simulcast streams >= 1).。也就是说UCConfig Mode 0不…

CMOS Sensor的曝光与读出时序

很长时间没有自己动手调试CMOS Sensor的驱动程序了，这两天开始配合调试Sony IMX662和IMX585两个Sensor DOL HDR模式下的驱动，关于CMOS工作时序的概念有点模糊了，在这里重新基于对网上资料的学习总结一下。 首先要搞清楚一个对于CMOS Senso…

UCConfig学习笔记之UCConfig Mode 1

在参考文档1中，对UCConfig Mode 1的定义是：SVC temporal scalability with hierarchical P with Simulcast (number of simulcast streams >= 1)。也就是说需要编码器能够支持SVC…

H.264基本概念总结之SVC

SVC：Scalable Video Coding，是H.264（AVC）视频编码算法的一个扩展。 SVC要解决的问题 H.264视频压缩算法是用来对图像数据进行压缩，以方便进行存储和通过网络传输。 在进行1对1传输的时候，使用标准的H.264(AVC)一般不存在问题： - 在接…

H.264基本概念总结之Slice与NALU

VCL与NAL VCL：Video Coding Layer，视频编码层。 NAL ：Network Abstraction Layer, 即网络抽象层。 在 H.264/AVC 视频编码标准中，整个系统框架被分为了两个层面：视频编码层面（VCL, Video Coding La…

H.264基本概念总结之SPS，PPS，SEI

SPS - Sequence Parameter Set (SPS): This non-VCL NALU contains information required to configure the decoder such as profile, level, resolut…

AAC Audio Codec的Profile及其在不同平台上的支

AAC简介 AAC：Advanced Audio Codec。 AAC实际上是作为MP3音频编解码算法的继任者出现在历史舞台的。与MP3一样，AAC也是一种有损的音频编解码算法。相比于MP3而言，对于相同的音频数据进行处理，AAC编码出来的音频文件更小，而声音的质量还可以做到更高…

GB28181基础知识学习总结

GB28281标准要解决的问题： - 用于解决音视频监控领域中，不同厂家生产的不同平台和不同产品之间的互通协议问题。 - 在GB28181协议推出之前，不同厂家的不同产品往往都有自己的解决方案和通信协议，因为基本上监控平台与摄像头、DVR等设备之间只能在厂家内部达成对接协议互通。…

AHD模拟摄像头的反向控制协议-CoaxialProtocol

缘起 - 对于控制一个云台摄像头的镜头动作而言，使用IP协议来进行控制是很容易做到的：IP摄像头与控制主机之间可以通过IP协议建立全双工双向通信，云台控制的命令可以很方便的发送到摄像头端，在摄像头端进行镜头的旋转、缩放等控制； - 但是对于模拟摄像头而言，要轻松的做到这一点就很麻…

AF自动对焦算法及PDAF工作原理总结

AF自动对焦算法的定义及基本分类 - AF：Auto Focus，自动对焦。 - 自动对焦的基本定义：相机上的图像传感器接收到物体反射的光，根据相机内部的计算与处理，然后由电动对焦装置对镜头进行的对焦操作。 - 基于自动对焦流程中是否需要相机主动向被拍摄的景物发射，自动对焦算法从…

变焦镜头的分类及变焦原理总结

变焦的分类及其实现变焦的原理 我们通常所谓的变焦能力通常可以分为光学变焦和数码变焦两种类型。两者虽然都有助于望远拍摄时放大远方物体，但是只有光学变焦可以支持图像主体成像后，让主体不但变大，同时也相对更清晰；数码变焦只能将原先的图像尺寸裁小，让图像在LCD屏幕上变得比较大，但并不会…

海思35XX系列HiMPP框架开发参考之VI模块

主要参考文件：《HiMPP V3.0媒体处理软件开发参考》。 文档版本：21. 文档发布日期：2019-09-30. 本文档基于对海思官方SDK提供的HiMPP开发参考文件的学习，整理了该平台下视频输入接口VI模块在开发过程中流程以及主要概念。 VI模块的主要功能 VI模块能够支…

BT601/BT656/BT1120的基本概念解析

要解释清楚BT656、BT601、BT1120这些规范的由来，就需要从最早期的模拟视频技术讲起。因此早期的电视以及音视频信号都是以模拟的形式采集、处理、传输、播放的，而到了数字时代，为了能够以更先进的数字形式来对模拟的图像视频进行进行处理，就要涉及到模拟视频数字化的处理，而BT6…

模拟高清视频传输技术

缘起 由于从事摄像头相关行业以来，一直做的都是数字也就是IP摄像头领域，因此之前对于模拟摄像头的认知，还停留在10多年前CCD标清模组+CBVS接口+同轴线缆传输，以及模拟摄像头无法支持高清分辨率的认知上。 - 对于模拟图像传输支持高清分辨率的方案，印象里只有大华之前推出的HD-…

H.264的两个基本概念：IDR，dts/pts

IDR帧与I帧之间的区别 IDR：Instantaneous Decoding Refresh。 I帧与IDR帧之间的区别涉及到H.264中不同帧类型的视频解码过程。 - 对于普通的I帧（及其IDR帧）而言，对其进行的视频解码不依赖于其他帧，对每一个I帧（及其IDR帧）解码都可以…