Showing Posts From

音视频

共 38 篇文章

音频FFT计算流程总结与频谱图解读

本文总结了语音信号序列进行FFT计算其对应频谱的概率、参数总结以及计算流程，并提供了一个Python例子代码对一个wav文件进行频谱图的计算并进行解读。 语音信号FFT计算简介及其参数总结 众所周知，在时域中，音频信号是随着时间波动的压力值（即声压，表现为振幅的大小）。傅里叶变换…

短红外（SWIR）传感器的工作原理与应用总结

本文简要总结了基于短波红外光频段成像的SWIR传感器及其成像系统的技术概念以及在工业和生活中的常见应用，为理解和在实际产品中应用该技术做好基础。 SWIR技术简介 SWIR：Short Wave InfraRed Light，短波红外光。波长范围通常在0.9-1.7um波段（也有…

详细总结图像ISP处理流程之Gamma校正

本文详细总结了图像ISP处理流程中的Gamma校正模块，解释了在ISP处理流程中要包含Gamma校正模块的原因，以及主流ISP在进行Gamma校正的处理过程中的主要思路和工作流程。 Gamma校正存在的意义 在ISP对于Sensor输出RAW图像的处理流程中，Gamma校正模块是…

镜头成像的Lens Shading问题

本文对镜头成像中普遍存在的Lens Shading问题进行详细的总结，分析该问题出现的原因，以及在相机产品进行图像调试中解决该问题的思路进行整理。 镜头的Lens Shading问题 从定义上讲，Lens Shading（镜头阴影）是光学成像系统中，因为镜头物理特性方面的原因导致…

消费类Audio Codec的音频接口总结

本文基于对市场上常用的Audio Codec TLV320AI3101的数据手册进行总结和学习，从中更深入的总结通用audio codec的输入输出接口及其内部的信号处理流程，以此建立对audio codec及其音频处理流程的更为全面的认识。 全文分为三个部分： - 模拟音频输入…

音频3A处理简介：AEC，ANS，AGC

本系列文章完整的总结了消费类摄像头领域中针对音频进行处理的3A（AGC，AEC，ANS）概念理论及其工作原理进行总结，为该领域产品中音频效果的调优和问题接近打下基础。 在消费类摄像头领域中，相比与视频图像方面的3A（自动曝光AE Auto Exposure，自动白平衡AWB Au…

图像传感器和镜头的CRA参数解释及其匹配

CRA：Chief Ray Angle，也就是主入射光线角度。对于镜头和Image Sensor而言，虽然两者都有CRA参数，但是其实际定义是明显不同的。 镜头的CRA参数 Lens的CRA参数则由镜头的设计本身决定，表示从镜心到成像面的光线角度分布模式。也就是就是镜头各个位置的…

对AI NVR的思考以及君正的AI NVR平台A1

君正的A1系列是针对NVR市场所推出的集成式解决方案，相比于传统的NVR方案，君正方案最大的特色是继承了较强的AI算力，所以君正在这个方案的命名上也刻意的以xVR这样的形式进行命名，以强调其AI算力。 A1方案的架构和基本规格 以下是A1方案的架构图： !image.png - …

G711音频压缩标准的实现详解

G.711是ITU-T所定义的一种音频压缩标准，广泛应用于电话通信网络和VoIP领域。在具体的实现上，G711的音频编解码又可以分为u-law（主要应用于北美和日本）和A-law（主要应用于欧洲和世界的其他地方）两种形式，在本文中分别进行说明。 G.711在电话通信应用中所定义的…

2024 US主流消费类NVR功能与规格参数总结

对Amazon US市场上消费类NVR主流厂家在2024年主推的NVR型号所具备的基本功能和规格参数进行，从而梳理出来目前该市场和产品领域的典型产品形态。 从Amazon US以及网络搜索的相关资料看到，目前北美市场上的消费类NVR的主流厂家包括：Swann，Annke，Amec…

基于CV4003IoT Sensor实现Pre Roll电池摄像头方案

电池摄像头的Pre Roll工作模式 之前我在另外一篇笔记（Ring Doorbell的Pre Roll功能及其工作原理）中详细总结和分析了Ring Doorbell中大力推广的Pre Roll模式的工作原理和系统设计框架。 在电池摄像头Pre Roll模式的宣传推广和技术产品演…

Ring Doorbell的Pre Roll功能及其工作原理

Ring Doorbell的Pre Roll和Advanced Pre Roll Ring目前是北美和欧洲Doorbell市场的主流供应商，其有线以及无线门铃摄像头产品的Pre Roll和Advanced Pre Roll功能颇受用户好评。 对于无线门铃摄像头而言，正常的使用场景…

RGBIR Sensor的工作原理和流程总结

一般情况下，IPC摄像头行业绝大多数情况下都采用白天全彩，夜视切换为黑白的工作模式。这种方案采用白天和晚上两套滤光片，使用SOC的GPIO来控制IRCUT机构件对滤光片进行切换：白天模式下，ISP设置为全彩模式，IRCUT切换为白天的滤光片，关闭IR灯，出彩色图像；黑夜模式下，I…

主流无线投屏技术对比

投屏技术从使用方式上主要可以分为两大类： - 推送投屏：手机/平板把要播放的视频推送到电视上，由电视自行拉流、解码、播放，电视开始播放后手机/平板就可以关闭了； - 镜像投屏：手机/平板上的屏幕显示内容实时的投屏显示在电视上，使用中手机/平板不能关机/关屏； 对于这两种投屏技术而…

SigmaStar的Uboot UFU升级模式

Sigmastar provides three options of firmware upgrade worflow: 1. OTA pack and unpack in application layer 2. Firmware upgrade thread running…

UCConfig学习笔记之UCConfig Mode 0

在参考文档1中，对UCConfig Mode 0的定义是：Non‐scalable single layer AVC bitstream with Simulcast (number of simulcast streams >= 1).。也就是说UCConfig Mode 0不…

CMOS Sensor的曝光与读出时序

很长时间没有自己动手调试CMOS Sensor的驱动程序了，这两天开始配合调试Sony IMX662和IMX585两个Sensor DOL HDR模式下的驱动，关于CMOS工作时序的概念有点模糊了，在这里重新基于对网上资料的学习总结一下。 首先要搞清楚一个对于CMOS Senso…

UCConfig学习笔记之UCConfig Mode 1

在参考文档1中，对UCConfig Mode 1的定义是：SVC temporal scalability with hierarchical P with Simulcast (number of simulcast streams >= 1)。也就是说需要编码器能够支持SVC…

《Microsoft Skype for Business H.264 Video Encoder Specification》学习笔记

对于要通过Mircosoft的Teams或者Skype For Business认证的视频会议系统，要使用H.264来进行图像传输的情况，就需要对图像视频压缩所使用的H.264编码器进行Teams和Skype For Business的认证，才能打上对应的认证Logo。而这个对于…

H.264基本概念总结之SVC

SVC：Scalable Video Coding，是H.264（AVC）视频编码算法的一个扩展。 SVC要解决的问题 H.264视频压缩算法是用来对图像数据进行压缩，以方便进行存储和通过网络传输。 在进行1对1传输的时候，使用标准的H.264(AVC)一般不存在问题： - 在接…

MIPI CSI接口的长短包结构与虚拟通道的概念

MIPI协议层在进行数据发送的时候，以数据包为单位进行通信。根据传输数据类型的不同，又可以分为长包和短包两种形式。其中长包用于传输图像数据，短包则用于传输同步信号、图像数据格式描述信息等数据。 MIPI协议层在进行数据通信的时候，无法发送的是长包还是短包，都是以SOT（Start…

Image Sensor的MIPI CSI接口学习笔记

MIPI CSI接口及其连接基础 MIPI CSI是用于实现对image sensor和AP（Application Processor）或者ISP处理器之间，进行Image Sensor采集的图像数据进行传输的标准接口。 下图是一个典型的MIPI CSI接口的image sen…

CMOS图像传感器的Sensor Flicker问题

CMOS Sensor因为使用Rolling Shutter的原因，所以各行曝光开始和结束的时间点不一样。这样在使用交流电工频电源供电或者LED频闪灯进行补光的情况下，就会出现比较明显的Sensor Flicker问题： !164238121893412.gif - 也就是说，在…

Sony的DOL（Digital Overlay） HDR技术总结

DOL HDR与传统的Frame Based HDR的比较 Sony的部分Image Sensor可以支持两曝光（DOL-2）和三曝光（DOL-3）模式的DOL HDR技术。 - DOL-2是一张HDR图像，需在Sensor端进行长短两次曝光后，在ISP上合成为HDR图像的工作模…

H.264基本概念总结之Slice与NALU

VCL与NAL VCL：Video Coding Layer，视频编码层。 NAL ：Network Abstraction Layer, 即网络抽象层。 在 H.264/AVC 视频编码标准中，整个系统框架被分为了两个层面：视频编码层面（VCL, Video Coding La…

H.264基本概念总结之SPS，PPS，SEI

SPS - Sequence Parameter Set (SPS): This non-VCL NALU contains information required to configure the decoder such as profile, level, resolut…

AAC Audio Codec的Profile及其在不同平台上的支

AAC简介 AAC：Advanced Audio Codec。 AAC实际上是作为MP3音频编解码算法的继任者出现在历史舞台的。与MP3一样，AAC也是一种有损的音频编解码算法。相比于MP3而言，对于相同的音频数据进行处理，AAC编码出来的音频文件更小，而声音的质量还可以做到更高…

GB28181基础知识学习总结

GB28281标准要解决的问题： - 用于解决音视频监控领域中，不同厂家生产的不同平台和不同产品之间的互通协议问题。 - 在GB28181协议推出之前，不同厂家的不同产品往往都有自己的解决方案和通信协议，因为基本上监控平台与摄像头、DVR等设备之间只能在厂家内部达成对接协议互通。…

最简单的基于QT+ffmpeg的播放器的例子

前提条件： - 基于搭建基于QT Creator的ffmpeg开发环境在Windows环境中完成QT Creator++ffmpeg的开发环境，能够在QT Creator中正常的调用ffmpeg library中的接口得到正确的结果。 UI准备： - 在QT Creator中新建…

搭建基于QT Creator的ffmpeg开发环境

操作系统版本：Windows 10. 从ffmpeg上下载windows平台上预编译好的ffmpeg库 下载地址： https://ffmpeg.zeranoe.com/builds/。 在基于动态链接库开发的情况下，需要下载下图中的Shared和Dev两个包： !Untitle…

AHD模拟摄像头的反向控制协议-CoaxialProtocol

缘起 - 对于控制一个云台摄像头的镜头动作而言，使用IP协议来进行控制是很容易做到的：IP摄像头与控制主机之间可以通过IP协议建立全双工双向通信，云台控制的命令可以很方便的发送到摄像头端，在摄像头端进行镜头的旋转、缩放等控制； - 但是对于模拟摄像头而言，要轻松的做到这一点就很麻…

QT5.9.8版本在海思3521平台上的移植

QT源码的下载及交叉编译工具的准备 - QT源码的下载地址：https://download.qt.io/archive/qt/5.9/5.9.8/single/qt-everywhere-opensource-src-5.9.8.tar.xz； - 交叉编译工具： - 交叉编译…

AF自动对焦算法及PDAF工作原理总结

AF自动对焦算法的定义及基本分类 - AF：Auto Focus，自动对焦。 - 自动对焦的基本定义：相机上的图像传感器接收到物体反射的光，根据相机内部的计算与处理，然后由电动对焦装置对镜头进行的对焦操作。 - 基于自动对焦流程中是否需要相机主动向被拍摄的景物发射，自动对焦算法从…

变焦镜头的分类及变焦原理总结

变焦的分类及其实现变焦的原理 我们通常所谓的变焦能力通常可以分为光学变焦和数码变焦两种类型。两者虽然都有助于望远拍摄时放大远方物体，但是只有光学变焦可以支持图像主体成像后，让主体不但变大，同时也相对更清晰；数码变焦只能将原先的图像尺寸裁小，让图像在LCD屏幕上变得比较大，但并不会…

海思35XX系列HiMPP框架开发参考之VI模块

主要参考文件：《HiMPP V3.0媒体处理软件开发参考》。 文档版本：21. 文档发布日期：2019-09-30. 本文档基于对海思官方SDK提供的HiMPP开发参考文件的学习，整理了该平台下视频输入接口VI模块在开发过程中流程以及主要概念。 VI模块的主要功能 VI模块能够支…

BT601/BT656/BT1120的基本概念解析

要解释清楚BT656、BT601、BT1120这些规范的由来，就需要从最早期的模拟视频技术讲起。因此早期的电视以及音视频信号都是以模拟的形式采集、处理、传输、播放的，而到了数字时代，为了能够以更先进的数字形式来对模拟的图像视频进行进行处理，就要涉及到模拟视频数字化的处理，而BT6…

模拟高清视频传输技术

缘起 由于从事摄像头相关行业以来，一直做的都是数字也就是IP摄像头领域，因此之前对于模拟摄像头的认知，还停留在10多年前CCD标清模组+CBVS接口+同轴线缆传输，以及模拟摄像头无法支持高清分辨率的认知上。 - 对于模拟图像传输支持高清分辨率的方案，印象里只有大华之前推出的HD-…

H.264的两个基本概念：IDR，dts/pts

IDR帧与I帧之间的区别 IDR：Instantaneous Decoding Refresh。 I帧与IDR帧之间的区别涉及到H.264中不同帧类型的视频解码过程。 - 对于普通的I帧（及其IDR帧）而言，对其进行的视频解码不依赖于其他帧，对每一个I帧（及其IDR帧）解码都可以…