企业🤖AI智能体构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
# 内存拷贝渲染视频的研究 这里说的视频渲染是指通过 `CVPixelBufferRef` 获取 `CGImageRef` 对象在 UI 上进行渲染的过程。 大家都知道视频渲染是一个非常麻烦的过程,一般来说我们会通过将 `CVPixelBufferRef` 转换为 `CIImage` 再将 `CIImage` 对象转换为 `CGImageRef` 来完成视频的渲染,其中 `CIImage` 渲染到 `CGImageRef` 的过程将会需要到 `CIContext` 的 `- render:toBitmap:rowBytes:bounds:format:colorSpace:` 方法来实现,但是在实际使用过程中发现,在 iOS 9.0 系统上,使用这个方法渲染视频时会出现内存泄漏的问题(长时间调试发现似乎是系统的问题)于是花了很多时间来找寻如何绕过 `CIContext` 来进行视频渲染,最终找到了直接内存拷贝进行视频渲染的方法,也是最为快速的方法。 ## 代码解析 下面我们来直接看代码吧 ``` + (CGImageRef)createImageWithPixelBuffer:(CVPixelBufferRef)pixelBuffer { CGImageRef image = NULL; size_t width = CVPixelBufferGetWidth(pixelBuffer); size_t height = CVPixelBufferGetHeight(pixelBuffer); size_t bytePerRow = CVPixelBufferGetBytesPerRow(pixelBuffer); size_t bitPerCompoment = 8; size_t bitPerPixel = 4 * bitPerCompoment; size_t length = CVPixelBufferGetDataSize(pixelBuffer); CGBitmapInfo bitmapInfo = kCGBitmapByteOrderDefault; CVPixelBufferLockBaseAddress(pixelBuffer, 0); void *baseAddress = CVPixelBufferGetBaseAddress(pixelBuffer); unsigned char *imageData = (unsigned char *)malloc(length); memcpy(imageData, baseAddress, length); CVPixelBufferUnlockBaseAddress(pixelBuffer, 0); [self.class convertBGRAtoRGBA:imageData withSize:length]; CFDataRef data = CFDataCreate(NULL, imageData, length); free(imageData); CGDataProviderRef provider = CGDataProviderCreateWithCFData(data); CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB(); image = CGImageCreate(width, height, bitPerCompoment, bitPerPixel, bytePerRow, colorSpace, bitmapInfo, provider, NULL, NULL, kCGRenderingIntentDefault); CFRelease(data); CGColorSpaceRelease(colorSpace); CGDataProviderRelease(provider); return image; } ``` 不管是视频还是图片,每一帧的画面都是通过一个 RGBA 或是 BGRA 的位图来存储的,所以,实现 `CVPixelBufferRef` 到 `CGImageRef` 的转换,也就是需要把他们所对应的内存里面保存的位图数据进行拷贝,来实现图像的渲染。 上面代码分为下面部分: - 根据 PixelBuffer 中的信息,以及一些我们已知的信息,获取创建 `CGImageRef` 对象的必要参数 ``` size_t width = CVPixelBufferGetWidth(pixelBuffer); size_t height = CVPixelBufferGetHeight(pixelBuffer); size_t bytePerRow = CVPixelBufferGetBytesPerRow(pixelBuffer); size_t bitPerCompoment = 8; size_t bitPerPixel = 4 * bitPerCompoment; size_t length = CVPixelBufferGetDataSize(pixelBuffer); CGBitmapInfo bitmapInfo = kCGBitmapByteOrderDefault; ``` - 从 PixelBuffer 中拷贝位图数据,并将位图数据拷贝到一个 `CFDataRef` 对象中 注意:`[self.class convertBGRAtoRGBA:imageData withSize:length];` 这个方法的目的只是将位图中的第一位和第三位进行位置交换,因为 PixelBuffer 中的图像是 BGRA 的,而 CGImage 中的图像是 RGBA 的。 ``` CVPixelBufferLockBaseAddress(pixelBuffer, 0); void *baseAddress = CVPixelBufferGetBaseAddress(pixelBuffer); unsigned char *imageData = (unsigned char *)malloc(length); memcpy(imageData, baseAddress, length); CVPixelBufferUnlockBaseAddress(pixelBuffer, 0); [self.class convertBGRAtoRGBA:imageData withSize:length]; CFDataRef data = CFDataCreate(NULL, imageData, length); ``` - 通过 `CFDataRef` 创建 `CGImageRef` ``` CGDataProviderRef provider = CGDataProviderCreateWithCFData(data); CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB(); image = CGImageCreate(width, height, bitPerCompoment, bitPerPixel, bytePerRow, colorSpace, bitmapInfo, provider, NULL, NULL, kCGRenderingIntentDefault); CFRelease(data); CGColorSpaceRelease(colorSpace); CGDataProviderRelease(provider); return image; ``` 这样就实现了视频的渲染,获取到视频的图像就可以直接渲染到 UI 上了。