基于 OpenCV 和 GStreamer 显示 RTSP 视频流_综合

我在 stackoverflow 上看到一个讨论话题，选择其中有价值的部分，整理一下供大家参考。

问题

IP 摄像机的 RTSP URL 地址为 rtsp://admin:@192.168.0.27/channel=1&stream=0.554. 用 OpenCV 打开这个视频流。

#include <opencv2/opencv.hpp>int main() {
    cv::VideoCapture cap;if (!cap.open("rtsp://admin:@192.168.0.27/channel=1&stream=0.554")) {
    std::cout << "Unable to open video capture\n";return -1;}while(true) {
    cv::Mat frame;auto ret = cap.grab();cap >> frame;if (frame.empty()) {
    break; // End of video stream}cv::resize(frame, frame, cv::Size(640, 480));// Do other stuff here with framecv::imshow("frame", frame);if (cv::waitKey(10) == 27) {
    break; // stop capturing by pressing ESC}}return 0;
}

运行程序时，一开始貌似正常，稍后会变得越来越慢，通常会挂起并在崩溃前输出如下错误：

[h264@0x558ae8e601a0]解码MB 93 40时出错，bytestream-11

原因分析

估计原因是解码速度太慢，无法及时处理大量到来的视频帧数据。因此，考虑可否跳过一些未处理的帧，直接解码最新的帧数据。

解决方法

找到关于使用gstreamer获取最新帧的文章，修改视频捕获字符串以利用gstreamer时，程序工作得到改善。下面是修改后的连接字符串："rtspsrc location=rtsp://admin:@192.168.0.27/channel=1&stream=0.554 ! decodebin ! videoconvert ! appsink max-buffers=1 drop=true"

新的问题

它似乎改善了一些事情。但是，有一段时间，它就会变成灰色，只有在有运动时才会显示像素，如下图所示。根据我对编解码器的经验，我相信参考帧丢失了，但我不是很确定。有没有办法解决这个问题？如果我没有使用正确的gstreamer参数，请建议我应该使用什么来进行快速流式处理（始终使用最新帧）。正如我提到的，我对gstreamer的经验很少。谢谢你的帮助！

其他网友提供的解决方案

用 rtspt 协议
这可能是由于网络传输的分组丢失造成的。您可以尝试修改 URL 以使用 rtspt:// 协议。这将尝试建立一个TCP传输，这将防止您的接收端的数据包丢失。
多线程方法
最好的方法是使用线程连续读取帧，并将它们分配给类的属性。这样，如果某个线程遇到数据包丢失，其他线程伙伴将对此进行补偿。

from threading import Thread
import cv2class RTSPVideoWriterObject(object):def __init__(self, src=0):# Create a VideoCapture objectself.capture = cv2.VideoCapture(src)self.status, self.frame = None, None# Default resolutions of the frame are obtained (system dependent)self.frame_width = int(self.capture.get(3))self.frame_height = int(self.capture.get(4))# Set up codec and output video settingsself.codec = cv2.VideoWriter_fourcc(*'MJPG')self.output_video = cv2.VideoWriter('output.avi', self.codec, 30, (self.frame_width, self.frame_height))# Start the thread to read frames from the video streamself.thread = Thread(target=self.update, args=())self.thread.daemon = Trueself.thread.start()def update(self):# Read the next frame from the stream in a different threadwhile True:if self.capture.isOpened():(self.status, self.frame) = self.capture.read()def show_frame(self):# Display frames in main program# if self.status:# cv2.imshow('frame', self.frame)# Press Q on keyboard to stop recordingkey = cv2.waitKey(1)if key == ord('q'):self.capture.release()self.output_video.release()cv2.destroyAllWindows()exit(1)def save_frame(self):# Save obtained frame into video output fileself.output_video.write(self.frame)if __name__ == '__main__':rtsp_link = "rtsp://admin:@192.168.0.27/channel=1&stream=0.554"video_stream_widget = RTSPVideoWriterObject(rtsp_stream_link)while True:try:video_stream_widget.show_frame()video_stream_widget.save_frame()except AttributeError:pass

感谢以下网友在 stackoverflow 上的精彩发言：

cyrusbehr，提出问题和初步解决方案
Florian Zwoch，提出 rtspt 协议解决方案
Masoud Masoumi Moghadam，给出多线程例子

完整的讨论内容参见：c++ - Displaying RTSP stream with OpenCV and gstreamer