OpenCVFFmpeg详细解析

一、OpenCVFFmpeg库

OpenCVFFmpeg是包含FFmpeg命令行工具的OpenCV库扩展，它可以用于视频&音频解码、编码以及处理。

FFmpeg是一个开放源代码的跨平台多媒体解决方案。它可以解码、转换、编码几乎所有流行的多媒体格式。OpenCV是一个非常流行的计算机视觉和机器学习库。将两个库结合在一起，让我们能够处理视频和音频，并进行各种操作。

下面是一个用OpenCVFFmpeg库解码视频的简单示例：

#include 
#include 

int main()
{
    cv::VideoCapture cap;
    if (!cap.open("video.mp4", cv::CAP_FFMPEG))
      return 0;

    cv::Mat frame;
    for (;;)
    {
        cap >> frame;
        if (frame.empty())
            break;
        cv::imshow("Frame", frame);
        cv::waitKey(1);
    }

    return 0;
}

通过上面的示例代码，我们可以快速地建立一个简单地视频解码工具。

二、OpenCVFFmpeg RTMP 推流

OpenCVFFmpeg库也可以用来推流，这对于我们需要实时流传输应用程序非常有用。下面是一个用OpenCVFFmpeg库来将本地视频流推送到远程服务器的简单示例：

#include 

int main()
{
  cv::CascadeClassifier face_cascade;
  face_cascade.load( "haarcascade_frontalface_alt.xml" );

  cv::VideoCapture capture;
  capture.open(0);

  cv::Mat frame;
  cv::Size out_size(480, 640);

  cv::VideoWriter writer;
  writer.open("rtmp://localhost:1935/live/test", cv::CAP_FFMPEG,
              cv::VideoWriter::fourcc('F', 'L', 'V', '1'), 25.0, out_size, true);

  for (;;) {
    capture >> frame;
    if (frame.empty()) break;

    cv::Mat gray_frame;
    cv::cvtColor(frame, gray_frame, cv::COLOR_BGR2GRAY);

    std::vector faces;
    face_cascade.detectMultiScale(gray_frame, faces, 1.3, 4);

    for (const auto& face : faces) {
      cv::rectangle(frame, face, cv::Scalar(0, 0, 255), 3);
    }

    writer.write(frame);
  }

  return 0;
}

上面的示例代码展示了如何使用OpenCVFFmpeg库来捕获视频帧并将其推送到服务器。

三、OpenCVFFmpeg 视频编码

OpenCVFFmpeg库还可以用于编码视频。

下面是一个用OpenCVFFmpeg库将图像序列转换为视频的简单示例：

#include 

int main()
{
    cv::Mat frame;

    int fps = 30;
    int fourcc = cv::VideoWriter::fourcc('X', '2', '6', '4');
    int width = 1280, height = 720;
    cv::VideoWriter writer("output.mp4", cv::CAP_FFMPEG, fourcc, fps, cv::Size(width, height), true);

    for (int i = 0; i < 300; i++)
    {
        frame.create(height, width, CV_8UC3);
        cv::randu(frame, cv::Scalar(0, 0, 0), cv::Scalar(255, 255, 255));
        writer.write(frame);
    }

    return 0;
}

在上面的示例中，我们先使用cv::VideoWriter创建一个视频输出文件，并通过cv::randu生成随机颜色的图像帧。再使用writer.write将帧写入文件。

四、OpenCVFFmpeg 音频解码

OpenCVFFmpeg库还可以用于音频处理，下面是一个简单的示例，可以从音频文件中提取信息：

#include 

int main()
{
    cv::VideoCapture cap;
    cap.open("audio.mp3", cv::CAP_FFMPEG);

    while (true)
    {
        cv::Mat frame;
        cap >> frame;
        if (frame.empty()) break;

        if (frame.rows >= 3 * cap.get(cv::CAP_PROP_FRAME_HEIGHT) / 4)
        {
            int sample_rate = (int)cap.get(cv::CAP_PROP_FPS);
            int channels = frame.channels();
            int bytes_per_sample =
                static_cast(frame.elemSize() / frame.channels());
            int num_samples = cap.get(cv::CAP_PROP_FRAME_WIDTH);
            int num_total_samples = num_samples * channels;

            int num_channels = 2;
            int bytes_per_channel = bytes_per_sample;

            std::vector audio_data(num_total_samples);
            int pos = 0;
            for (int i = 0; i < num_total_samples; i++)
            {
                audio_data[i] = frame.at(0, i);
            }

            // write to file or process audio_data here.
        }
    }

    return 0;
}

在上面的示例中，我们首先从音频文件中获取音频帧，然后根据返回的结果计算每个音频帧中的样本数、采样率和声道数。然后我们将音频数据保存到vector中，可以将音频数据保存在文件中或进行其他处理。