Library_Project/demo/VideoPlayerLibrary/VideoPlayer/DecodeVedio.cpp

#include "DecodeVedio.h"
#include "FrameFormat.h"
#include "spdlog/spdlog.h"

#include <QThread>

extern "C"
{
// #include <libavcodec/avcodec.h>
// #include <libavformat/avformat.h>
#include <libswscale/swscale.h>
#include <libavutil/imgutils.h>
}

#include "OpenGLWidgetAPI.h"


/*=================================================================================================
* @brief  FFmpeg获取GPU硬件解码帧格式的回调函数
===================================================================================================*/
static enum AVPixelFormat g_hw_pix_fmt;

/**
 * @brief 回调函数，获取GPU硬件解码帧的格式
 * 
 * @param ctx 
 * @param pix_fmts 
 * @return AVPixelFormat 
 */
AVPixelFormat get_hw_format(AVCodecContext *ctx, const AVPixelFormat *pix_fmts)
{
    Q_UNUSED(ctx)
    const AVPixelFormat* p;
    for(p = pix_fmts; *p != -1; p++)
    {
        if(*p == g_hw_pix_fmt)
        {
            return *p;
        }
    }
    SPDLOG_WARN("无法获取硬件解码器表面格式。");
    return AV_PIX_FMT_NONE;
}


/**
 * @brief Construct a new Decode Vedio:: Decode Vedio object
 * 
 * @param thread 
 * @param parent 
 */
DecodeVedio::DecodeVedio(QThread* thread, QObject* parent) : QObject(parent) , m_thread(thread)
{
    /* 在连接之前调用，移动到新的线程 */
    this->moveToThread(thread);
    connect(this, &DecodeVedio::signal_startDecode, this, &DecodeVedio::do_startDecodeVedio);
    thread->start();
    findHWDecoder();
    // if(m_supportHWDecoder)
    // {
    //     SPDLOG_DEBUG("支持的硬件解码器:");
    //     for(auto it : m_listDecoderName)
    //     {
    //         SPDLOG_DEBUG("{}", it.toStdString());
    //     }
    // }else {
    //     SPDLOG_WARN("未找到可用的硬件解码器。");
    // }
}

DecodeVedio::~DecodeVedio()
{
    stopDecodeVedio();
    if(m_thread != nullptr)
    {
        if(m_thread->isRunning())
        {
            m_thread->quit();
            m_thread->wait();
        }
    }

}



/* 开始解码视频 */
void DecodeVedio::startDecodeVedio()
{
    if(m_threadRuning)
    {
        return;
    }
    if(!m_initFFmpeg)
    {
        SPDLOG_WARN("未初始化FFMPEG...");
        return;
    }
    m_threadRuning = true;
    // decodeUsingCPU();
    /* 发送信号，开启新线程 */
    emit signal_startDecode();
}

/* 停止解码视频，退出工作函数，线程未停止 */
void DecodeVedio::stopDecodeVedio()
{
    if(!m_threadRuning)
    {
        return;
    }
    exitThread();

    /* 唤醒阻塞住的解码线程 */
    // /* 等待线程执行结束 */
    while(m_decodeState.load() != DecodeState::DecodeExit)
    {
        std::this_thread::sleep_for(std::chrono::milliseconds(5));
    }
    freeAll();
    m_threadRuning = false;
}

/**
 * @brief 设置当前播放位置，单位是毫秒
 *        这里需要去掉队列中已有的图片数目对应的时长
 * 
 * @param pos 要跳转的位置，范围从0～duration
 */
void DecodeVedio::setCurrentPos(qint64 pos)
{
    if(!m_threadRuning)
    {
        return;
    }
    m_isSeek = true;
    /* 先暂停解码 */
    pauseDecode();
    
    SPDLOG_DEBUG("跳转到:{}ms",pos);
    /*在环形队列中有已解码的视频帧数，需要去掉已有的帧数所占的时间 */
    pos = pos - m_queueFrame.QueueSize() * (1000 / m_fps);
    if(pos < 0) {
        pos = 0;
    }
    if(pos > m_duration) {
        pos = m_duration;
    }
    pos = pos + m_startPos;
    qint64 targetPos = qRound64((double)pos / (1000 * rationalToDouble(&m_pFormatContext->streams[m_videoStream]->time_base)));
    /* 开始跳转，这里设置标志为AVSEEK_FLAG_BACKWARD，跳转到目标位置的前一个关键帧中，然后开始解码，直到到达目标位置为止 */
    int ret = av_seek_frame(m_pFormatContext, m_videoStream, targetPos, AVSEEK_FLAG_BACKWARD);
    if(ret < 0)
    {
        SPDLOG_ERROR("跳转失败！");
    }
    m_targetPos = pos;
    /* 刷新解码器缓冲区 */
    m_flushDecoder.store(true);
    /* 清空环形队列中的视频 */
    SPDLOG_DEBUG("清空环形队列中的视频。");
    clearQueueFrame();
    
    /* 继续解码 */
    continueDecode();
}

/* 获取当前播放位置，单位ms */
qint64 DecodeVedio::getCurrentPos()
{
    return m_pts.load() - m_startPos;
}

/* 获取视频时长 */
qint64 DecodeVedio::getDuration()
{
    return m_duration;
}

/**
 * @brief 获取一帧图像，队列为空就返回nullptr，这个函数应该是运行在UI线程中的
 * @warning 传出这个指针后，队列就出队了，内存需要外面获取的实例释放
 * @return QImage* 一帧图像的指针
 */
FrameBase* DecodeVedio::getOneImage()
{
    if(!m_threadRuning)
    {
        return nullptr;
    }
    // FrameBase* frame = nullptr;
    // if(!m_queueFrame.front_pop_noBlock(frame))
    // {
    //     return nullptr;
    // }
    return m_queueFrame.front_pop_noBlock();
}

/**
 * @brief 获取一帧图像，直到有图像为止
 * 
 * @param timeOut 设为-1是一直等待，设置正整数是等待的时间，单位ms
 * @return QImage* 
 */
FrameBase* DecodeVedio::getOneImageUntilHave(int timeOut)
{
    if(!m_threadRuning)
    {
        return nullptr;
    }
    if(timeOut < 0)
    {
        auto frame = m_queueFrame.front_pop();
        return frame;
    }
    FrameBase* frame = nullptr;
    for(int i = 0; i < timeOut; i++)
    {
        if(m_queueFrame.front_pop_noBlock(frame))
        {
            return frame;
        }
        std::this_thread::sleep_for(std::chrono::milliseconds(1));
    }
    return nullptr;
}


/* 查找硬件解码器 */
void DecodeVedio::findHWDecoder(QStringList& listDecoderName)
{
    AVHWDeviceType type = AV_HWDEVICE_TYPE_NONE;
    listDecoderName.clear();
    while( (type = av_hwdevice_iterate_types(type)) != AV_HWDEVICE_TYPE_NONE)
    {
        /* 获取硬件解码器的名称 */
        const char* typeName = av_hwdevice_get_type_name(type);
        if(typeName)
        {
            listDecoderName.append(QString(typeName));
        }
    }
}

/* 清空环形队列 */
void DecodeVedio::clearQueueFrame()
{
    while(m_queueFrame.QueueSize() > 0)
    {
        FrameBase* frame = nullptr;
        m_queueFrame.front_pop_noBlock(frame);
        deleteOneFrame(frame);
    }
    
}

/* 删除一个图片 */
void DecodeVedio::deleteOneImage()
{
    if(m_queueFrame.QueueSize() > 0)
    {
        auto frame = m_queueFrame.front_pop_noBlock();
        deleteOneFrame(frame);
    }
}


/* 获取硬件解码器 */
void DecodeVedio::findHWDecoder()
{
    AVHWDeviceType type = AV_HWDEVICE_TYPE_NONE;
    // QStringList strTypes;
    m_listDecoderName.clear();
    while( (type = av_hwdevice_iterate_types(type)) != AV_HWDEVICE_TYPE_NONE)
    {
        m_listHWDeviceType.append(type);
        /* 获取硬件解码器的名称 */
        const char* typeName = av_hwdevice_get_type_name(type);
        if(typeName)
        {
            m_listDecoderName.append(QString(typeName));
        }
    }
    if(m_listHWDeviceType.isEmpty())
    {
        m_supportHWDecoder = false;
    }else {
        m_supportHWDecoder = true;
    }

    m_supportHWDecoder = false;
}



/* 初始化硬件解码器 */
void DecodeVedio::initHWDecoder(const AVCodec* codec)
{
    if(codec == nullptr)
    {
        return;
    }
    for(int i = 0;;i++)
    {
        /* 获取编解码器支持的硬件配置 */
        const AVCodecHWConfig* hwConfig = avcodec_get_hw_config(codec, 0);
        if(hwConfig == nullptr)
        {
            SPDLOG_WARN("没有找到支持{}的硬件配置", codec->name);
            return;
        }
        /* 判断是否是设备类型 */
        if(hwConfig->methods & AV_CODEC_HW_CONFIG_METHOD_HW_DEVICE_CTX)
        {
            /* 在已有的解码器列表中查找 */
            for(auto i : m_listHWDeviceType)
            {
                if(hwConfig->device_type == AVHWDeviceType(i))
                {
                    /* 获取像素格式 */
                    g_hw_pix_fmt = hwConfig->pix_fmt;

                    /* 打开指定类型的设备，并为其创建AVHWDeviceContext */
                    int ret = av_hwdevice_ctx_create(&m_hw_device_ctx, hwConfig->device_type, nullptr, nullptr, 0);
                    if(ret < 0)
                    {
                        SPDLOG_ERROR("打开硬件解码器失败！");
                        return;
                    }
                    SPDLOG_INFO("打开硬件解码器：{}", av_hwdevice_get_type_name(hwConfig->device_type));
                    m_pCodecContext->hw_device_ctx = av_buffer_ref(m_hw_device_ctx);
                    m_pCodecContext->get_format = get_hw_format;
                    return;
                }
            }
        }
    }
    
}


/* 拷贝数据，从GPU显存拷贝到内存中 */
bool DecodeVedio::copyDataFromGPU(AVFrame* pFrameHW, AVFrame* pFrameSRC)
{
    if(m_pFrameSRC->format != g_hw_pix_fmt)
    {
        av_frame_unref(m_pFrameSRC);
        return false;
    }
    /* 这一步可能会耗费较长时间 */
    int ret = av_hwframe_transfer_data(pFrameHW, pFrameSRC, 0);
    if(ret < 0)
    {
        SPDLOG_ERROR("从GPU拷贝数据失败！");
        av_frame_unref(pFrameSRC);
        return false;
    }
    av_frame_copy_props(pFrameHW, pFrameSRC);
    return true;
}


/* 打开视频，同时初始化解码器） */
bool DecodeVedio::openVedio(const QString& fileName)
{
    if(fileName.isEmpty())
    {
        SPDLOG_WARN("文件名为空...");
        return false;
    }
    m_fileName = fileName;
    if(m_initFFmpeg)
    {
        freeAll();
    }

    /* 清空队列 */
    clearQueueFrame();
    m_queueFrame.setQueueCapacity(30);
    m_queueFrame.setDefaultValue(nullptr);

    SPDLOG_DEBUG("开始初始化FFMPEG");
    /* 设置网络缓冲区大小和错误恢复选项 */
    AVDictionary *options = nullptr;
    /* 设置接收缓冲区 */
    av_dict_set(&options, "buffer_size", "1024000", 0);
    /* 设置最大复用或解复用延迟（以微秒为单位）。当通过【UDP】 接收数据时，解复用器尝试重新排序接收到的数据包
     * （因为它们可能无序到达，或者数据包可能完全丢失）。这可以通过将最大解复用延迟设置为零
     * （通过max_delayAVFormatContext 字段）来禁用。 */
    av_dict_set(&options, "max_delay", "500000", 0);
    /* 设置rtsp流使用tcp打开，如果打开失败错误信息为【Error number -135 occurred】可以切换（UDP、tcp、udp_multicast、http），比如vlc推流就需要使用udp打开 */
    av_dict_set(&options, "rtsp_transport", "tcp", 0);
    /* 以微秒为单位设置套接字 TCP I/O 超时，如果等待时间过短，也可能会还没连接就返回了。 */
    av_dict_set(&options, "stimeout", "20000000", 0);

    /************ 存储文件格式信息 ************/
    /* 打开文件，读取视频文件的头信息，放在第一个参数的结构体中 */
    int ret = avformat_open_input(  &m_pFormatContext,                  /* 解封装上下文 */
                                    m_fileName.toStdString().data(),    /* 打开视频地址 */
                                    nullptr,                            /* 这个参数强制使用特定的输入格式，可以设置为null */
                                    &options);                             /* 参数设置 */
    if(ret != 0)
    {
        SPDLOG_WARN("打开视频文件错误，错误代码:{}",ret);
        printErrorStr(ret);
        freeAll();
        return false;
    }
    /* 释放参数 */
    if(options != nullptr)
    {
        av_dict_free(&options);
    }

    /************ 找到视频流 ************/
    /* 检查视频容器内部的流信息，将所有流存储到了pFormatContext->streams中
     * 查找到视频流，并获取视频时长相关的信息 */
    ret = 0;
    ret = avformat_find_stream_info(m_pFormatContext, nullptr);
    if(ret < 0)
    {
        SPDLOG_WARN("获取视频流错误，错误代码:{}",ret);
        printErrorStr(ret);
        freeAll();
        return false;
    }
    m_duration = m_pFormatContext->duration / (AV_TIME_BASE / 1000);  /* 获取视频时长，单位是毫秒 */
    m_startPos = m_pFormatContext->start_time / (AV_TIME_BASE / 1000);  /* 获取视频开始时间，单位是毫秒 */
    // SPDLOG_DEBUG("开始时间:{} 时长:{}",m_startPos, m_duration);
    
    /* 一个调试函数，将流信息输出到控制台 */
    av_dump_format(m_pFormatContext, 0, m_fileName.toStdString().c_str(), 0);

    /* 找到视频流 */
    m_videoStream = av_find_best_stream(m_pFormatContext, AVMEDIA_TYPE_VIDEO, -1, -1, nullptr, 0);
    if(m_videoStream < 0)
    {
        SPDLOG_WARN("没有找到视频流");
        freeAll();
        return false;
    }
    SPDLOG_DEBUG("找到视频流");
    /* 获取视频流的编解码信息，主要是分辨率等信息 */
    AVStream *pStream = m_pFormatContext->streams[m_videoStream];   /* 获取视频流 */
    AVCodecParameters* pCodecParams = pStream->codecpar;            /* 获取视频流的编解码信息 */
    SPDLOG_DEBUG("获取视频流参数成功!");
    /* 获取视频相关信息 */
    m_srcSize.setWidth(pCodecParams->width);
    m_srcSize.setHeight(pCodecParams->height);
    m_fps = rationalToDouble(&pStream->avg_frame_rate);
    m_totalFrame = m_pFormatContext->streams[m_videoStream]->nb_frames;
    m_pts.store(0);

    /************ 查找并设置解码器 ************/
    /* 找到解码器 */
    const AVCodec* pCodec = avcodec_find_decoder(pCodecParams->codec_id);
    if(pCodec == nullptr)
    {
        SPDLOG_WARN("没有找到解码器");
        freeAll();
        return false;
    }
    m_decoderName = pCodec->name;
    // SPDLOG_INFO("找到解码器:{}",pCodec->name);
    /* 获取视频信息的上下文，先分配空间，后面记得释放空间 */
    m_pCodecContext = avcodec_alloc_context3(pCodec);
    /* 将视频流中的编码器参数拷贝下来，这个函数不是线程安全的 */
    if(avcodec_parameters_to_context(m_pCodecContext, pCodecParams) != 0)
    {
        SPDLOG_WARN("复制上下文错误");
        freeAll();
        return false;
    }
    SPDLOG_DEBUG("设置解码器参数成功!");
    // m_pCodecContext->flags2 |= AV_CODEC_FLAG2_FAST;  /* 使用快速解码（允许使用不符合规范的解码） */
    m_pCodecContext->thread_count = 8;      /* 使用8线程解码 */

    /* 初始化硬件解码器 */
    if(m_supportHWDecoder)
    {
        initHWDecoder(pCodec);
    }

    /* 打开解码器，（初始化解码器上下文，如果调用了avcodec_alloc_context3，第二个参数可以设置为nullptr） */
    if(avcodec_open2(m_pCodecContext, nullptr, nullptr) < 0)
    {
        SPDLOG_ERROR("打开解码器错误");
        freeAll();
        return false;
    }
    SPDLOG_DEBUG("打开解码器成功!");

    /************ 初始化数据包 ************/
    m_packet = av_packet_alloc();
    av_new_packet(m_packet, m_pCodecContext->width * m_pCodecContext->height);

    /* 创建两个pFrame，一个存放原始数据，一个存放转换后的RGB数据 */
    m_pFrameSRC = av_frame_alloc();
    if(m_pFrameSRC == nullptr)
    {
        SPDLOG_ERROR("创建pFrame错误");
        freeAll();
        return false;
    }
    // m_pFrameRGB = av_frame_alloc();
    // if(m_pFrameRGB == nullptr)
    // {
    //     SPDLOG_ERROR("创建pFrameRGB错误");
    //     freeAll();
    //     return;
    // }
    m_pFrameHW = av_frame_alloc();
    if(m_pFrameHW == nullptr)
    {
        SPDLOG_ERROR("创建pFrameHW错误");
        freeAll();
        return false;
    }

    if(m_buffer != nullptr)
    {
        av_free(m_buffer);
        m_buffer = nullptr;
    }
    
    /* 分配图像空间 */
    int numBytes = av_image_get_buffer_size(AV_PIX_FMT_RGBA, m_pCodecContext->width, m_pCodecContext->height, 1);
    /* 这里多分配了一些空间，防止某些视频图像在使用sws_scale()拷贝后超出数组长度 */
    m_buffer = (uint8_t *)av_malloc(numBytes + 1000);

    m_initFFmpeg = true;
    SPDLOG_INFO("FFMPEG初始化完成!");
    // SPDLOG_INFO("视频宽度:{} 高度:{} 帧率:{} 总时长:{} 总帧数:{}",m_srcSize.width(), m_srcSize.height(), m_fps, m_duration, m_totalFrame);
    /* 再次判断帧数是否正常，如果没读取到，就使用 总帧数 / 时长 */
    if(m_fps == 0)
    {
        if((m_duration > 0) && (m_totalFrame > 0))
        {
            m_fps = m_totalFrame / (m_duration / 1000.0);
        }
        /* 到这一步，无法确定帧数了，就按照25帧来计算了 */
        if(m_fps == 0)
        {
            m_fps = 25;
        }
    }

    return true;
}


/**
 * @brief 软解码线程，使用CPU解码，使用环境队列存储解码的数据
 * 
 */
void DecodeVedio::threadDecodeUsingCPU()
{
    /******** 初始化局部变量 ********/
    bool isEnd = false;
    // int ret = 0;
    // int retFrame = 0;
    // int retPacket = 0;
    m_pauseDecode = false;
    m_decodeStatus = true;
    m_decodeState.store(DecodeState::DecodeRun);

    /* 开始解码 */
    SPDLOG_DEBUG("开始解码...");
    while(m_threadRuning)
    {
        /******** 判断是否在暂停状态 ********/
        while(m_pauseDecode)
        {
            m_decodeState.store(DecodeState::DecodePause);
            std::this_thread::sleep_for(std::chrono::microseconds(100));
        }
        m_decodeState.store(DecodeState::DecodeRun);
        /* 刷新解码器缓冲区，清除掉里面残留的解码文件 */
        if(m_flushDecoder.load())
        {
            avcodec_flush_buffers(m_pCodecContext);
            m_flushDecoder.store(false);
        }
        /******** 读取数据包 av_read_frame ********/
        int retRead = av_read_frame(m_pFormatContext, m_packet);
        if(retRead == AVERROR_EOF)
        {
            /* 读取到末尾后，需要传入一个空的packet，才能读取到最后几帧 */
            avcodec_send_packet(m_pCodecContext, m_packet);
        }
        else if(retRead < 0)
        {
            SPDLOG_ERROR("读取帧错误...");
            break;
        }
        else
        {
            if(m_packet->stream_index == m_videoStream)
            {
                // SPDLOG_DEBUG("源pts:{}", m_packet->pts);
                /*  pts 表示显示时间戳（Presentation Timestamp），它指示解码后的帧应该在什么时候显示。pts 是用于同步音视频的关键时间戳。
                    dts 表示解码时间戳（Decoding Timestamp），它指示解码器应该在什么时候解码这个数据包。dts 用于确保解码器按照正确的顺序解码数据包。 */
            #if 1
                /* 计算当前帧时间，两种方法，第一种适用于所有场景，但是存在一定的误差 */
                m_packet->pts = qRound64(m_packet->pts * (1000 * rationalToDouble(&m_pFormatContext->streams[m_videoStream]->time_base)));
                m_packet->dts = qRound64(m_packet->dts * (1000 * rationalToDouble(&m_pFormatContext->streams[m_videoStream]->time_base)));
            #else
                /* 适用于本地视频，直接计算本地视频文件的每一帧时间 */
                m_currentFrame++;
                // m_packet->pts = qRound64(m_currentFrame * (qreal(m_duration) / m_totalFrame));
            #endif
                
                /* 将数据传给解码器 */
                int ret = avcodec_send_packet(m_pCodecContext, m_packet);
                if(ret < 0)
                {
                    SPDLOG_ERROR("发送数据包错误...");
                    av_packet_unref(m_packet);
                    continue;
                }
            }else {
                // SPDLOG_INFO("不是视频流。");
                av_packet_unref(m_packet);
                continue;
            }
        }

        // SPDLOG_DEBUG("读取到数据包packet，pts:{}",m_packet->pts);
        /* 解码packet包的内容，一个packet包内可能包含好多帧视频 */
        while(m_threadRuning)
        {
            /* 读取出解码器返回的帧 avcodec_receive_frame */
            int ret = avcodec_receive_frame(m_pCodecContext, m_pFrameSRC);
            if(ret == AVERROR_EOF)
            {
                SPDLOG_INFO("读取到视频流末尾。");
                isEnd = true;
                break;
            }
            else if (ret == AVERROR(EAGAIN))
            {
                /* packet中的内容无法解码成一帧，需要更多的输入包，可能已经取出了几帧，也肯能就不够一帧
                 * 这时候就需要往解码器送数据包了 */
                // SPDLOG_WARN("packet无法解码成一帧，需要更多的输入包");
                av_frame_unref(m_pFrameSRC);
                break;
            }
            else if(ret < 0)
            {
                av_frame_unref(m_pFrameSRC);
                if(retRead < 0)
                {
                    SPDLOG_ERROR("读取错误，错误值:{}",ret);
                    break;
                }
            }
            /* 解码成功，获取当前时间，现在已经是准的时间了
             * 如果在跳转状态，在这里判断是否到了目标位置 */
            m_pts = m_pFrameSRC->pts;
            if(m_isSeek.load())
            {
                if(m_pts < m_targetPos)
                {
                    SPDLOG_DEBUG("目标位置:{} 当前位置:{}",m_targetPos, m_pts.load());
                    av_frame_unref(m_pFrameSRC);
                    continue;
                }else {
                    m_isSeek = false;
                    m_targetPos = -1;
                    SPDLOG_INFO("跳转结束。");
                }
            }
            // SPDLOG_DEBUG("当前帧的pts:{}", m_pts.load());

            // /* 转换解码后的帧格式，转换成RGBA格式，Qt可以识别 */
            // if(m_sws_ctx == nullptr)
            // {
            //     /* 选择在这里创建，为了兼容硬件解码，硬件解码出来的格式可能和解码器传出的不一样 */
            //     m_sws_ctx = sws_getCachedContext(m_sws_ctx, 
            //                                     m_pFrameSRC->width, m_pFrameSRC->height,    /* 原图像大小和格式 */
            //                                     m_pCodecContext->pix_fmt,                   /* 输入图像的像素格式 */
            //                                     m_srcSize.width(), m_srcSize.height(),      /* 目标图像的大小 */
            //                                     AV_PIX_FMT_RGBA,                            /* 目标图像的格式 */
            //                                     SWS_BILINEAR,                               /* 图像缩放算法，双线性 */
            //                                     nullptr,                                    /* 输入图像的滤波器信息，不需要传NULL */
            //                                     nullptr,                                    /* 输出图像的滤波器信息，不需要传NULL */
            //                                     nullptr);                                   /* 特定缩放算法需要的参数，不需要传NULL */
            //     if(m_sws_ctx == nullptr)
            //     {
            //         SPDLOG_ERROR("创建SwsContext错误...");
            //         goto label_ThreadDecodeExit;
            //     }
            //     SPDLOG_INFO("创建SwsContext成功...");
            // }
            // /* 转换成RGBA格式 */
            // // uint8_t* data[1] = { m_buffer };
            // int lines[4];
            // /* 使用像素格式pix_fmt和宽度填充图像的平面线条的大小（一行大小？） */
            // av_image_fill_linesizes(lines, AV_PIX_FMT_RGBA, m_pFrameSRC->width);

            // sws_scale(  m_sws_ctx,              /* 转换上下文 */
            //             m_pFrameSRC->data,      /* 源图像数据指针数组 */
            //             m_pFrameSRC->linesize,  /* 源图像每行字节数数组 */
            //             0,                      /* 源图像起始行（通常为0） */
            //             m_pFrameSRC->height,    /* 处理的行数（通常为图像高度） */
            //             &m_buffer,              /* 目标图像数据指针数组（packed格式只用[0]) */
            //             lines);                 /* 目标图像每行字节数数组 */
            // if(m_buffer != nullptr)
            // {
            //     /* 将数据拷贝到QImage中 */
            //     auto image = new QImage(m_buffer, m_srcSize.width(), m_srcSize.height(), QImage::Format_RGBA8888);
            //     /* 如果队列满，线程会阻塞在这里 */
            //     m_queueRGBA.push(image);
            //     // av_frame_unref(m_pFrameRGB);
            //     // SPDLOG_DEBUG("一帧视频入队");
            // }

            /* 对生成的图像进行格式转换，并添加到环形队列中 */
            convertImageFormatAndPushToQueue(m_pFrameSRC);

            av_frame_unref(m_pFrameSRC);
            /* 如果在跳转过程中，直接退出，防止一个packet中有多个视频帧，再次阻塞在上面 */
            if(m_isSeek)
            {
                break;
            }
        }
        av_packet_unref(m_packet);    /* 释放数据包，引用计数-1，为0时释放空间 */
        if(isEnd)
        {
            emit signal_playCompleted();
            m_decodeState.store(DecodeState::DecodeStop);
            /* 读取到结尾，但是不退出解码线程，可能还会使用倒退功能，后退读取 */
            while(m_decodeState.load() != DecodeState::DecodeRun)
            {
                std::this_thread::sleep_for(std::chrono::milliseconds(2));
            }
            isEnd = false;
        }
    }
label_ThreadDecodeExit:
    /* 释放空间 */
    av_packet_free(&m_packet);
    m_decodeState.store(DecodeState::DecodeExit);
    m_threadRuning = false;
}

/* 退出线程，将所有可能暂停线程运行的条件全部唤醒 */
void DecodeVedio::exitThread()
{
    if(m_threadRuning)
    {
        m_threadRuning = false;
    }
    /* 设置成运行状态，唤醒可能阻塞在了解码结束的位置 */
    m_decodeState.store(DecodeState::DecodeRun);
    m_pauseDecode = false;
    /* 先退出可能阻塞住的解码线程 */
    m_queueFrame.exit();
}

/**
 * @brief 硬件解码线程，使用GPU解码，使用环境队列存储解码的数据
 * 
 */
void DecodeVedio::threadDecodeUsingGPU()
{
    /******** 初始化局部变量 ********/
    bool isEnd = false;
    // int ret = 0;
    // int retFrame = 0;
    // int retPacket = 0;
    m_pauseDecode = false;
    m_decodeStatus = true;
    m_decodeState.store(DecodeState::DecodeRun);

    /* 开始解码 */
    SPDLOG_DEBUG("开始解码...");
    while(m_threadRuning)
    {
        /******** 判断是否在暂停状态 ********/
        while(m_pauseDecode)
        {
            m_decodeState.store(DecodeState::DecodePause);
            std::this_thread::sleep_for(std::chrono::microseconds(100));
        }
        m_decodeState.store(DecodeState::DecodeRun);
        /* 刷新解码器缓冲区，清除掉里面残留的解码文件 */
        if(m_flushDecoder.load())
        {
            avcodec_flush_buffers(m_pCodecContext);
            m_flushDecoder.store(false);
        }
        /******** 读取数据包 av_read_frame ********/
        int retRead = av_read_frame(m_pFormatContext, m_packet);
        if(retRead == AVERROR_EOF)
        {
            /* 读取到末尾后，需要传入一个空的packet，才能读取到最后几帧 */
            avcodec_send_packet(m_pCodecContext, m_packet);
        }
        else if(retRead < 0)
        {
            SPDLOG_ERROR("读取帧错误...");
            break;
        }
        else
        {
            if(m_packet->stream_index == m_videoStream)
            {
                // SPDLOG_DEBUG("源pts:{}", m_packet->pts);
                /*  pts 表示显示时间戳（Presentation Timestamp），它指示解码后的帧应该在什么时候显示。pts 是用于同步音视频的关键时间戳。
                    dts 表示解码时间戳（Decoding Timestamp），它指示解码器应该在什么时候解码这个数据包。dts 用于确保解码器按照正确的顺序解码数据包。 */
            #if 1
                /* 计算当前帧时间，两种方法，第一种适用于所有场景，但是存在一定的误差 */
                m_packet->pts = qRound64(m_packet->pts * (1000 * rationalToDouble(&m_pFormatContext->streams[m_videoStream]->time_base)));
                m_packet->dts = qRound64(m_packet->dts * (1000 * rationalToDouble(&m_pFormatContext->streams[m_videoStream]->time_base)));
            #else
                /* 适用于本地视频，直接计算本地视频文件的每一帧时间 */
                m_currentFrame++;
                // m_packet->pts = qRound64(m_currentFrame * (qreal(m_duration) / m_totalFrame));
            #endif
                
                /* 将数据传给解码器 */
                int ret = avcodec_send_packet(m_pCodecContext, m_packet);
                if(ret < 0)
                {
                    SPDLOG_ERROR("发送数据包错误...");
                    av_packet_unref(m_packet);
                    continue;
                }
            }else {
                // SPDLOG_INFO("不是视频流。");
                av_packet_unref(m_packet);
                continue;
            }
        }

        // SPDLOG_DEBUG("读取到数据包packet，pts:{}",m_packet->pts);
        /* 解码packet包的内容，一个packet包内可能包含好多帧视频 */
        while(m_threadRuning)
        {
            /* 读取出解码器返回的帧 avcodec_receive_frame */
            int ret = avcodec_receive_frame(m_pCodecContext, m_pFrameSRC);
            if(ret == AVERROR_EOF)
            {
                SPDLOG_INFO("读取到视频流末尾。");
                isEnd = true;
                break;
            }
            else if (ret == AVERROR(EAGAIN))
            {
                /* packet中的内容无法解码成一帧，需要更多的输入包，可能已经取出了几帧，也肯能就不够一帧
                 * 这时候就需要往解码器送数据包了 */
                // SPDLOG_WARN("packet无法解码成一帧，需要更多的输入包");
                av_frame_unref(m_pFrameSRC);
                break;
            }
            else if(ret < 0)
            {
                av_frame_unref(m_pFrameSRC);
                if(retRead < 0)
                {
                    SPDLOG_ERROR("读取错误，错误值:{}",ret);
                    break;
                }
            }
            
            /* 硬件解码，上面读取到的帧m_pFrameSRC->data[0] = nullptr
             * 数据要从GPU中拷贝出来 */
            if(!copyDataFromGPU(m_pFrameHW, m_pFrameSRC))
            {
                continue;
            }

            /* 解码成功，获取当前时间，现在已经是准的时间了
             * 如果在跳转状态，在这里判断是否到了目标位置 */
            m_pts = m_pFrameHW->pts;
            if(m_isSeek.load())
            {
                if(m_pts < m_targetPos)
                {
                    SPDLOG_DEBUG("目标位置:{} 当前位置:{}",m_targetPos, m_pts.load());
                    av_frame_unref(m_pFrameHW);
                    continue;
                }else {
                    m_isSeek = false;
                    m_targetPos = -1;
                    SPDLOG_INFO("跳转结束。");
                }
            }
            // SPDLOG_DEBUG("当前帧的pts:{}", m_pts.load());

            /* 转换解码后的帧格式，转换成RGBA格式，Qt可以识别 */
            // if(m_sws_ctx == nullptr)
            // {
            //     /* 选择在这里创建，为了兼容硬件解码，硬件解码出来的格式可能和解码器传出的不一样 */
            //     m_sws_ctx = sws_getCachedContext(m_sws_ctx, 
            //                                     m_pFrameHW->width, m_pFrameHW->height,    /* 原图像大小和格式 */
            //                                     m_pCodecContext->pix_fmt,                   /* 输入图像的像素格式 */
            //                                     m_srcSize.width(), m_srcSize.height(),      /* 目标图像的大小 */
            //                                     AV_PIX_FMT_RGBA,                            /* 目标图像的格式 */
            //                                     SWS_BILINEAR,                               /* 图像缩放算法，双线性 */
            //                                     nullptr,                                    /* 输入图像的滤波器信息，不需要传NULL */
            //                                     nullptr,                                    /* 输出图像的滤波器信息，不需要传NULL */
            //                                     nullptr);                                   /* 特定缩放算法需要的参数，不需要传NULL */
            //     if(m_sws_ctx == nullptr)
            //     {
            //         SPDLOG_ERROR("创建SwsContext错误...");
            //         goto label_ThreadDecodeExit;
            //     }
            //     SPDLOG_INFO("创建SwsContext成功...");
            // }
            // /* 转换成RGBA格式 */
            // // uint8_t* data[1] = { m_buffer };
            // int lines[4];
            // /* 使用像素格式pix_fmt和宽度填充图像的平面线条的大小（一行大小？） */
            // av_image_fill_linesizes(lines, AV_PIX_FMT_RGBA, m_pFrameHW->width);

            // sws_scale(  m_sws_ctx,              /* 缩放的上下文 */
            //             m_pFrameHW->data,      /* 源图像数组 */
            //             m_pFrameHW->linesize,  /* 包含源图像每个平面步幅的数组 */
            //             0,                      /* 开始位置 */
            //             m_pFrameHW->height,    /* 行数 */
            //             &m_buffer,                   /* 目标图像数组 */
            //             lines); /* 目标图像行数 */
            // if(m_buffer != nullptr)
            // {
            //     /* 将数据拷贝到QImage中 */
            //     auto image = new QImage(m_buffer, m_srcSize.width(), m_srcSize.height(), QImage::Format_RGBA8888);
            //     /* 如果队列满，线程会阻塞在这里 */
            //     m_queueRGBA.push(image);
            //     // av_frame_unref(m_pFrameRGB);
            //     // SPDLOG_DEBUG("一帧视频入队");
            // }
            convertImageFormatAndPushToQueue(m_pFrameHW);

            av_frame_unref(m_pFrameSRC);
            /* 如果在跳转过程中，直接退出，防止一个packet中有多个视频帧，再次阻塞在上面 */
            if(m_isSeek)
            {
                break;
            }
        }
        av_packet_unref(m_packet);    /* 释放数据包，引用计数-1，为0时释放空间 */
        if(isEnd)
        {
            emit signal_playCompleted();
            m_decodeState.store(DecodeState::DecodeStop);
            /* 读取到结尾，但是不退出解码线程，可能还会使用倒退功能，后退读取 */
            while(m_decodeState.load() != DecodeState::DecodeRun)
            {
                std::this_thread::sleep_for(std::chrono::milliseconds(2));
            }
            isEnd = false;
        }
    }
label_ThreadDecodeExit:
    /* 释放空间 */
    av_packet_free(&m_packet);
    m_decodeState.store(DecodeState::DecodeExit);
    m_threadRuning = false;
}


/**
 * @brief 对生成的图像进行格式转换，并添加到环形队列中
 *        1、YUVJ420P格式是全色YUV格式，范围是[0-255]，而YUV420P格式是限色YUV格式，范围是[16-235]。
 *        2、判断视频格式，如果是RGB类型的转换成RGBA格式，如果是yuv类型的，转换成YUVJ420P格式
 * @param pFrame 
 */
void DecodeVedio::convertImageFormatAndPushToQueue(AVFrame* pFrame)
{
    /* 判断视频帧格式 */
    if((pFrame->format == AV_PIX_FMT_YUV420P) || (pFrame->format == AV_PIX_FMT_YUVJ420P))
    {
        /* 是yuv420p格式， */
        Frame_YUV420P* frame = new Frame_YUV420P();
        convertToYUV420P(pFrame, frame->frameData);
        m_queueFrame.push(frame);
        return;
    }

    /* 判断视频格式，如果是RGB类型的转换成RGBA格式，如果是yuv类型的，转换成YUVJ420P格式 */
    /* 不是420p，转换成RGBA格式 */
    Frame_RGBA8888* frame = new Frame_RGBA8888();
    convertToRGBA(pFrame, frame->frameData);
    if(frame->frameData == nullptr)
    {
        SPDLOG_ERROR("转换成RGBA格式失败，可能是解码器不支持该格式: {}", av_get_pix_fmt_name((AVPixelFormat)pFrame->format));
        delete frame;  /* 释放空间 */
        return;
    }
    /* 如果队列满，线程会阻塞在这里 */
    m_queueFrame.push(frame);
}

/* 将yuv420p的uint8_t数组缓存转换成Image_YUV420P结构体 */
void DecodeVedio::convertToYUV420P(AVFrame* pFrame, Image_YUV420P* image)
{
    if(pFrame == nullptr || image == nullptr)
    {
        return;
    }
    if(pFrame->data[0] == nullptr || pFrame->data[1] == nullptr || pFrame->data[2] == nullptr)
    {
        return;
    }

    image->width = pFrame->width;
    image->height = pFrame->height;
    uint32_t ySzie = pFrame->width * pFrame->height;  /* Y分量的大小 */
    image->yData.append(reinterpret_cast<const char*>(pFrame->data[0]), ySzie);
    image->uData.append(reinterpret_cast<const char*>(pFrame->data[1]), ySzie / 4);
    image->vData.append(reinterpret_cast<const char*>(pFrame->data[2]), ySzie / 4);
}

/* 转换成RGBA格式 */
void DecodeVedio::convertToRGBA(AVFrame* pFrame, QImage* image)
{
    /* 转换解码后的帧格式，转换成RGBA格式，Qt可以识别 */
    if(m_sws_ctx == nullptr)
    {
        /* 选择在这里创建，为了兼容硬件解码，硬件解码出来的格式可能和解码器传出的不一样 */
        m_sws_ctx = sws_getCachedContext(m_sws_ctx, 
                                        pFrame->width, pFrame->height,              /* 原图像大小和格式 */
                                        m_pCodecContext->pix_fmt,                   /* 输入图像的像素格式 */
                                        m_srcSize.width(), m_srcSize.height(),      /* 目标图像的大小 */
                                        AV_PIX_FMT_RGBA,                            /* 目标图像的格式 */
                                        SWS_BILINEAR,                               /* 图像缩放算法，双线性 */
                                        nullptr,                                    /* 输入图像的滤波器信息，不需要传NULL */
                                        nullptr,                                    /* 输出图像的滤波器信息，不需要传NULL */
                                        nullptr);                                   /* 特定缩放算法需要的参数，不需要传NULL */
        if(m_sws_ctx == nullptr)
        {
            SPDLOG_ERROR("创建SwsContext错误...");
            /* 释放空间 */
            av_packet_free(&m_packet);
            m_decodeState.store(DecodeState::DecodeExit);
            m_threadRuning = false;
        }
        SPDLOG_INFO("创建SwsContext成功...");
    }
    /* 转换成RGBA格式 */
    // uint8_t* data[1] = { m_buffer };
    int lines[4];
    /* 使用像素格式pix_fmt和宽度填充图像的平面线条的大小（一行大小？） */
    av_image_fill_linesizes(lines, AV_PIX_FMT_RGBA, pFrame->width);
    sws_scale(  m_sws_ctx,              /* 转换上下文 */
                pFrame->data,           /* 源图像数据指针数组 */
                pFrame->linesize,       /* 源图像每行字节数数组 */
                0,                      /* 源图像起始行（通常为0） */
                pFrame->height,         /* 处理的行数（通常为图像高度） */
                &m_buffer,              /* 目标图像数据指针数组（packed格式只用[0]) */
                lines);                 /* 目标图像每行字节数数组 */
    if(m_buffer != nullptr)
    {
        /* 将数据拷贝到QImage中 */
        *image = QImage(m_buffer, m_srcSize.width(), m_srcSize.height(), QImage::Format_RGBA8888);
    }
    
}

/* 暂停解码，会阻塞到线程暂停为止 */
void DecodeVedio::pauseDecode()
{
    if(!m_threadRuning)
    {
        return;
    }
    if( (m_decodeState.load() == DecodeState::DecodeExit) 
     || (m_decodeState.load() == DecodeState::DecodePause) )
    {
        return;
    }
    /* 设置成运行状态，唤醒可能阻塞在了解码结束的位置 */
    m_decodeState.store(DecodeState::DecodeRun);
    m_pauseDecode = true;
    /* 队列出队两张图片，防止解码线程阻塞到环形队列满上面 */
    deleteOneImage();
    deleteOneImage();
    /* 等待线程状态变为暂停为止 */
    while (m_decodeState.load() != DecodeState::DecodePause)
    {
        std::this_thread::sleep_for(std::chrono::microseconds(100));
    }
}

/* 继续解码 */
void DecodeVedio::continueDecode()
{
    m_pauseDecode = false;
    m_decodeState.store(DecodeState::DecodeRun);
}

/**
 * @brief AVRational存储的是分子和分母，这里相除转换为double，用于计算帧率
 *        这个函数就等同于av_q2d()
 * @param rational
 * @return
 */
qreal DecodeVedio::rationalToDouble(AVRational* rational)
{
    return ( (rational->den == 0) ? 0 : (qreal(rational->num) / rational->den) );
}


/* 开启解码 */
void DecodeVedio::do_startDecodeVedio()
{
    SPDLOG_DEBUG("解码线程ID:{}",QThread::currentThreadId());
    // if(!m_initFFmpeg)
    // {
    //     initFFmpeg();
    // }
    m_threadRuning = true;
    m_pauseDecode = false;
    /* 进入解码，直到播放完成或者手动退出 */
    if(m_supportHWDecoder)
    {
        SPDLOG_TRACE("使用硬件解码器进行解码...");
        threadDecodeUsingGPU();
    }else 
    {
        SPDLOG_INFO("使用CPU进行解码...");
        threadDecodeUsingCPU();
    }
    
    SPDLOG_TRACE("Decode解码结束。");

}

/* 释放所有资源 */
void DecodeVedio::freeAll()
{
    if(m_sws_ctx)
    {
        sws_freeContext(m_sws_ctx);
        m_sws_ctx = nullptr;
    }
    // if(m_pFrameRGB)
    // {
    //     av_frame_free(&m_pFrameRGB);
    // }
    if(m_pFrameSRC)
    {
        av_frame_free(&m_pFrameSRC);
    }
    if(m_pFrameHW)
    {
        av_frame_free(&m_pFrameHW);
    }
    if(m_packet)
    {
        av_packet_free(&m_packet);
    }
    if(m_pCodecContext)
    {
        avcodec_free_context(&m_pCodecContext);
    }
    if(m_pFormatContext)
    {
        avformat_close_input(&m_pFormatContext);
    }
    if(m_buffer)
    {
        av_free(m_buffer);
        m_buffer = nullptr;
    }
    if(m_hw_device_ctx)
    {
        av_buffer_unref(&m_hw_device_ctx);
    }

    clearQueueFrame();
    m_queueFrame.clearQueue();
}


/* 打印出错误信息 */
void DecodeVedio::printErrorStr(int errRet)
{
    if(errRet < 0)
    {
        char errBuf[4096] = {0};
        av_strerror(errRet, errBuf, sizeof(errBuf));
        SPDLOG_WARN("错误信息:{}", errBuf);
    }
}