本文是《H.264 裸流 → RTSP 推流》的對稱篇完整走一遍RTSP 拉流 → RTP 解包 → H.264 解碼 → 屏幕播放的鏈路。協(xié)議層用 Qt 手工實現只在解碼顯示時使用 FFmpeg。讀完你應該能明白RTSP 拉流信令OPTIONS → DESCRIBE → SETUP → PLAY 每一步做什么SDP 里的sprop-parameter-sets怎么解析、怎么轉成 AnnexB extradataRTP 到達后怎么拆包單包 / FU-A 重組 / STAP-A 聚合Frame 怎么交給 FFmpeg 解碼、AVFrame 怎么顯示為什么 config 幀要單獨發(fā)一次只討論H.264 單視頻流暫不涉及 AAC。一、整體鏈路┌────────────────────────────────────────────────────────────┐ │ RtspClient │ │ OPTIONS → DESCRIBE → SETUP → PLAY → TEARDOWN │ │ TCP 收發(fā)信令 UDP 收 RTP/RTCP │ ├────────────────────────────────────────────────────────────┤ │ RTP 解包層RtspClient 內部 │ │ 單包 / FU-A 重組 / STAP-A 聚合 → AnnexB Frame │ ├────────────────────────────────────────────────────────────┤ │ PullWidget │ │ Frame → AVPacket → avcodec_send_packet │ │ AVFrame → sws_scale → QImage → QLabel │ ├────────────────────────────────────────────────────────────┤一句話概括用 RTSP 跟服務器握手拿到 SDP建好 RTP socket 后進入接收態(tài)按 NALU 類型重組出完整的 H.264 幀塞進 FFmpeg 解碼器再把 AVFrame 轉成 QImage 上屏。跟推流方向最大的區(qū)別推流方是 SDP 的生成者拉流方是 SDP 的解析者。二、階段一RTSP 信令拉流信令跟推流是鏡像的推流拉流OPTIONS → ANNOUNCE → SETUP → RECORDOPTIONS → DESCRIBE → SETUP → PLAY客戶端發(fā) SDP服務器發(fā) SDPmoderecordmodeplay2.1 狀態(tài)機RtspClient用一個自增的_cseq當狀態(tài)機。每個請求分配一個 CSeq響應回來按 CSeq 分發(fā)void RtspClient::processResponse(const QByteArray data) { // 解析狀態(tài)行 QString statusLine QString::fromUtf8(data.left(data.indexOf(\r\n))); QRegExp rx(RTSP/\\d\\.\\d (\\d)); if (rx.indexIn(statusLine) 0) return; int code rx.cap(1).toInt(); if (code ! 200) { emit error(...); return; } int cseq extractHeader(data, CSeq).toInt(); if (cseq 1) { // OPTIONS 響應 sendRequest(DESCRIBE, _url.toString()); return; } if (cseq 2) { // DESCRIBE 響應 _sessionId extractHeader(data, Session); int bodyPos data.indexOf(\r\n\r\n); if (bodyPos 0) parseSdpTracks(data.mid(bodyPos 4)); sendNextSetup(); return; } if (_cseqToTrackIdx.contains(cseq)) { // SETUP 響應 handleSetupResponse(data); return; } if (cseq _playCseq) { // PLAY 響應 handlePlayResponse(); return; } }跟推流代碼幾乎是同一個骨架只是把 ANNOUNCE 換成 DESCRIBE、把 RECORD 換成 PLAY。2.2 OPTIONSOPTIONS rtsp://127.0.0.1:554/live/test RTSP/1.0 CSeq: 1 User-Agent: QtRtspClient服務器返回RTSP/1.0 200 OK CSeq: 1 Public: OPTIONS, DESCRIBE, SETUP, TEARDOWN, PLAY, PAUSETCP 一連接就發(fā)void RtspClient::onTcpConnected() { sendRequest(OPTIONS, _url.toString()); }2.3 DESCRIBE拿 SDPDESCRIBE rtsp://127.0.0.1:554/live/test RTSP/1.0 CSeq: 2 Accept: application/sdp服務器返回H.264 單視頻流RTSP/1.0 200 OK CSeq: 2 Content-Type: application/sdp Content-Base: rtsp://127.0.0.1:554/live/test/ Content-Length: 289 v0 o- 123456 123456 IN IP4 192.168.1.100 sLive Stream t0 0 acontrol:* mvideo 0 RTP/AVP 96 artpmap:96 H264/90000 afmtp:96 packetization-mode1;profile-level-id42C01E;sprop-parameter-setsZ0LAHtoCgPaEAAAAwAQAAAMDGxQ,aM4yyA acontrol:streamid0這一段是拉流最關鍵的地方視頻解碼參數全在 SDP 里。2.4 parseSdpTracks從 SDP 抽 SPS/PPSvoid RtspClient::parseSdpTracks(const QByteArray sdp) { _tracks.clear(); QString s QString::fromUtf8(sdp); QStringList lines s.split(\r\n, QString::SkipEmptyParts); TrackInfo current; bool inMedia false; for (const QString line : lines) { if (line.startsWith(m)) { // 新的媒體段收尾上一個 if (inMedia) _tracks.append(current); current TrackInfo(); inMedia true; QStringList parts line.mid(2).split( ); if (parts.size() 4) { current.mediaType parts[0]; // video current.payloadType parts[3].toInt(); // 96 } } else if (line.startsWith(artpmap:)) { // artpmap:96 H264/90000 QRegExp rx(artpmap:(\\d) ([^/])/(\\d)(?:/(\\d))?); if (rx.indexIn(line) 0) { current.codec rx.cap(2); // H264 current.clockRate rx.cap(3).toInt(); // 90000 } } else if (line.startsWith(afmtp:)) { // 只關心 H.264 的 sprop-parameter-sets QRegExp rx(sprop-parameter-sets([^;\\r\\n\\s])); if (rx.indexIn(line) 0) { QString spsPpsStr rx.cap(1); // xxx,yyy QStringList parts spsPpsStr.split(,); if (parts.size() 2) { current.sps QByteArray::fromBase64(parts[0].toLatin1()); current.pps QByteArray::fromBase64(parts[1].toLatin1()); } } } else if (line.startsWith(acontrol:)) { current.control line.mid(10).trimmed(); // streamid0 } } if (inMedia) _tracks.append(current); qDebug() parsed _tracks.size() tracks; }這一段跟推流的generateSDP是完全對稱的操作推流拉流從 extradata 拆 SPS/PPS從sprop-parameter-sets解碼出 SPS/PPSsps.toBase64()拼進 SDPQByteArray::fromBase64()還原從 Track 信息拼artpmap正則解析出 codec 和 clockRate自己構造 streamid從acontrol:streamidX讀為什么sprop-parameter-sets這么重要它是拉流端解碼器能初始化的唯一途徑。如果服務器 SDP 里缺這個字段就得等第一個 IDR 幀里帶的 SPS/PPS首幀延遲明顯變大甚至解碼失敗。2.5 SETUP建 RTP socketH.264 視頻流只需要一次 SETUP。走 UDP 模式時客戶端分配本地端口服務器往這里發(fā)void RtspClient::sendSetupForTrack(int idx) { auto t _tracks[idx]; // 隨機選本地 RTP/RTCP 端口 t.clientRtpPort 20000 QRandomGenerator::global()-bounded(20000); t.clientRtcpPort t.clientRtpPort 1; int cseq _cseq; _cseqToTrackIdx[cseq] idx; QString setupUrl _url.toString(); if (!t.control.isEmpty()) setupUrl / t.control; QByteArray req; req SETUP setupUrl.toUtf8() RTSP/1.0\r\n; req CSeq: QByteArray::number(cseq) \r\n; req Session: _sessionId.toUtf8() \r\n; req Transport: RTP/AVP/UDP;unicast;client_port QByteArray::number(t.clientRtpPort) - QByteArray::number(t.clientRtcpPort) \r\n; req \r\n; _tcpSocket-write(req); _tcpSocket-flush(); }服務器響應RTSP/1.0 200 OK CSeq: 3 Session: 12345678 Transport: RTP/AVP/UDP;unicast;client_port23456-23457;server_port33470-33471關鍵是server_port客戶端只用來發(fā) RTCP RR接收方向不用管——UDP 是無連接的服務器直接往client_port打 RTP本地 socket 收就是。2.6 handleSetupResponse綁本地端口void RtspClient::handleSetupResponse(const QByteArray data) { int cseq extractHeader(data, CSeq).toInt(); int idx _cseqToTrackIdx.value(cseq, -1); if (idx 0) return; auto t _tracks[idx]; // 解析 server_port QString transport extractHeader(data, Transport); QRegExp rx(server_port(\\d)-(\\d)); if (rx.indexIn(transport) 0) { emit error(No server_port in Transport); return; } t.serverRtpPort rx.cap(1).toUShort(); t.serverRtcpPort rx.cap(2).toUShort(); // 綁定本地 RTP socket t.rtpSocket new QUdpSocket(this); if (!t.rtpSocket-bind(QHostAddress::AnyIPv4, t.clientRtpPort, QUdpSocket::ShareAddress)) { emit error(Failed to bind RTP port); return; } connect(t.rtpSocket, QUdpSocket::readyRead, this, [this, idx]() { onRtpReadyRead(idx); }); // 綁定本地 RTCP socket t.rtcpSocket new QUdpSocket(this); t.rtcpSocket-bind(QHostAddress::AnyIPv4, t.clientRtcpPort, QUdpSocket::ShareAddress); connect(t.rtcpSocket, QUdpSocket::readyRead, this, [this, idx]() { onRtcpReadyRead(idx); }); _setupIdx; sendNextSetup(); }2.7 PLAY啟動傳輸PLAY rtsp://127.0.0.1:554/live/test RTSP/1.0 CSeq: 4 Session: 12345678 Range: npt0-服務器返回 200 后開始往客戶端端口打 RTP 包。void RtspClient::handlePlayResponse() { _isPlaying true; // ★ 關鍵為視頻 track 構造 VideoTrack把 SPS/PPS 送出去 for (int i 0; i _tracks.size(); i) { auto t _tracks[i]; if (t.codec ! H264) continue; // 1. 構造 VideoTrack攜帶 extradata auto vt std::make_sharedVideoTrack(CodecId::H264, i); QByteArray extra; extra.append(\x00\x00\x00\x01, 4); extra.append(t.sps); extra.append(\x00\x00\x00\x01, 4); extra.append(t.pps); vt-setExtradata(extra); // 自動 setReady emit videoTrackReady(vt); // 2. config 幀讓解碼器提前建參數 auto cfgFrame FrameFactory::create( CodecId::H264, extra, 0, 0, false, // key true, // config i); emit frameReceived(cfgFrame); } // RTCP RR 定時器 if (!_rrTimer) { _rrTimer new QTimer(this); connect(_rrTimer, QTimer::timeout, this, RtspClient::onRrTick); } _rrTimer-start(5000); emit connected(); }為什么 PLAY 后要立刻構造 config 幀因為下游的PullWidget拿到 config 幀后會立即發(fā)一次avcodec_send_packet讓 FFmpeg 把 SPS/PPS 記到解碼上下文里。等真正第一個 IDR 到達時解碼器已經初始化完畢沒有首幀延遲。2.8 TEARDOWN斷開時發(fā)送TEARDOWN rtsp://127.0.0.1:554/live/test RTSP/1.0 CSeq: 5 Session: 12345678void RtspClient::disconnect() { if (_isPlaying _tcpSocket-state() QAbstractSocket::ConnectedState) { QByteArray req; req TEARDOWN _url.toString().toUtf8() RTSP/1.0\r\n; req CSeq: QByteArray::number(_cseq) \r\n; req Session: _sessionId.toUtf8() \r\n\r\n; _tcpSocket-write(req); _tcpSocket-flush(); _tcpSocket-waitForBytesWritten(500); } // 關閉 socket、清空 track ... }三、階段二RTP 解包H.264PLAY 之后 RTP 包開始到達。這是拉流方向最費腦子的地方——要把分片的 NALU 重新拼回一個完整的 AU。3.1 入口void RtspClient::onRtpReadyRead(int trackIdx) { auto t _tracks[trackIdx]; while (t.rtpSocket-hasPendingDatagrams()) { QByteArray d; d.resize(int(t.rtpSocket-pendingDatagramSize())); t.rtpSocket-readDatagram(d.data(), d.size()); if (d.size() 12) continue; // 從 RTP 頭解析時間戳和 SSRC const uint8_t* p reinterpret_castconst uint8_t*(d.constData()); uint32_t ts (uint32_t(p[4]) 24) | (uint32_t(p[5]) 16) | (uint32_t(p[6]) 8) | uint32_t(p[7]); t.remoteSsrc (uint32_t(p[8]) 24) | (uint32_t(p[9]) 16) | (uint32_t(p[10]) 8) | uint32_t(p[11]); handleH264Rtp(trackIdx, d); } }3.2 H.264 RTP 三種模式NALU Type名稱含義1~23單 NALU 包一個 RTP 包 一個完整 NALU24STAP-A聚合多個 NALU 在一個 RTP 包28FU-A一個 NALU 被拆成多個 RTP 包三種都要處理。3.3 handleH264Rtpcppvoid RtspClient::handleH264Rtp(int trackIdx, const QByteArray pkt) { auto t _tracks[trackIdx]; if (pkt.size() 12) return; const uint8_t* p reinterpret_castconst uint8_t*(pkt.constData()); uint32_t ts (uint32_t(p[4]) 24) | (uint32_t(p[5]) 16) | (uint32_t(p[6]) 8) | uint32_t(p[7]); const uint8_t* payload p 12; int len pkt.size() - 12; if (len 0) return; uint8_t nalType payload[0] 0x1F; // ---- FU-A 分片 ---- if (nalType 28) { if (len 2) return; uint8_t fuHeader payload[1]; bool start (fuHeader 0x80) ! 0; bool end (fuHeader 0x40) ! 0; uint8_t origType fuHeader 0x1F; if (start) { t.fuABuffer.clear(); // 重建 NALU HeaderF|NRI 保留Type 用原始類型 uint8_t nalHeader (payload[0] 0xE0) | origType; t.fuABuffer.append(char(nalHeader)); t.fuABuffer.append( reinterpret_castconst char*(payload 2), len - 2); t.fuAInProgress true; } else if (t.fuAInProgress) { t.fuABuffer.append( reinterpret_castconst char*(payload 2), len - 2); if (end) { emitVideoFrame(t.fuABuffer, ts, trackIdx); t.fuABuffer.clear(); t.fuAInProgress false; } } return; } // ---- STAP-A 聚合 ---- if (nalType 24) { int pos 1; // 跳過 STAP-A 頭 while (pos 2 len) { int nalSize (payload[pos] 8) | payload[pos 1]; pos 2; if (pos nalSize len) break; QByteArray nalu( reinterpret_castconst char*(payload pos), nalSize); emitVideoFrame(nalu, ts, trackIdx); pos nalSize; } return; } // ---- 單 NALU 包 ---- if (nalType 1 nalType 23) { QByteArray nalu(reinterpret_castconst char*(payload), len); emitVideoFrame(nalu, ts, trackIdx); } }FU-A 重組的關鍵細節(jié)首片FU Header的 S1用它里的 origType 重建原始 NALU Header保留 F 和 NRI 位把 Type 換成原始類型中間片只追加數據不動 header末片FU Header的 E1追加完數據后 emit 一整幀3.4 emitVideoFrame加起始碼 → Framevoid RtspClient::emitVideoFrame(const QByteArray nalu, uint32_t ts, int trackIdx) { if (nalu.isEmpty()) return; // 加 4 字節(jié)起始碼轉成 AnnexB 格式 QByteArray data; data.append(\x00\x00\x00\x01, 4); data.append(nalu); bool key ((nalu[0] 0x1F) 5); // NAL type 5 IDR auto frame FrameFactory::create( CodecId::H264, data, ts, ts, // dts pts 90kHz 時間戳 key, // key false, // config trackIdx); emit frameReceived(frame); }到這里RTP 層的任務結束把 UDP 收到的分片包重組成AnnexB 格式的 Frame帶上 90kHz 時間戳和 key 標記。四、階段三FFmpeg 解碼PullWidget拿到 Frame 后交給 FFmpeg 解碼并顯示。4.1 解碼器初始化void PullWidget::initDecoder() { const AVCodec* codec avcodec_find_decoder(AV_CODEC_ID_H264); if (!codec) { appendLog(未找到 H.264 解碼器); return; } _decCtx avcodec_alloc_context3(codec); if (!_decCtx) return; if (avcodec_open2(_decCtx, codec, nullptr) 0) { appendLog(打開 H.264 解碼器失敗); avcodec_free_context(_decCtx); _decCtx nullptr; return; } _frame av_frame_alloc(); }注意這里沒有手動設置 SPS/PPS。因為我們會在 config 幀到達時通過avcodec_send_packet把 AnnexB 格式的 SPS/PPS 喂給解碼器FFmpeg 會自己從碼流里提取參數。4.2 Frame → AVPacket → 解碼void PullWidget::onFrame(mymedia::Frame::Ptr frame) { if (!frame || !_decCtx || !_frame) return; if (frame-codecId() ! CodecId::H264) return; // 1. Frame 內容 → AVPacket AVPacket* pkt av_packet_alloc(); if (!pkt) return; const QByteArray payload frame-raw(); if (av_new_packet(pkt, payload.size()) 0) { av_packet_free(pkt); return; } memcpy(pkt-data, payload.constData(), payload.size()); if (frame-keyFrame() || frame-configFrame()) pkt-flags | AV_PKT_FLAG_KEY; // 2. 送進解碼器 int ret avcodec_send_packet(_decCtx, pkt); av_packet_free(pkt); if (ret 0) return; // 3. 取所有解出的幀 while (avcodec_receive_frame(_decCtx, _frame) 0) { displayFrame(_frame); av_frame_unref(_frame); } }為什么一次 send 可能對應多次 receiveFFmpeg 內部有幀緩沖一個 packet 進去可能吐出 0 個、1 個或多個 frame比如有 B 幀時。4.3 AVFrame → QImagevoid PullWidget::displayFrame(AVFrame* frame) { int w frame-width; int h frame-height; if (w 0 || h 0) return; // 尺寸變化時重建 sws 和 QImage if (!_sws || w ! _lastW || h ! _lastH) { if (_sws) sws_freeContext(_sws); _sws sws_getContext( w, h, (AVPixelFormat)frame-format, // 通常是 YUV420P w, h, AV_PIX_FMT_RGB32, // 目標32 位 RGB SWS_BILINEAR, nullptr, nullptr, nullptr); _lastW w; _lastH h; _image QImage(w, h, QImage::Format_RGB32); } if (!_sws) return; // sws_scale 做顏色空間轉換 uint8_t* dst[1] { _image.bits() }; int dstStride[1] { (int)_image.bytesPerLine() }; sws_scale(_sws, frame-data, frame-linesize, 0, h, dst, dstStride); // 上屏按窗口縮放保持寬高比 QPixmap pix QPixmap::fromImage(_image) .scaled(_videoLabel-size(), Qt::KeepAspectRatio, Qt::SmoothTransformation); _videoLabel-setPixmap(pix); }三個要點sws 上下文要緩存只在分辨率變化時重建避免每幀重建的 CPU 開銷AV_PIX_FMT_RGB32和QImage::Format_RGB32的字節(jié)序要一致都是 0xffRRGGBBbytesPerLine可能大于 width*4對齊填充sws_scale 用 stride 參數處理五、RTCP RR周期反饋拉流方向也需要定期發(fā) RTCP Receiver Report告訴服務器丟包和延遲情況。每 5 秒一次void RtspClient::onRrTick() { if (!_isPlaying) return; for (int i 0; i _tracks.size(); i) { if (_tracks[i].rtcpSocket _tracks[i].remoteSsrc ! 0) { sendReceiverReport(i); } } } void RtspClient::sendReceiverReport(int trackIdx) { auto t _tracks[trackIdx]; int64_t nowUs QDateTime::currentMSecsSinceEpoch() * 1000LL; uint32_t dlsr 0; if (t.lastSrRecvUs 0) { dlsr uint32_t((nowUs - t.lastSrRecvUs) * 65536 / 1000000); } QByteArray rr buildRrPacket(_localSsrc, t.remoteSsrc, t.lastSeq, t.lastSrNtp, dlsr); t.rtcpSocket-writeDatagram(rr, QHostAddress(_host), t.serverRtcpPort); }RTCP 主要是給服務器做 QoS 用不發(fā)給客戶端也不影響拉流。生產環(huán)境建議發(fā)。六、完整時序主線程 / TCP 線程 UDP 線程 ───────────────────────────────────────────────────────────── connectTo(url) └─ _tcpSocket-connectToHost(host, port) │ ▼ TCP 連接成功 onTcpConnected() └─ sendRequest(OPTIONS) CSeq1 │ ▼ 200 OK processResponse() ──? cseq1 └─ sendRequest(DESCRIBE) CSeq2 │ ▼ 200 OK processResponse() ──? cseq2 ├─ extractHeader(Session) ├─ parseSdpTracks(sdp) │ └─ 從 sprop-parameter-sets 解出 SPS/PPS └─ sendNextSetup() └─ sendSetupForTrack(0) CSeq3 │ ▼ 200 OK handleSetupResponse() ├─ 解析 server_port ├─ bind 本地 RTP/RTCP socket └─ sendPlay() CSeq4 │ ▼ 200 OK handlePlayResponse() ├─ 構造 VideoTrack SPS/PPS extradata → emit videoTrackReady ├─ 構造 config Frame → emit frameReceived ├─ 啟動 RTCP RR 定時器 └─ emit connected() │ ▼ 服務器開始打 RTP ──────────? onRtpReadyRead() ├─ handleH264Rtp() │ ├─ FU-A 重組 │ ├─ STAP-A 拆包 │ └─ 單包直通 └─ emitVideoFrame() └─ emit frameReceived() │ ▼ PullWidget::onFrame() ├─ avcodec_send_packet() └─ avcodec_receive_frame() └─ displayFrame() └─ sws_scale QLabel七、函數職責速查函數所在類職責onTcpConnectedRtspClientTCP 連上 → 發(fā) OPTIONSsendRequestRtspClient唯一的 RTSP 請求構造出口processResponseRtspClient解析狀態(tài)行 按 CSeq 分發(fā)extractHeaderRtspClient大小寫不敏感取頭字段parseSdpTracksRtspClient從 SDP 解析 SPS/PPS/clockRatesendSetupForTrackRtspClient分配本地端口、發(fā) SETUPhandleSetupResponseRtspClient解析 server_port、bind RTP sockethandlePlayResponseRtspClient構造 VideoTrack config 幀、啟動 RRonRtpReadyReadRtspClientRTP 數據到達入口handleH264RtpRtspClientFU-A 重組 / STAP-A 拆包 / 單包直通emitVideoFrameRtspClient加起始碼 → Frame → emitinitDecoderPullWidget創(chuàng)建 H.264 解碼器上下文onFramePullWidgetFrame → AVPacket → send_packet → receive_framedisplayFramePullWidgetsws_scale → QImage → QLabel八、踩坑速查現象原因PLAY 后一直黑屏SETUP 綁端口失敗或服務器 server_port 解析錯花屏FU-A 重組時丟了分片或 SPS/PPS 未先喂解碼器首幀延遲大沒有主動構造 config 幀等 IDR 才喂 SPS/PPS卡死解碼器只 send 不 receive幀緩沖滿了sws_scale 輸出花屏sws 上下文沒在分辨率變化時重建內存暴漲每幀都new AVPacket但忘了av_packet_free收到 RTP 但無畫面檢查 NALU Type 是否被正確識別28/24/1~23 都要處理播放一會兒就停RTCP RR 沒發(fā)服務器主動斷流部分服務器九、小結拉流方向的三層職責RTSP 層OPTIONS → DESCRIBE → SETUP → PLAY拿到 SDP 里的 SPS/PPS 和 server_portRTP 層按 NALU Type 分發(fā)到 FU-A / STAP-A / 單包重組出 AnnexB Frame解碼層Frame → AVPacket → FFmpeg 解碼 → AVFrame → QImage 上屏跟推流方向對照著看幾乎每個環(huán)節(jié)都能找到鏡像推流拉流generateSDP()生成parseSdpTracks()解析sendConfigFrames()發(fā) SPS/PPShandlePlayResponse()收 SPS/PPSpackH264()拆成 RTP 包handleH264Rtp()重組成 NALUsendRtpPacket()發(fā)onRtpReadyRead()收onSendTick()節(jié)流發(fā)displayFrame()實時顯示兩邊對照著讀RTSP/RTP/H.264 三條邊界就一目了然了。rtsp推拉流