

由於 licecap 錄製的 GIF 掉幀太嚴重,畫面都糊掉了,再補上兩張高清截圖
今年三月,斗魚獲得騰訊領投的 1 億美元融資的消息被各大平台争相轉載。在電競、泛娛樂成為熱門投資賽道的當下,網絡直播平台自然也備受各界矚目。這裡借用兩張關於遊戲直播趨勢的圖表:


而這還僅僅是遊戲直播這塊蛋糕。直播行業的競爭只會越來越激烈,無論是主播還是平台都面臨著白熱化的角逐;當然,行業也會越來越規範,直播玩法也越來越豐富。
視頻直播可以拆分為:採集、前處理、編碼、傳輸、服務器處理、解碼、渲染這幾個環節。
採集:iOS 系統因為软硬件種類不多,硬件適配性較好,所以相對簡單;Android 端市面上機型繁多,需要花精力做機型適配;PC 端則最為麻煩,各種奇葩的攝像頭驅動令人頭疼。所以如今很多中小型直播平台都放棄了 PC 直播,甚至有些平台只做 iOS 端的視頻直播。
前處理:美顏算法、視頻模糊、水印等都在這一環節完成。目前 iOS 端最知名的開源框架非 GPUImage 莫屬,它內置了 125 種渲染效果,還支持各種腳本自定義。我高仿的喵播美顏效果也正是基於 GPUImage。
編碼:重難點在於要在分辨率、幀率、碼率、GOP 等參數之間找到最佳平衡點。iOS 8 之後,Apple 開放了 VideoToolbox.framework,可以直接進行硬編解碼,這也是為什麼如今大多數直播平台最低只支持到 iOS 8 的原因之一。iOS 端硬件兼容性較好,可以直接採用硬編碼;而 Android 的硬編碼又是一大坑。
傳輸:這一塊通常交給 CDN 服務商。CDN 只負責帶寬和服務器之間的傳輸,而發送端與接收端之間的網絡抖動緩存還是需要自己實現。目前國內最大的 CDN 服務商應該是網宿。
服務器處理:需要在服務器端做一些流處理工作,讓推送上來的流能適配各個平台、各種不同的協議,比如 RTMP、HLS、FLV 等。
解碼和渲染:也就是音視頻的播放。解碼同樣必須硬解碼,iOS 端兼容性較好,Android 依舊是大坑。這一塊的難點在於音畫同步,目前很多直播平台在這裡都是硬傷。國內比較優秀的開源項目應該是 B 站開源的 ijkplayer,斗魚正是基於它,本項目也同樣基於 ijkplayer。
技術坑:降噪、音頻解碼器、藍牙適配、回聲消除、信令控制、登錄、鑑權、權限管理、狀態管理、應用消息、消息推送、禮物系統、即時聊天、支付系統、統計系統、數據庫、緩存、分布式文件存儲、消息隊列、運維系統……大小不一的坑等著你去填!!!
資金坑:以帶寬為例,2 萬人同時在線、手機碼率 600KB,每個月的帶寬費用至少 30 萬左右。根據歡聚時代(YY)15 年四季度財報,他們的帶寬成本為人民幣 1.611 億元,摺合每月 5000 萬+。人力成本、渠道支出和其他開銷就更不用細算了。
社會坑:還得每時每刻與各種黑暗勢力鬥爭,包括色情、廣告、刷小號、刷充值、告侵權、DDoS……(我反編譯喵播的官方 APP,發現他們的項目名就叫 Shehui,O(∩_∩)O 哈哈~)
GitHub 下載地址
本項目主要基於 ijkplayer,最好把它打包成 framework。原本我打算寫一份打包教程,後來在簡書上發現一篇特別詳細的打包文章,分享給大家:https://www.jianshu.com/p/1f06b27b3ac0。
如果你按照教程打包失敗了(當然這種幾率比較小),我這裡還有一份已經打包好的(Release 版),下載地址:
鏈接:https://pan.baidu.com/s/1eRVetdK 密碼:2dc0
下載後直接解壓即可。
Frameworks:如果這個文件夾不存在,點擊 classes 選擇 Show in Finder,新建一個即可,把你打包好或下載的 framework 拖進去並拉入項目中。你也可以自己建一個文件夾,把這個 Frameworks 直接 delete 掉。
Profile:個人中心,裡面只有一個 ProfileController。因為老是寫重複代碼都寫吐了,這兒有興趣的同學可以自己動手補一下,So easy……
Network:關於網絡連接的工具類,網絡實時監控、網絡狀態切換、網絡請求的工具類都在這裡。
Other:全局常量,當然你也可以在裡面把文件結構劃分得更細。
Home:包含最新主播、最熱直播、關注的直播、禮物排行榜等模塊,還有最重要的視頻直播也在這裡。
ShowTime:見名知意,視頻直播的前處理、智能美顏和 H264 硬編碼等都在這裡。
Main:UITabBarController 和 UINavigationController 的配置。
Toos:這兒命名有點不規範,裡面放置的都是項目用到的分類。
Login:登錄模塊。
Resource:項目用到的資源文件。
tip1:判斷網絡類型。
觀看直播時,我們通常都用 WiFi 或者 3/4G(土豪級別的)。一般用戶在切換網絡時,我們都應該給出友善的提示,告訴 TA:您的網絡狀態已切換到 XX。假設用戶從 WiFi 切到了 4G,你的應用卻毫無提醒,導致 TA 的流量歸零甚至欠了運營商一屁股債,那你的 APP 用戶體驗恐怕也要歸零或者變成負數了。
我們可以使用蘋果的 Reachability 結合下面的代碼,實時監聽網絡狀態的變化。
typedef NS_ENUM(NSUInteger, NetworkStates) { NetworkStatesNone, // 沒有網絡 NetworkStates2G, // 2G NetworkStates3G, // 3G NetworkStates4G, // 4G NetworkStatesWIFI // WIFI };
// 判斷網絡類型 + (NetworkStates)getNetworkStates { NSArray *subviews = [[[[UIApplication sharedApplication] valueForKeyPath:@"statusBar"] valueForKeyPath:@"foregroundView"] subviews]; // 保存網絡狀態 NetworkStates states = NetworkStatesNone; for (id child in subviews) { if ([child isKindOfClass:NSClassFromString(@"UIStatusBarDataNetworkItemView")]) { //獲取到狀態欄碼 int networkType = [[child valueForKeyPath:@"dataNetworkType"] intValue]; switch (networkType) { case 0: //無網模式 states = NetworkStatesNone; break; case 1: states = NetworkStates2G; break; case 2: states = NetworkStates3G; break; case 3: states = NetworkStates4G; break; case 5: { states = NetworkStatesWIFI; } break; default: break; } } } //根據狀態選擇 return states; }
tip2:登錄模塊
如果你多運行幾次就會發現,登錄模塊背景中播放的視頻其實是從 2 個視頻裡每次隨機挑一個來播,而且是無限重複的——也就是說只要你一直停留在登錄界面,它就會單個循環播放當前的視頻。這裡的登錄只是幾個按鈕,沒有具體的登錄邏輯,隨便點哪一個都能進入首頁。
我們需要監聽視頻是否播放完成。
// 監聽視頻是否播放完成 [[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(didFinish) name:IJKMPMoviePlayerPlaybackDidFinishNotification object:nil];
一旦播放完成,讓 IJKFFMoviePlayerController 再次 play 即可。
- (void)didFinish { // 播放完之後, 繼續重播 [self.player play]; }
tip3:首頁

這種效果相信很多人都見過甚至做過。我簡單說一下我的思路(不一定是最佳方案,只是提供一個參考):
一個父控制器 HomeViewController + 三個子控制器(最熱/最新/關注,每個控制器各自管理自己的業務邏輯,做到高內聚低耦合)。重寫 HomeViewController 的 loadView,把 self.view 替換成 UIScrollView,再將三個子控制器的 view 添加到 UIScrollView 上即可。其他效果的實現請參照我的代碼,裡面都有詳細的中文註釋。
tip4:直播(面向觀眾端)
這是整個項目的重點之一。這種直播布局應該算是比較主流的了,我下載過的很多直播類 APP 都是這種布局,連 YY 也是這樣的界面。這裡面涉及的東西比較多,三言兩語真說不清。
簡單列一下已經實現的效果:
A:主播的直播
B:關聯主播的視頻直播,默認只有界面、沒有聲音,點擊該視圖可切換到這個主播
C:下拉切換另一個主播,這個功能很常見。做法是讓直播控制器成為一個 UICollectionViewController,只有一個 cell,且 cell.frame 就是 self.collectionView.bounds。進入直播控制器時其實傳進來一個關聯主播數組,每次下拉就加載數組裡的主播
D:查看觀眾席的觀眾詳情
E:查看主播詳情
F:足跡:粒子動畫,後面詳解
G:彈幕:點擊最下方工具欄的第一個按鈕可開啟/關閉彈幕,後面詳解
……
tip5:用粒子動畫實現游客足跡
粒子動畫的 layer 是添加到播放器的 view 上的,下面的代碼有詳細註釋。
CAEmitterLayer *emitterLayer = [CAEmitterLayer layer]; // 發射器在xy平面的中心位置 emitterLayer.emitterPosition = CGPointMake(self.moviePlayer.view.frame.size.width-50,self.moviePlayer.view.frame.size.height-50); // 發射器的尺寸大小 emitterLayer.emitterSize = CGSizeMake(20, 20); // 渲染模式 emitterLayer.renderMode = kCAEmitterLayerUnordered; // 開啟三維效果 // _emitterLayer.preservesDepth = YES; NSMutableArray *array = [NSMutableArray array]; // 創建粒子 for (int i = 0; i<10; i++) { // 發射單元 CAEmitterCell *stepCell = [CAEmitterCell emitterCell]; // 粒子的創建速率,默認為1/s stepCell.birthRate = 1; // 粒子存活時間 stepCell.lifetime = arc4random_uniform(4) + 1; // 粒子的生存時間容差 stepCell.lifetimeRange = 1.5; // 顏色 // fire.color=[[UIColor colorWithRed:0.8 green:0.4 blue:0.2 alpha:0.1]CGColor]; UIImage *image = [UIImage imageNamed:[NSString stringWithFormat:@"good%d_30x30", i]]; // 粒子顯示的內容 stepCell.contents = (id)[image CGImage]; // 粒子的名字 // [fire setName:@"step%d", i]; // 粒子的運動速度 stepCell.velocity = arc4random_uniform(100) + 100; // 粒子速度的容差 stepCell.velocityRange = 80; // 粒子在xy平面的發射角度 stepCell.emissionLongitude = M_PI+M_PI_2;; // 粒子發射角度的容差 stepCell.emissionRange = M_PI_2/6; // 縮放比例 stepCell.scale = 0.3; [array addObject:stepCell]; } emitterLayer.emitterCells = array; [self.moviePlayer.view.layer insertSublayer:emitterLayer below:self.catEarView.layer];
tip6:彈幕
彈幕同樣用了第三方輪子 BarrageRenderer,這個開源項目的文檔全是中文,用法也很簡單。
基本配置
_renderer = [[BarrageRenderer alloc] init]; // 設置彈幕的顯示區域. 基於父控件的. _renderer.canvasMargin = UIEdgeInsetsMake(ALinScreenHeight * 0.3, 10, 10, 10); [self.contentView addSubview:_renderer.view];
彈幕配置
#pragma mark - 彈幕描述符生產方法 /// 生成精靈描述 - 過場文字彈幕 - (BarrageDescriptor *)walkTextSpriteDescriptorWithDirection:(NSInteger)direction { BarrageDescriptor * descriptor = [[BarrageDescriptor alloc]init]; descriptor.spriteName = NSStringFromClass([BarrageWalkTextSprite class]); descriptor.params[@"text"] = self.danMuText[arc4random_uniform((uint32_t)self.danMuText.count)]; descriptor.params[@"textColor"] = Color(arc4random_uniform(256), arc4random_uniform(256), arc4random_uniform(256)); descriptor.params[@"speed"] = @(100 * (double)random()/RAND_MAX+50); descriptor.params[@"direction"] = @(direction); descriptor.params[@"clickAction"] = ^{ UIAlertView *alertView = [[UIAlertView alloc]initWithTitle:@"提示" message:@"彈幕被點擊" delegate:nil cancelButtonTitle:@"取消" otherButtonTitles:nil]; [alertView show]; }; return descriptor; }
最後一步,千萬記得要 start
[_renderer start];
tip7:智能美顏效果
如今的美顏已經是直播平台的標配,不然絕大多數主播簡直沒法看。美顏算法需要用到 GPU 編程,得懂圖像處理的人才能上手。圖像處理這塊我不太熟悉,相關文獻也看得雲裡霧裡,所以依然是使用開源的輪子:GPUImage。這個開源框架有近 1.3W+ star(7 月 5 日數據),真不是蓋的,內置 125 種濾鏡效果,沒有你想不到、只有你會不會用。我的項目裡都有詳細用法,其實還是很簡單的。在這裡摘抄一份它 .h 文件的註釋,一方面方便大家修改我項目裡的美顏效果,另一方面也做個備份。(具體出處我真忘了,如果有人找到源地址鏈接,可以聯繫我補上。)
#import "GLProgram.h" // Base classes #import "GPUImageOpenGLESContext.h" #import "GPUImageOutput.h" #import "GPUImageView.h" #import "GPUImageVideoCamera.h" #import "GPUImageStillCamera.h" #import "GPUImageMovie.h" #import "GPUImagePicture.h" #import "GPUImageRawDataInput.h" #import "GPUImageRawDataOutput.h" #import "GPUImageMovieWriter.h" #import "GPUImageFilterPipeline.h" #import "GPUImageTextureOutput.h" #import "GPUImageFilterGroup.h" #import "GPUImageTextureInput.h" #import "GPUImageUIElement.h" #import "GPUImageBuffer.h" // Filters #import "GPUImageFilter.h" #import "GPUImageTwoInputFilter.h" #pragma mark - 調整顏色 Handle Color #import "GPUImageBrightnessFilter.h" //亮度 #import "GPUImageExposureFilter.h" //曝光 #import "GPUImageContrastFilter.h" //對比度 #import "GPUImageSaturationFilter.h" //飽和度 #import "GPUImageGammaFilter.h" //伽馬線 #import "GPUImageColorInvertFilter.h" //反色 #import "GPUImageSepiaFilter.h" //褐色(懷舊) #import "GPUImageLevelsFilter.h" //色階 #import "GPUImageGrayscaleFilter.h" //灰度 #import "GPUImageHistogramFilter.h" //色彩直方圖,顯示在圖片上 #import "GPUImageHistogramGenerator.h" //色彩直方圖 #import "GPUImageRGBFilter.h" //RGB #import "GPUImageToneCurveFilter.h" //色調曲線 #import "GPUImageMonochromeFilter.h" //單色 #import "GPUImageOpacityFilter.h" //不透明度 #import "GPUImageHighlightShadowFilter.h" //提亮陰影 #import "GPUImageFalseColorFilter.h" //色彩替換(替換亮部和暗部色彩) #import "GPUImageHueFilter.h" //色度 #import "GPUImageChromaKeyFilter.h" //色度鍵 #import "GPUImageWhiteBalanceFilter.h" //白平橫 #import "GPUImageAverageColor.h" //像素平均色值 #import "GPUImageSolidColorGenerator.h" //純色 #import "GPUImageLuminosity.h" //亮度平均 #import "GPUImageAverageLuminanceThresholdFilter.h" //像素色值亮度平均,圖像黑白(有類似漫畫效果) #import "GPUImageLookupFilter.h" //lookup 色彩調整 #import "GPUImageAmatorkaFilter.h" //Amatorka lookup #import "GPUImageMissEtikateFilter.h" //MissEtikate lookup #import "GPUImageSoftEleganceFilter.h" //SoftElegance lookup #pragma mark - 圖像處理 Handle Image #import "GPUImageCrosshairGenerator.h" //十字 #import "GPUImageLineGenerator.h" //線條 #import "GPUImageTransformFilter.h" //形狀變化 #import "GPUImageCropFilter.h" //剪裁 #import "GPUImageSharpenFilter.h" //銳化 #import "GPUImageUnsharpMaskFilter.h" //反遮罩銳化 #import "GPUImageFastBlurFilter.h" //模糊 #import "GPUImageGaussianBlurFilter.h" //高斯模糊 #import "GPUImageGaussianSelectiveBlurFilter.h" //高斯模糊,選擇部分清晰 #import "GPUImageBoxBlurFilter.h" //盒狀模糊 #import "GPUImageTiltShiftFilter.h" //條紋模糊,中間清晰,上下兩端模糊 #import "GPUImageMedianFilter.h" //中間值,有種稍微模糊邊緣的效果 #import "GPUImageBilateralFilter.h" //雙邊模糊 #import "GPUImageErosionFilter.h" //侵蝕邊緣模糊,變黑白 #import "GPUImageRGBErosionFilter.h" //RGB侵蝕邊緣模糊,有色彩 #import "GPUImageDilationFilter.h" //擴展邊緣模糊,變黑白 #import "GPUImageRGBDilationFilter.h" //RGB擴展邊緣模糊,有色彩 #import "GPUImageOpeningFilter.h" //黑白色調模糊 #import "GPUImageRGBOpeningFilter.h" //彩色模糊 #import "GPUImageClosingFilter.h" //黑白色調模糊,暗色會被提亮 #import "GPUImageRGBClosingFilter.h" //彩色模糊,暗色會被提亮 #import "GPUImageLanczosResamplingFilter.h" //Lanczos重取樣,模糊效果 #import "GPUImageNonMaximumSuppressionFilter.h" //非最大抑制,只顯示亮度最高的像素,其他為黑 #import "GPUImageThresholdedNonMaximumSuppressionFilter.h" //與上相比,像素丟失更多 #import "GPUImageSobelEdgeDetectionFilter.h" //Sobel邊緣檢測算法(白邊,黑內容,有點漫畫的反色效果) #import "GPUImageCannyEdgeDetectionFilter.h" //Canny邊緣檢測算法(比上更強烈的黑白對比度) #import "GPUImageThresholdEdgeDetectionFilter.h" //阈值邊緣檢測(效果與上差別不大) #import "GPUImagePrewittEdgeDetectionFilter.h" //普瑞維特(Prewitt)邊緣檢測(效果與Sobel差不多,貌似更平滑) #import "GPUImageXYDerivativeFilter.h" //XYDerivative邊緣檢測,畫面以藍色為主,綠色為邊緣,帶彩色 #import "GPUImageHarrisCornerDetectionFilter.h" //Harris角點檢測,會有綠色小十字顯示在圖片角點處 #import "GPUImageNobleCornerDetectionFilter.h" //Noble角點檢測,檢測點更多 #import "GPUImageShiTomasiFeatureDetectionFilter.h" //ShiTomasi角點檢測,與上差別不大 #import "GPUImageMotionDetector.h" //動作檢測 #import "GPUImageHoughTransformLineDetector.h" //線條檢測 #import "GPUImageParallelCoordinateLineTransformFilter.h" //平行線檢測 #import "GPUImageLocalBinaryPatternFilter.h" //圖像黑白化,並有大量噪點 #import "GPUImageLowPassFilter.h" //用於圖像加亮 #import "GPUImageHighPassFilter.h" //圖像低於某值時顯示為黑 #pragma mark - 視覺效果 Visual Effect #import "GPUImageSketchFilter.h" //素描 #import "GPUImageThresholdSketchFilter.h" //閥值素描,形成有噪點的素描 #import "GPUImageToonFilter.h" //卡通效果(黑色粗線描邊) #import "GPUImageSmoothToonFilter.h" //相比上面的效果更細膩,上面是粗曠的畫風 #import "GPUImageKuwaharaFilter.h" //桑原(Kuwahara)濾波,水粉畫的模糊效果;處理時間比較長,慎用 #import "GPUImageMosaicFilter.h" //黑白馬賽克 #import "GPUImagePixellateFilter.h" //像素化 #import "GPUImagePolarPixellateFilter.h" //同心圓像素化 #import "GPUImageCrosshatchFilter.h" //交叉線陰影,形成黑白網狀畫面 #import "GPUImageColorPackingFilter.h" //色彩丟失,模糊(類似監控攝像效果) #import "GPUImageVignetteFilter.h" //暈影,形成黑色圓形邊緣,突出中間圖像的效果 #import "GPUImageSwirlFilter.h" //漩渦,中間形成卷曲的畫面 #import "GPUImageBulgeDistortionFilter.h" //凸起失真,魚眼效果 #import "GPUImagePinchDistortionFilter.h" //收縮失真,凹面鏡 #import "GPUImageStretchDistortionFilter.h" //伸展失真,哈哈鏡 #import "GPUImageGlassSphereFilter.h" //水晶球效果 #import "GPUImageSphereRefractionFilter.h" //球形折射,圖形倒立 #import "GPUImagePosterizeFilter.h" //色調分離,形成噪點效果 #import "GPUImageCGAColorspaceFilter.h" //CGA色彩濾鏡,形成黑、淺藍、紫色塊的畫面 #import "GPUImagePerlinNoiseFilter.h" //柏林噪點,花邊噪點 #import "GPUImage3x3ConvolutionFilter.h" //3x3卷積,高亮大色塊變黑,加亮邊緣、線條等 #import "GPUImageEmbossFilter.h" //浮雕效果,帶有點3d的感覺 #import "GPUImagePolkaDotFilter.h" //像素圓點花樣 #import "GPUImageHalftoneFilter.h" //點染,圖像黑白化,由黑點構成原圖的大致圖形 #pragma mark - 混合模式 Blend #import "GPUImageMultiplyBlendFilter.h" //通常用於創建陰影和深度效果 #import "GPUImageNormalBlendFilter.h" //正常 #import "GPUImageAlphaBlendFilter.h" //透明混合,通常用於在背景上應用前景的透明度 #import "GPUImageDissolveBlendFilter.h" //溶解 #import "GPUImageOverlayBlendFilter.h" //疊加,通常用於創建陰影效果 #import "GPUImageDarkenBlendFilter.h" //加深混合,通常用於重疊類型 #import "GPUImageLightenBlendFilter.h" //減淡混合,通常用於重疊類型 #import "GPUImageSourceOverBlendFilter.h" //源混合 #import "GPUImageColorBurnBlendFilter.h" //色彩加深混合 #import "GPUImageColorDodgeBlendFilter.h" //色彩減淡混合 #import "GPUImageScreenBlendFilter.h" //屏幕包裹,通常用於創建亮點和鏡頭眩光 #import "GPUImageExclusionBlendFilter.h" //排除混合 #import "GPUImageDifferenceBlendFilter.h" //差異混合,通常用於創建更多變動的顏色 #import "GPUImageSubtractBlendFilter.h" //差值混合,通常用於創建兩個圖像之間的動畫變暗模糊效果 #import "GPUImageHardLightBlendFilter.h" //強光混合,通常用於創建陰影效果 #import "GPUImageSoftLightBlendFilter.h" //柔光混合 #import "GPUImageChromaKeyBlendFilter.h" //色度鍵混合 #import "GPUImageMaskFilter.h" //遮罩混合 #import "GPUImageHazeFilter.h" //朦胧加暗 #import "GPUImageLuminanceThresholdFilter.h" //亮度阈 #import "GPUImageAdaptiveThresholdFilter.h" //自適應阈值 #import "GPUImageAddBlendFilter.h" //通常用於創建兩個圖像之間的動畫變亮模糊效果 #import "GPUImageDivideBlendFilter.h" //通常用於創建兩個圖像之間的動畫變暗模糊效果 #pragma mark - 尚不清楚 #import "GPUImageJFAVoroniFilter.h" #import "GPUImageVoroniConsumerFilter.h"
tip8:H264 硬編碼
如果使用 ijkplayer 想開啟硬解碼,一句代碼即可。
// 開啟硬解碼 [option setPlayerOptionValue:@"1" forKey:@"videotoolbox"];
硬編碼的應用場景:我們要把主播的視頻數據傳送給服務器。
通過攝像頭採集圖像,然後把採集到的圖像以硬編碼方式進行編碼,最後把編碼後的數據組合成 H264 碼流,通過網絡傳播出去。
攝像頭採集圖像方面,iOS 系統提供了 AVCaptureSession 來獲取攝像頭的圖像數據。項目裡我直接使用了 GPUImage 中的 GPUImageVideoCamera,只要設置它的代理即可,在其代理方法 - (void)willOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer; 中進行數據編碼即可。
切記一點:無論是系統自帶的 AVCaptureSession 還是 GPUImageVideoCamera,採集到的數據都是未經編碼的 CMSampleBuffer。
然後,把採集到的數據用 iOS 開放的 VideoToolbox 進行硬編碼。網上關於 VideoToolbox 硬編解碼的教程很多,當然最好還是看 Apple 官方文檔;如果只是想做硬編碼,看我的項目即可。
關鍵的編碼函數
void didCompressH264(void *outputCallbackRefCon, void *sourceFrameRefCon, OSStatus status, VTEncodeInfoFlags infoFlags, CMSampleBufferRef sampleBuffer ) { if (status != 0) return; // 采集的未編碼數據是否准備好 if (!CMSampleBufferDataIsReady(sampleBuffer)) { NSLog(@"didCompressH264 data is not ready "); return; } ALinH264Encoder* encoder = (__bridge ALinH264Encoder*)outputCallbackRefCon; bool keyframe = !CFDictionaryContainsKey((CFArrayGetValueAtIndex(CMSampleBufferGetSampleAttachmentsArray(sampleBuffer, true), 0)), kCMSampleAttachmentKey_NotSync); if (keyframe) // 關鍵幀 { CMFormatDescriptionRef format = CMSampleBufferGetFormatDescription(sampleBuffer); size_t sparameterSetSize, sparameterSetCount; const uint8_t *sparameterSet; OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 0, &sparameterSet, &sparameterSetSize, &sparameterSetCount, 0 ); if (statusCode == noErr) { size_t pparameterSetSize, pparameterSetCount; const uint8_t *pparameterSet; OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 1, &pparameterSet, &pparameterSetSize, &pparameterSetCount, 0 ); if (statusCode == noErr) { encoder->sps = [NSData dataWithBytes:sparameterSet length:sparameterSetSize]; encoder->pps = [NSData dataWithBytes:pparameterSet length:pparameterSetSize]; NSLog(@"sps:%@ , pps:%@", encoder->sps, encoder->pps); } } } CMBlockBufferRef dataBuffer = CMSampleBufferGetDataBuffer(sampleBuffer); size_t length, totalLength; char *dataPointer; OSStatus statusCodeRet = CMBlockBufferGetDataPointer(dataBuffer, 0, &length, &totalLength, &dataPointer); if (statusCodeRet == noErr) { size_t bufferOffset = 0; static const int AVCCHeaderLength = 4; while (bufferOffset < totalLength - AVCCHeaderLength) { uint32_t NALUnitLength = 0; memcpy(&NALUnitLength, dataPointer + bufferOffset, AVCCHeaderLength); NALUnitLength = CFSwapInt32BigToHost(NALUnitLength); NSData *data = [[NSData alloc] initWithBytes:(dataPointer + bufferOffset + AVCCHeaderLength) length:NALUnitLength]; bufferOffset += AVCCHeaderLength + NALUnitLength; NSLog(@"sendData-->> %@ %lu", data, bufferOffset); } } }
雖說這個項目是個山寨的、高仿的,但它依然已經相當龐大了。具體的細節還是需要大家自己去翻我的源碼,短短幾千字還真說不清這麼多知識點。文章名字說了是「初窺」,那就真的只是初窺——視頻直播裡的坑實在太多,且行且珍惜……
Xcode 7(及以上)
最好把項目跑在真機上。有些地方模擬器是不支持的,也看不到任何效果,比如硬編碼、智能美顏等,這些功能模塊我都做了限制,需要真機狀態才能進行。