溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

iOS視頻編輯之添加音軌的方法

發(fā)布時間：2020-09-23 16:21:41 來源：腳本之家 閱讀：244 作者：Lucifron 欄目：移動開發(fā)

之前各種事情在身，發(fā)現(xiàn)好久沒更新文章了，臨近年末，就把最近做的視頻處理相關(guān)的內(nèi)容整理一下吧～

最近在做視頻編輯處理相關(guān)的開發(fā)，其中之一就是音視頻合成，需求是用戶可以選擇將相冊中的視頻，然后將一段音樂片段加入其中，并可以實時調(diào)整視頻原聲以及添加的音樂音量，最后合成為一個視頻。

分析

首先對于視頻處理，萬能的ffmpeg肯定可以實現(xiàn)，但依賴ffmpeg并用一段magic一樣的語句維護擴展都十分有限，對ffmpeg結(jié)構(gòu)不熟悉的話大量c的api也會無從下手，適合熟悉ffmpeg并且對AVFoundation陌生者使用。

其次的最優(yōu)方案就是AVFoundation了，作為蘋果音視頻編輯的利器可謂十分強大，官方有一 demo利用AVAudioEngine來實現(xiàn)音頻的混音，甚至可以對pcm數(shù)據(jù)進行編輯，但是缺點也很明顯：1 和視頻沒什么關(guān)系，還得啟一個AVAudioPlayerNode來播放（那還不如單獨用AVAudioPlayer得了） 2 并沒有對音頻如“美聲，變音”之類的需求。所以不作為考慮范圍，不過可以實現(xiàn)一些特殊音效還是很厲害的，感興趣可以下來官方demo-Using AVAudioEngine for Playback, Mixing and Recording (AVAEMixerSample) 看看。

我最后選用的方案就是AVAudioMix，熟悉AVPlayer以及AVPlayerItem的話可能會注意到AVAudioMix 是作為屬性存在于AVPlayerItem的分類中。

/*!
 @property audioMix
 @abstract Indicates the audio mix parameters to be applied during playback
 @discussion
  The inputParameters of the AVAudioMix must have trackIDs that correspond to a track of the receiver's asset. Otherwise they will be ignored. (See AVAudioMix.h for the declaration of AVAudioMixInputParameters and AVPlayerItem's asset property.)
 */
@property (nonatomic, copy, nullable) AVAudioMix *audioMix;

"Indicates the audio mix parameters to be applied during playback" 表明audioMix是可以在播放的時設(shè)置，需要注意的就是trackID需要對應(yīng)。

補充：可能有人覺得最簡單的是同時創(chuàng)建一個AVPlayer負(fù)責(zé)播放視頻，一個AVAudioPlayer播放音樂；當(dāng)然這種方法是可以實現(xiàn)基本需求，但完美出同步這倆個播放器的狀態(tài)會是一個問題，而且最終還是要經(jīng)歷混音寫文件過程，從邏輯上看十分糟糕。

播放實現(xiàn)

為了表述清晰下面省略AVPlayer等沒太大關(guān)系的代碼，同樣也可以下載我的 demo 來查看所有內(nèi)容。

流程如下：
1 創(chuàng)建視頻以及音頻的AVURLAsset

AVURLAsset *videoAsset = [AVURLAsset assetWithURL:[NSURL fileURLWithPath:[[NSBundle mainBundle] pathForResource:@"demo" ofType:@"mp4"]]];
AVURLAsset *musicAsset = [AVURLAsset assetWithURL:[NSURL fileURLWithPath:[[NSBundle mainBundle] pathForResource:@"music" ofType:@"mp3"]]];

2 聲明并實例化音視頻處理的核心類

@property (nonatomic, readwrite, strong) AVMutableComposition *composition;
@property (nonatomic, readwrite, strong) AVMutableVideoComposition *videoComposition;
@property (nonatomic, readwrite, strong) AVMutableAudioMix *audioMix;
AVMutableComposition *composition = [AVMutableComposition composition];
AVMutableVideoComposition *videoComposition = [AVMutableVideoComposition videoComposition];
AVMutableAudioMix *audioMix = [AVMutableAudioMix audioMix];

3 創(chuàng)建1條視頻處理軌道以及2條音頻處理軌道（視頻原聲+添加的音樂這倆條音軌）

AVMutableCompositionTrack *compositionVideoTracks = [composition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid];
AVMutableCompositionTrack *compositionAudioTracks[2];
compositionAudioTracks[0] = [composition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid];
compositionAudioTracks[1] = [composition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid];

4 根據(jù)之前創(chuàng)建好的視頻以及音頻資源（AVURLAsset）實例化一條視頻軌道以及2條音頻軌道

AVAssetTrack *videoTrack = [[asset tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0];
[compositionVideoTracks insertTimeRange:self.videoTimeRange ofTrack:videoTrack atTime:kCMTimeZero error:&error];
    
AVAssetTrack *audioTrack = [[asset tracksWithMediaType:AVMediaTypeAudio] objectAtIndex:0];
[_comTrack1 insertTimeRange:self.videoTimeRange ofTrack:audioTrack atTime:kCMTimeZero error:&error];
    
AVAssetTrack *musicTrack = [[self.musicAsset tracksWithMediaType:AVMediaTypeAudio] objectAtIndex:0];
[_comTrack2 insertTimeRange:self.videoTimeRange ofTrack:musicTrack atTime:kCMTimeZero error:&error];

5 配置AVMutableAudioMix參數(shù)，注意這里的trackID一定得是上面創(chuàng)建的AVMutableCompositionTrack對應(yīng)的trackID，而不是AVAssetTrack中的trackID，之前使用AVAssetTrack出過很奇怪的問題，而后在StackOverFlow上找到了這個解決方案

 NSMutableArray<AVAudioMixInputParameters *> *trackMixArray = [NSMutableArray<AVAudioMixInputParameters *> array];
  {
    AVMutableAudioMixInputParameters *trackMix1 = [AVMutableAudioMixInputParameters audioMixInputParametersWithTrack:_comTrack1];
    trackMix1.trackID = _comTrack1.trackID;
    [trackMix1 setVolume:_videoVolume atTime:kCMTimeZero];
    [trackMixArray addObject:trackMix1];
    
    AVMutableAudioMixInputParameters *trackMix2 = [AVMutableAudioMixInputParameters audioMixInputParametersWithTrack:_comTrack2];
    trackMix2.trackID = _comTrack2.trackID;
    [trackMix2 setVolume:_musicVolume atTime:kCMTimeZero];
    [trackMixArray addObject:trackMix2];
  }
  
 audioMix.inputParameters = trackMixArray;

6 構(gòu)建AVPlayerItem, 設(shè)置asset以及最重要的audioMix，然后交給AVPlayer就可以同時播放視頻與音樂了！

- (AVPlayerItem *)playerItem {
  if (!_currentItem) {
    AVPlayerItem *playerItem = [AVPlayerItem playerItemWithAsset:self.composition];
    playerItem.videoComposition = self.videoComposition;
    playerItem.audioMix = self.audioMix;
    _currentItem = playerItem;
  }
  return _currentItem;
}

7 播放時調(diào)整音量，這里其實和第5步一樣，重新配置AVMutableAudioMix參數(shù)后賦值給AVPlayerItem，設(shè)置音樂音量同理

- (void)setVideoVolume:(CGFloat)volume {
  NSMutableArray *allAudioParams = [NSMutableArray array];
  
  AVMutableAudioMixInputParameters *audioInputParams =
  [AVMutableAudioMixInputParameters audioMixInputParameters];
  [audioInputParams setTrackID:_comTrack1.trackID];
  _videoVolume = volume;
  [audioInputParams setVolume:_videoVolume atTime:kCMTimeZero];
  [allAudioParams addObject:audioInputParams];
  
  AVMutableAudioMixInputParameters *audioInputParams2 =
  [AVMutableAudioMixInputParameters audioMixInputParameters];
  [audioInputParams2 setTrackID:_comTrack2.trackID];
  [audioInputParams2 setVolume:_musicVolume atTime:kCMTimeZero];
  [allAudioParams addObject:audioInputParams2];
  
  AVMutableAudioMix *audioMix = [AVMutableAudioMix audioMix];
  [audioMix setInputParameters:allAudioParams];
  
  [_currentItem setAudioMix:audioMix];
}

導(dǎo)出實現(xiàn)

這里直接使用AVAssetExportSession來導(dǎo)出視頻，與設(shè)置AVPlayerItem的audioMix屬性相同，將audioMix設(shè)置給AVAssetExportSession實例即可導(dǎo)出混合的視頻了

  NSURL *outputFileUrl = [NSURL fileURLWithPath:outputPath];  
  AVAssetExportSession *_assetExport =[[AVAssetExportSession alloc]initWithAsset:self.composition presetName:AVAssetExportPreset1280x720];
  _assetExport.outputFileType = AVFileTypeMPEG4;
  _assetExport.audioMix = _currentItem.audioMix;
  _assetExport.outputURL = outputFileUrl;
  _assetExport.shouldOptimizeForNetworkUse = YES;  
  [_assetExport exportAsynchronouslyWithCompletionHandler:^{
    //
  }];

最后貼上Demo地址 https://github.com/lucifron1994/VideoMixAudioDemo

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持億速云。

向AI問一下細節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手