fro…

zh-CN,zh;q0.9,en;q0.8,en-GB;q0.7,en-US;q0.6,Connection:

keep-alive,Origin:

http://www.kpd510.me/,Sec-Fetch-Dest:

cors,Sec-Fetch-Site:

parse_m3u8_text(m3u8_text):m3u8_text

[line

line.startswith(#EXT-X-KEY:)][0]pattern

r#EXT-X-KEY:METHOD(.*),URI\(.*)\

获得加密method

decrypt_content_and_save_file(filename,

content,

f:f.write(decrypter.decrypt(content))def

ts_file_list):with

f2:f1.write(f2.read())print(filename,

完成)def

os.path.split(ts_url)[-1]content

requests.get(ts_url,

headersheaders).contentdecrypt_content_and_save_file(filename,

content,

keykey)ts_file_list.append(filename)return

ts_file_listdef

filename):self.pbar.update(1)self.filenames.append(filename)callback

Pool(processesprocesses_nums)for

ts_url

ts_list:pool.apply_async(process_one_url,

(ts_url,

callbackcallback.callback)pool.close()pool.join()callback.pbar.close()return

[dirs

https://play.bo262626.com/20231108/xV1bY9Cn/700kb/hls/index.m3u8response

headersheaders)m3u8

headersheaders).contentts_file_list

keykey,

processes_nums10)merge_ts_to_mp4(test.mp4,

ts_file_list)二、视频分析

要注意的是只有预览里面包含了ts信息的才算是我们需要的m3u8文件大家可以看到左侧有两个index.m3u8其中一个是没有ts信息的所以我们直接忽略掉现在我们先下载来再来具体分析一下m3u8文件以及里面的内容分别表达什么意思

下载代码如下

zh-CN,zh;q0.9,en;q0.8,en-GB;q0.7,en-US;q0.6,Connection:

keep-alive,Origin:

http://www.kpd510.me/,Sec-Fetch-Dest:

cors,Sec-Fetch-Site:

requests.get(https://play.bo262626.com/20231108/xV1bY9Cn/700kb/hls/index.m3u8,

headersheaders)m3u8

response.textm3u8文件的实质是一个视频的url列表其中ts是计算器可以直接播放的视频格式文件但是直接下载是可能被加了密的文件我们需要m3u8文件内容信息进行解密

我们可以这样理解m3u8把一个完整的mp4视频切割成了很多的小块每一个小块在m3u8都是ts文件格式并在m3u8中采取了加密的措施至于为什么要加密这里就不多介绍

在一般的视频爬取中我们只需要考虑两个部分一个是EXT-X-KEY一个是ts

其中EXT-X-KEY包含了ts的加密方式ts包含了ts文件的下载地址

在红色部分也就是EXT-X-KEY部分我们可以从METHOD中获取到采取的加密方式是AES-128同时看到URI的地址/20231126/10VkaJks/700kb/hls/key.key这也就是AES加密密匙的地址key.key接下来我们写一个文件来对m3u8文件解析目的是提取出红色部分和蓝色部分

代码如下

parse_m3u8_text(m3u8_text):m3u8_text

[line

line.startswith(#EXT-X-KEY:)][0]pattern

r#EXT-X-KEY:METHOD(.*),URI\(.*)\

获得加密method

/20231108/xV1bY9Cn/700kb/hls/key.key

ts_list

因为构建解密器我们需要密钥而密钥存储在key.key中首先我们需要解析key_url获取密钥

/20231108/xV1bY9Cn/700kb/hls/key.key这不是一个完整的url我们在这里加上获取m3u8请求的主域名便好

代码如下

zh-CN,zh;q0.9,en;q0.8,en-GB;q0.7,en-US;q0.6,Connection:

keep-alive,Origin:

http://www.kpd510.me/,Sec-Fetch-Dest:

cors,Sec-Fetch-Site:

是一个二进制结果得到了密钥再结合加密方式AES-128我们就可以构建一个解密器构建解密器代码如下

from

AES.MODE_CBC)这里要提起的是网络上的m3u8文件采取的加密一般是AES.MODE_CBC模式在后续操作中如果这里出问题就换MODE一个一个试就好

下载ts文件

由于有许多的ts文件我们有三种方法第一是简单的requests请求一个一个下这也是最费时的一种第二个是多进程或者多线程的方式下载第三个是采用协程的方式接下来我们一个个实现

在开始之间ts_list存在同样的问题就是需要重构url这里代码如下

ts_list

[https://play.bo262626.com/20231108/xV1bY9Cn/700kb/hls/o3jSJ9mc.ts,

https://play.bo262626.com/20231108/xV1bY9Cn/700kb/hls/GNHDlClJ.ts,

https://play.bo262626.com/20231108/xV1bY9Cn/700kb/hls/zKym5c6V.ts,

https://play.bo262626.com/20231108/xV1bY9Cn/700kb/hls/4ll4NQH3.ts,

https://play.bo262626.com/20231108/xV1bY9Cn/700kb/hls/RwUOniSQ.ts

import

decrypt_content_and_save_file(filename,

content):with

f:f.write(decrypter.decrypt(content))def

key):decrypter

os.path.split(ts_url)[-1]content

requests.get(ts_url,

headersheaders).contentdecrypt_content_and_save_file(filename,

content,

decrypt_content_and_save_file(test.ts,

test_content)##

keykey)ts_file_list.append(filename)return

ts_file_list#

filename):self.pbar.update(1)self.filenames.append(filename)callback

Pool(processesprocesses_nums)for

ts_url

ts_list:pool.apply_async(process_one_url,

(ts_url,

callbackcallback.callback)pool.close()pool.join()callback.pbar.close()return

[dirs

processes_nums10)爬取巨快1分钟下载20多分钟的视频

合并ts文件为mp4

f2:f1.write(f2.read())merge_ts_to_mp4(test.mp4,

ts_file_list)后续如果需要删除ts_list_need_to_merge/这个临时文件夹里面的所有内容直接运行下面代码

import

send2trashsend2trash.send2trash(ts_list_need_to_merge/)

send2trash.send2trash(dirs)三、总结

别在图书馆测试这段代码