U
ú´gõb ã @ sp d dl Z d dlZd dlZd dlZd dlmZ d dlmZmZ d dlZej
d¡ d dl m Z G dd„ de ƒZ dS )é N)Údatetime)ÚquoteÚunquotez..)ÚSpiderc @ s¾ e Zd Zdd„ Zdd„ Zdd„ Zdd„ Zd d
„ Zd d „ Zd
d„ Z dd„ Z
dd„ Z dd„ Z dd„ Z
dd„ Zdd„ Zdd „ Zd/d d „Zd0d d!„Zd"d#„ Zd$d%„ Zd&d'„ Zd(d)„ Zd*Zd+d,d-œZd.S )1r c C s dS )Nõ
B站视频© ©Úselfr r ú-/storage/emulated/0/lz/py/sy/py_bilibilivd.pyÚgetName s zSpider.getNamec C s( zt |¡| _W n i | _Y nX d S ©N)ÚjsonÚloadsÚ
extendDict)r Úextendr r r
Úinit s z Spider.initc C s d S r r )r Úurlr r r
Ú
isVideoFormat s zSpider.isVideoFormatc C s d S r r r r r r
ÚmanualVideoCheck s zSpider.manualVideoCheckc
C sä i }i |d< d}d| j kr$| j d }d| j krZ| j| j d dd}d| ¡ krZ| ¡ d }|dkrhd}n*t|ƒtkr’| d¡r’| j|ddj ¡ }z t|ƒtkr®tj |d d
}W n Y nX |
|¡\}}}| d ¡}|ræg |d < ng |d < d| j krR| j| j d dd}| ¡ }d
|kr4|d |d
|d < |r¸d|kr¸|d |d< nfd| j ksjd| j kr¸d| j krˆ| j d d¡}n| j d d¡}|D ]} |d
| | dœ¡ qœd |ksÐ|d g kràdddœg|d < |S )NÚfiltersÚ Úcookier
é
©Útimeoutú{}ÚhttpF©Ú ensure_asciiÚbbloginÚclassÚclassesÚfilterÚ
categoriesÚtypeú#)Ú type_nameÚtype_idu 沙雕动漫)r Úfetchr
r$ ÚstrÚ
startswithÚtextÚstripÚdictÚdumpsÚ getCookieÚgetCacheÚsplitÚappend)
r r" Úresultr ÚrÚ_r ÚparamsZcateListZcater r r
Ú homeContent sP
zSpider.homeContentc C s¨ i }d}d| j kr | j d }d| j krR| j| j d dd}d| ¡ krR| ¡ d }|dkr`d}n*t|ƒtkrŠ| d¡rŠ| j|ddj ¡ }z t|ƒtkr¦tj |dd }W n Y nX |
|¡\}}}d
}t j ||| j
d d }t | |j¡¡}z¦g |d
< |d d }|D ]ˆ} t| d ƒ ¡ }
| | d ¡ ¡ } | d ¡ } t dt | d ¡¡}
|
d¡rj|
dd … }
|
dkrxq
|d
|
| | |
dœ¡ q
W n Y nX |S )Nr r r
r r r r Fr z¬https://api.bilibili.com/x/web-interface/index/top/feed/rcmd?y_num=1&fresh_type=3&feed_version=SEO_VIDEO&fresh_idx_1h=1&fetch_row=1&fresh_idx=1&brush=0&homepage_ver=1&ps=20é ©ÚcookiesÚheadersr ÚlistÚdataÚitemÚidÚtitleÚpicú%H:%M:%SÚdurationú00:é z00:00©Úvod_idÚvod_nameÚvod_picÚ vod_remarks)r r( r
r$ r) r* r+ r, r- r. r/ ÚrequestsÚgetÚheaderr Ú cleanTextÚremoveHtmlTagsÚtimeÚstrftimeÚgmtimer2 )r r3 r r4 ÚimgKeyÚsubKeyr r= ÚvodListÚvodÚaidr@ ÚimgÚremarkr r r
ÚhomeVideoContentK sT
üzSpider.homeVideoContentc ! C s° t |ƒ}i }g }d}|}d| jkr,| jd }d| jkrb| j| jd dd} d| ¡ krb| ¡ d }|dkrpd}n*t|ƒtkrš| d¡rš| j|ddj ¡ }z t|ƒt kr¶tj
|dd }W n Y nX | |¡\}}
} |d
kr |d kr| d ¡} | süd} d
| › d|› }
n
d|› }
| j|
|| j
dd} t | | j¡¡}| d |d d ¡ |d d }|d d rt|d }|D ]¢}|d dkrŽqxt|d d d d d ƒ ¡ }|d d d d d ¡ }| |d d d d d ¡ ¡ }|d d d d d }| ||||d œ¡ qxn\|d krÔ| |¡}|d krFi d fS d!|› d"}
| j|
|| j
dd} t | | j¡¡}|d d# }|}|D ]B}|d$ }|d ¡ }|d% }d&}| d'|› ||d(|d)œ¡ qŒn¨| d'¡rÐ|d*d … }d+|› d,|› d-}
| j|
|| j
dd} t | | j¡¡}|d d r<|d }n|}|d d. }|D ]z}t|d$ ƒ ¡ }| |d ¡ d/d0¡}|d ¡ }t d1t |d2 ¡¡}| d3¡r´|d4d … }| ||||d œ¡ qPn¬| d5¡r„|d*d … }|d6|d7œ}| ||
| ¡}d8}
|D ]"}|
d9|› d:t|| ƒ› 7 }
q
| j|
|| j
dd} t | | j¡¡}||d d; d< k rt|d }n|}|d kr”d5t› d=d>œg}|d d# d? }|D ]Ö}t|d ƒ ¡ }| |d ¡ d/d0¡}|d@ ¡ }|dA dB¡}t |dC ƒ}|dDkr`t|dD ƒ}t|dD ƒ}t |ƒd kr0dE| }t |ƒd krFdE| }|dB | dB |d }n|dA }| ||||d œ¡ q¨nø|dFkrÄdG|› }
| j|
|| j
dd} t | | j¡¡}t |d ƒdHkrÚ|d }n|}|d }|D ]Ô}|d2 dCkr qêt|d ƒ ¡ }|d@ ¡ }| |d ¡ d/d0¡}|dI dJkrêt d1t |dI ¡¡}t d1t |d2 ¡¡} | d3¡r„|d4d … }| d3¡rœ| d4d … } |dK | }| ||||d œ¡ qên¸dL}
|D ]4}|dMkræ|| }qÌ|
d9|› d:|| › 7 }
qÌ|
||¡}
| j|
|| j
dd} t | | j¡¡}|d dN }|d dO }|D ](}|d dPkrhqPt|d ƒ ¡ }| | |d ¡¡}dQ|d@ ¡ }|d2 dB¡} t | dC ƒ}| d } t | ƒd krÔdE| } |dDkr8t|dD ƒ} t|dD ƒ}t | ƒd kr dE| } t |ƒd kr"dE| }| › dB|› dB| › }n,t|ƒ}t |ƒd krVdE| }|› dB| › }| ||||d œ¡ qPt |ƒ} ||d#< ||d;< ||dR< | |dS< | |dT< |S )UNr r r
r r r r Fr u 动æ€é Úoffsetz`https://api.bilibili.com/x/polymer/web-dynamic/v1/feed/all?timezone_offset=-480&type=all&offset=ú&page=z^https://api.bilibili.com/x/polymer/web-dynamic/v1/feed/all?timezone_offset=-480&type=all&page=r8 r9 r= ÚitemsZhas_morer$ ZDYNAMIC_TYPE_AVÚmodulesZmodule_dynamicÚmajorÚarchiverW Z
duration_textr@ ZcoverrF u 收è—夹z@http://api.bilibili.com/x/v3/fav/folder/created/list-all?up_mid=z &jsonp=jsonpr< r? Z media_countz/https://api-lmteam.koyeb.app/files/shoucang.pngzfav&&&Úfolder)rG rH rI Úvod_tagrJ é z8http://api.bilibili.com/x/v3/fav/resource/list?media_id=z&pn=z&ps=20&platform=web&type=0Zmediasz"ú"rB rC rD rE õ UP主&&&é )ÚmidZpsZpnz0https://api.bilibili.com/x/space/wbi/arc/search?ú&ú=ÚpageÚcountõ æ’放列表)rG rH ÚvlistrA Úlengthú:r é< Ú0u 历å²è®°å½•z(http://api.bilibili.com/x/v2/history?pn=i, Úprogresséÿÿÿÿú|zYhttps://api.bilibili.com/x/web-interface/search/type?search_type=video&keyword={}&page={}ÚtidZnumPagesr3 Úvideoúhttps:Ú pagecountÚlimitÚtotal) Úintr r( r
r$ r) r* r+ r, r- r. r/ r0 rM r rN ÚsetCacherO r2 Ú getUseridÚreplacerP rQ rR ÚencWbir rv r1 ÚlenÚformat)!r Úcidrk r" Úextr3 Úvideosr ry r4 rS rT r\ r r= rU rV ÚvidrY r@ rX Zuseridr6 ÚkeyZ remarkinfosÚminutesÚhoursÚprocessZ totalTimeÚ
remarkinfoÚsecondsÚhourZ lenvideosr r r
ÚcategoryContentw s’
"ü
û
ü
ü
ü
ü zSpider.categoryContentc C st |d }| d¡rú|dd … }d}d|› d|› d}| j|| jdd }| ¡ d
d }|d d
dœ}d} |D ]r}
t dt |
d ¡¡} | |
d ¡ ¡ dd¡ dd¡} | d¡r¼| dd … } | d| › d| › d|
d › d7 } qj| d¡|d < d |gi}
|
S d |› }| j|| jd d }t
| |j ¡¡}d |d
krnd}|d
d D ]$}|d!
|d" |d# |d# ¡7 }qFn2d$
|d
d% d" |d
d% d# |d
d% d# ¡}|| |d
d ¡|d
d& |d
d' t |d
d( ¡ d)¡|d
d* d+d,¡ d-d.¡ ¡ |d/œ}|d
d0 }d} |D ]|}
t dt |
d ¡¡} | |
d1 ¡ ¡ dd¡ dd¡} | d¡rj| dd … } | d| › d| › d|› d2|
d3 › d } qd4|› }| j|| jdd }t
| |j ¡¡}|d
}| d¡d5 } |D ]r}
t dt |
d ¡¡} | d¡r| dd … } | |
d ¡ ¡ dd¡ dd¡} | d6
| | |
d7 |
d3 ¡ } qÜd8|d9< | d¡|d < d |gi}
|
S ):Nr rf rd r zNhttps://api.bilibili.com/x/v2/medialist/resource/list?mobi_app=web&type=1&oid=z&biz_id=zO&otype=1&ps=100&direction=false&desc=true&sort_field=1&tid=0&with_current=falser8 ©r; r r= Z
media_listrm r )rG rH Ú
vod_play_fromrB rC r@ r% ú-ú$Ú*rD rE Ú[z]/z$bvid&&&Zbv_idÚ vod_play_urlr< z2https://api.bilibili.com/x/web-interface/view?aid=r Ústaffu0 [a=cr:{{"id":"UP主&&&{}","name":"{}"}}/]{}[/a],rh Únameu/ [a=cr:{{"id":"UP主&&&{}","name":"{}"}}/]{}[/a]ÚownerrA ZtnameZpubdatez%Y-%m-%d %H:%M:%SÚdescõ  ú z
Ú
)rG rH rI r& Úvod_yearÚ vod_contentÚ vod_directorZpagesÚpartr5 rƒ z=https://api.bilibili.com/x/web-interface/archive/related?aid=z$$$z[{}]/{}${}_{}#rW u B站视频$$$相关视频r )r* r( rM r
rP rQ rR rO r, r r rN r+ r‚ r Ú
fromtimestamp)r ZdidrW ZbizIdÚoidr r4 Ú videoListrV ÚplayUrlrw rY r— r3 r= Zdirectorr– r r r
Ú
detailContentI s~
ý"
"
$2
ù " *
" ÿÿzSpider.detailContentc C s | ||d¡S )NÚ1)ÚsearchContentPage)r r‡ Úquickr r r
Ú
searchContentŽ s zSpider.searchContentc C st g }|rd|i}|S d}d| j kr,| j d }d| j krb| j| j d dd}d| ¡ krb| ¡ d }|dkrpd}n*t|ƒtkrš| d¡rš| j|ddj ¡ }z t|ƒtkr¶tj |d d
}W n Y nX |
|¡\}}}d |› d |› } | j| | j |d
d}t |
|j¡¡}
d|
d kr&d|idfS |
d d } | D ].} t| d ƒ ¡ }
| |
| d ¡¡}d| d ¡ }z&| d d¡}t|d ƒ}|d }W n Y q6Y nX t|ƒdkrÀd| }|dkr$t|d ƒ}t|d ƒ}t|ƒdkrød| }t|ƒdkrd| }|› d|› d|› }n,t|ƒ}t|ƒdkrBd| }|› d|› }| |
|||dœ¡ q6d|i}|S ) Nr< r r r
r r r r Fr zOhttps://api.bilibili.com/x/web-interface/search/type?search_type=video&keyword=r] r8 )r; r: r r3 r= r[ rW r@ rx rA rC rp r rr rq rF )r r( r
r$ r) r* r+ r, r- r. r/ rM r rN rO r1 r| r r2 )r r‡ r¨ rk r… r3 r r4 r5 r ÚjorU rV rW r@ rX r‹ rˆ rŒ r rY r r r
r§ ‘ s~ ÿ
ü ÿzSpider.searchContentPagec
C sÀ i }| d¡rPd |dd … ¡}| j|| jdd}| ¡ d }|d }|d } n| d ¡}
|
d
}|
d } d || ¡}d
} | j} d| kr| d } d| krÂ| j| d dd}d| ¡ krÂ| ¡ d } | d
krÐd} n*t| ƒtkrú| d¡rú| j| ddj
¡ } z t| ƒt krtj | dd} W n Y nX |
| ¡\}
}}tt |
¡ƒ}d| kr^t| d ƒ}nd}d
|d< d
|d< d|› dt|ƒ› d|› d | › d |›
|d < | j|d < d | ¡|d!< d"|d#< |S )$Nzbvid&&&z5https://api.bilibili.com/x/web-interface/view?bvid={}é r r r= rW rƒ r5 r r[ zZhttps://api.bilibili.com/x/player/playurl?avid={}&cid={}&qn=120&fnval=4048&fnver=0&fourk=1r r r
r r r Fr Úthreadrr Úparser¤ z3http://127.0.0.1:9978/proxy?do=py&type=mpd&cookies=ú&url=ú&aid=ú&cid=ú&thread=r rM z/https://api.bilibili.com/x/v1/dm/list.so?oid={}Zdanmakuúapplication/dash+xmlr‚ )r* r‚ r( rM r
r1 r r$ r) r+ r, r- r. r/ r )r ÚflagÚpidÚvipFlagsr3 r r4 r= rW rƒ ZidListr r Z cookiesDictr5 r: r¬ r r r
Ú
playerContentÓ sP
*
zSpider.playerContentc C s0 |d dkr| |¡S |d dkr,| |¡S d S )Nr$ ÚmpdÚmedia)ÚproxyMpdÚ
proxyMedia)r r6 r r r
Ú
localProxyÿ s
zSpider.localProxyc C s d S r r r r r r
Údestroy s zSpider.destroyc C sÒ | |¡\}}}|dkr"dd|gS d}d|d d kr\|d d d r\|g|d d d n|g}|D ]}d|krf qxqf| j ¡ }d |kr–|d |d
< d |kr²||d < d
dd |gS tj||dd}dd|jgS d S )Nr· éÈ r² r Z
backup_urlÚdurlr úmcdn.bilivideo.cnÚrangeÚRangez127.0.0.1:7777ÚLocationi. z
video/MP2TT©r; ÚstreaméÎ úapplication/octet-stream)ÚgetDashrM ÚcopyrK rL Úcontent) r r6 rÉ Z durlinfosZ mediaTyper ÚurlListrM r4 r r r
r¹ s
<
zSpider.proxyMpdFc C sð | |¡\}}}d|kr2t|d ƒ}|d | }n,d|krTt|d ƒ}|d | }n
dddgS d}d|kr„|d r„|d g|d n|d g} | D ]}d
|kr’ q¤q’|dkr¶dddgS | j ¡ }
d |krÔ|d |
d < tj||
d
d} dd| jgS )NÚvideoidrw ÚaudioidÚaudioi” z
text/plainr Z backupUrlÚbaseUrlr¿ rÀ rÁ Trà rÅ rÆ )rÇ r| rM rÈ rK rL rÉ ) r r6 Ú forceRefreshr5 Ú dashinfosrË ZdashinforÌ r rÊ rM r4 r r r
rº s(
,
zSpider.proxyMediac % C sD |d }|d }t |d ƒ}d|kr.|d }nd}| j ¡ }t |d ¡}d|› d|› } |rj| | ¡ n$| | ¡}
|
rŽ|
d |
d
|
d fS | ¡ } | j|| |d d
} t | | j ¡¡}
|
d dkrÐdi dfS d|
d krž|
d d d d }
z t
t d|
¡
d¡ƒd }W n t
t ¡ ƒd }Y nX t
|ƒdkrvz| d¡ W n | d¡ Y nX dt|
ƒ› d|› }
| | |
d|
d |d œ¡ |
|
d dfS |
d d }|d }|d }d}d}g }|d D ]}z t
t d|d ¡
d¡ƒ}W n t
t ¡ ƒd }Y nX | |¡ |d! }|d" }|d# }|d$ }|d% }|d& } | ¡ } || d'< d(tt | ¡ƒ› d)t|ƒ› d*|› d+|› d,|›
} |d-|› d.|› d/|› d0|› d1| › d2|› d3| › d4|d5 d6 › d7|d5 d8 › d9 }|d7 }qÎd} d} |d: D ]ê}!z t
t d|!d ¡
d¡ƒ}W n t
t ¡ ƒd }Y nX | |¡ |!d" }|!d! }|!d& }"| ¡ }#| |#d;< d(tt | ¡ƒ› d)t|ƒ› d*|› d+|› d<| ›
} | d=|› d.|› d1|"› d3| › d4|!d5 d6 › d7|!d5 d8 › d9
} | d7 } qöd>|› d?|› d@| ¡ › dA| ¡ › dB }$t|ƒd }| | dC|$ dDdE¡||dFœ¡ |$ dDdE¡|dCfS )GNrW rƒ r r¬ r r: Zbilivdmpdcache_r5 rÉ rÐ r$ r8 r9 Úcoder Zdashr= r¾ zdeadline=(\d+)r[ rq iX zhttp://127.0.0.1:7777zhttp://127.0.0.1:9978/gozhttp://127.0.0.1:7777?url=r± Zmp4)rÉ r$ rÐ Ú expiresAtrC Ú
minBufferTimerw rÎ ÚcodecsÚ bandwidthÚ frameRateÚheightÚwidthr? rË z5http://127.0.0.1:9978/proxy?do=py&type=media&cookies=r® r¯ r° z &videoid=z"
z-
rÍ rÌ z &audioid=z<
z|
z+
r· ri z&)r$ rÉ rÐ rÒ )r rM rÈ r
r ÚdelCacher0 r( rN r+ r| ÚreÚsearchÚgrouprP r r} r2 r. r, Úminr )%r r6 rÏ rW rƒ r r¬ rM Z
cookieDictr‡ r= r: r4 ZpurlrÒ rÐ rC rÓ Z videoinforË Z deadlineListrw ZdeadlinerÔ rÕ rÖ r× rØ ÚvoidZ vidparamsrÎ Z audioinforÌ rÍ ZaoidZ aidparamsr· r r r
rÇ 3 sÀ
0(ÿ
þ
ý
0ÿ
þ
ý
ÿÿüù zSpider.getDashc
C s< d|kr d|kr t |¡}n tdd„ | d¡ d¡D ƒƒ}| d¡}|rb|d }|d }|||fS d d
i}tjd ||d d
}t |j¡}|d } | dkr|d d d dd¡d d¡d }|d d d dd¡d d¡d }|
d||t t ¡ ƒd dœ¡ |||fS | j
d|dd}|j ¡ }d }d }|||fS ) NÚ{Ú}c S s g | ]}| ¡ d d¡‘qS )rj r[ )r, r1 )Ú.0Úcor r r
Ú
ž s z$Spider.getCookie..ú;r rS rT ú
User-AgentúrMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.54 Safari/537.36z+http://api.bilibili.com/x/web-interface/navr r9 rÑ r r= Zwbi_imgZimg_urlú/r[ Ú.Zsub_urli° )rS rT rÒ zhttps://www.bilibili.com/r8 r r )r
r r- r, r1 r0 rK rL r+ Úrsplitr} r| rP r( r: Úget_dict)
r r r: r rS rT rM r4 r= rÑ r r r
r/ š s0
ÿ
&&
zSpider.getCookiec C sF d}| j ||| jdd}t | |j¡¡}|d dkrB|d d S d S )Nz&http://api.bilibili.com/x/space/myinfor8 r9 rÑ r r= rh )r( rM r
r rN r+ )r r r r4 r= r r r
r~ ¶ s
zSpider.getUseridc C s$ ddl m}m} |dƒ}||d|ƒS )Nr )ÚsubÚcompilez<.*?>r )rÚ rë rì )r Úsrcrë rì Úcleanr r r
rO ¾ s zSpider.removeHtmlTagsc
@ s" ddl m} ddlm} ddlm} ddddd d
d d d
ddddddddddddddd d d d d d!d"d#d$d%d&d'd(d)d*d+d,d-d.dd/d0d1d2d3d4d5d6d7d8d9d:d;dd?d@dAdBdCg@}|| ‰ |‡ fdDdE„|dFƒd d … }tt ¡ ƒ|dG< tt |
¡ ƒƒ}dHdI„ |
¡ D ƒ}||ƒ} || | ¡ ƒ ¡ |dJ< |S )KNr )Úmd5)Úreduce)Ú urlencodeé. é/ é é é5 é é é é é2 r é é: rE é- é# é é+ r8 é1 é! é é* é é é é é' é é& é) é
é% é0 r« é é é7 é( é= é é r[ rq é3 rg é é é é6 é é8 é; rd é? é9 é> é é$ é é" é, é4 c s | ˆ | S r r )ÚsÚi©Úorigr r
ÚÉ ó z Spider.encWbi..r Zwtsc S s* i | ]"\}}|d tdd„ t|ƒƒ¡“qS )r c S s | dkS )Nz!'()*r )Úchrr r r
r- Î r. z*Spider.encWbi...)Újoinr" r) )rá ÚkÚvr r r
Ú
Í s ÿ z!Spider.encWbi..Zw_rid)
Úhashlibrï Ú functoolsrð Ú urllib.parserñ ÚroundrP r- Úsortedr^ ÚencodeÚ hexdigest)
r r6 rS rT rï rð rñ ZmixinKeyEncTabZmixinKeyÚqueryr r+ r
r€ Ã s „ ýz
Spider.encWbir ræ zhttps://www.bilibili.com)rå ÚRefererN)F)F)Ú__name__Ú
__module__Ú __qualname__r r r r r7 rZ rŽ r¥ r© r§ r¶ r» r¼ r¹ rº rÇ r/ r~ rO r€ ÚretryrM r r r r
r s2 ,, SEB,
g þr )
rÚ Úsysr
rP r r6 r r rK Úpathr2 Ú base.spiderr r r r r
Ú s