o
ú´gõb ã @ sp d dl Z d dlZd dlZd dlZd dlmZ d dlmZmZ d dlZej
d¡ d dl m Z G dd„ de ƒZ dS )é N)Údatetime)ÚquoteÚunquotez..)ÚSpiderc @ s¾ e Zd Zdd„ Zdd„ Zdd„ Zdd„ Zd d
„ Zd d „ Zd
d„ Z dd„ Z
dd„ Z dd„ Z dd„ Z
dd„ Zdd„ Zdd „ Zd/d d „Zd/d d!„Zd"d#„ Zd$d%„ Zd&d'„ Zd(d)„ Zd*Zd+d,d-œZd.S )0r c C s dS )Nõ
B站视频© ©Úselfr r ú-/storage/emulated/0/lz/py/sy/py_bilibilivd.pyÚgetName ó zSpider.getNamec C s& z t |¡| _W d S i | _Y d S ©N)ÚjsonÚloadsÚ
extendDict)r Úextendr r r
Úinit s z Spider.initc C ó d S r
r )r Úurlr r r
Ú
isVideoFormat r zSpider.isVideoFormatc C r r
r r r r r
ÚmanualVideoCheck r zSpider.manualVideoCheckc
C sÌ i }i |d< d}d| j v r| j d }d| j v r-| j| j d dd}d| ¡ v r-| ¡ d }|dkr4d}nt|ƒtkrI| d¡rI| j|ddj ¡ }zt|ƒtkrWtj |d d
}W n Y |
|¡\}}}| d ¡}|rqg |d < ng |d < d| j v r£| j| j d dd}| ¡ }d
|v r–|d |d
|d < |r¢d|v r¢|d |d< n/d| j v sd| j v rÒd| j v r»| j d d¡}n| j d d¡}|D ] } |d
| | dœ¡ qÅd |vsÜ|d g krädddœg|d < |S )NÚfiltersÚ Úcookier é
©Útimeoutú{}ÚhttpF©Ú ensure_asciiÚbbloginÚclassÚclassesÚfilterÚ
categoriesÚtypeú#)Ú type_nameÚtype_idu 沙雕动漫)r Úfetchr r& ÚstrÚ
startswithÚtextÚstripÚdictÚdumpsÚ getCookieÚgetCacheÚsplitÚappend)
r r$ Úresultr ÚrÚ_r! ÚparamsZcateListÚcater r r
Ú homeContent sT
€
€
zSpider.homeContentc C sš i }d}d| j v r| j d }d| j v r)| j| j d dd}d| ¡ v r)| ¡ d }|dkr0d}nt|ƒtkrE| d¡rE| j|ddj ¡ }zt|ƒtkrStj |dd }W n Y |
|¡\}}}d
}t j ||| j
d d }t | |j¡¡}zPg |d
< |d d }|D ]@} t| d ƒ ¡ }
| | d ¡ ¡ } | d ¡ } t dt | d ¡¡}
|
d¡r²|
dd … }
|
dkr·qƒ|d
|
| | |
dœ¡ qƒW |S Y |S )Nr r r r r r r Fr z¬https://api.bilibili.com/x/web-interface/index/top/feed/rcmd?y_num=1&fresh_type=3&feed_version=SEO_VIDEO&fresh_idx_1h=1&fetch_row=1&fresh_idx=1&brush=0&homepage_ver=1&ps=20é ©ÚcookiesÚheadersr ÚlistÚdataÚitemÚidÚtitleÚpicú%H:%M:%SÚdurationú00:é z00:00©Úvod_idÚvod_nameÚvod_picÚ vod_remarks)r r* r r& r+ r, r- r. r/ r0 r1 ÚrequestsÚgetÚheaderr Ú cleanTextÚremoveHtmlTagsÚtimeÚstrftimeÚgmtimer4 )r r5 r r6 ÚimgKeyÚsubKeyr r@ ÚvodListÚvodÚaidrC ÚimgÚremarkr r r
ÚhomeVideoContentK sZ
€
ü÷þzSpider.homeVideoContentc ! C sž t |ƒ}i }g }d}|}d| jv r| jd }d| jv r1| j| jd dd} d| ¡ v r1| ¡ d }|dkr8d}nt|ƒtkrM| d¡rM| j|ddj ¡ }zt|ƒt kr[tj
|dd }W n Y | |¡\}}
} |d
kr |d kr„| d ¡} | s{d} d
| › d|› }
nd|› }
| j|
|| j
dd} t | | j¡¡}| d |d d ¡ |d d }|d d r¶|d }|D ]N}|d dkrÁq¸t|d d d d d ƒ ¡ }|d d d d d ¡ }| |d d d d d ¡ ¡ }|d d d d d }| ||||d œ¡ q¸n,|d krc| |¡}|d u r i d fS d!|› d"}
| j|
|| j
dd} t | | j¡¡}|d d# }|}|D ]!}|d$ }|d ¡ }|d% }d&}| d'|› ||d(|d)œ¡ q?nÒ| d'¡rá|d*d … }d+|› d,|› d-}
| j|
|| j
dd} t | | j¡¡}|d d r—|d }n|}|d d. }|D ]=}t|d$ ƒ ¡ }| |d ¡ d/d0¡}|d ¡ }t d1t |d2 ¡¡}| d3¡rÓ|d4d … }| ||||d œ¡ q¡nT| d5¡r»|d*d … }|d6|d7œ}| ||
| ¡}d8}
|D ]}|
d9|› d:t|| ƒ› 7 }
qþ| j|
|| j
dd} t | | j¡¡}||d d; d< k r3|d }n|}|d krCd5t› d=d>œg}|d d# d? }|D ]k}t|d ƒ ¡ }| |d ¡ d/d0¡}|d@ ¡ }|dA dB¡}t |dC ƒ}|dDkr©t|dD ƒ}t|dD ƒ}t |ƒd kr‘dE| }t |ƒd krœdE| }|dB | dB |d }n|dA }| ||||d œ¡ qMnz|dFkrZdG|› }
| j|
|| j
dd} t | | j¡¡}t |d ƒdHkræ|d }n|}|d }|D ]j}|d2 dCkrùqît|d ƒ ¡ }|d@ ¡ }| |d ¡ d/d0¡}|dI dJkrWt d1t |dI ¡¡}t d1t |d2 ¡¡} | d3¡r;|d4d … }| d3¡rG| d4d … } |dK | }| ||||d œ¡ qînÛdL}
|D ]}|dMkrk|| }q^|
d9|› d:|| › 7 }
q^|
||¡}
| j|
|| j
dd} t | | j¡¡}|d dN }|d dO }|D ]”}|d dPkr«q t|d ƒ ¡ }| | |d ¡¡}dQ|d@ ¡ }|d2 dB¡} t | dC ƒ}| d } t | ƒd krádE| } |dDkrt|dD ƒ} t|dD ƒ}t | ƒd krýdE| } t |ƒd krdE| }| › dB|› dB| › }nt|ƒ}t |ƒd kr"dE| }|› dB| › }| ||||d œ¡ q t |ƒ} ||d#< ||d;< ||dR< | |dS< | |dT< |S )UNr r r r r r r Fr u 动æ€é Úoffsetz`https://api.bilibili.com/x/polymer/web-dynamic/v1/feed/all?timezone_offset=-480&type=all&offset=ú&page=z^https://api.bilibili.com/x/polymer/web-dynamic/v1/feed/all?timezone_offset=-480&type=all&page=r; r< r@ ÚitemsZhas_morer& ZDYNAMIC_TYPE_AVÚmodulesZmodule_dynamicÚmajorÚarchiverZ Z
duration_textrC ÚcoverrI u 收è—夹z@http://api.bilibili.com/x/v3/fav/folder/created/list-all?up_mid=z &jsonp=jsonpr? rB Z media_countz/https://api-lmteam.koyeb.app/files/shoucang.pngzfav&&&Úfolder)rJ rK rL Úvod_tagrM é z8http://api.bilibili.com/x/v3/fav/resource/list?media_id=z&pn=z&ps=20&platform=web&type=0Zmediasz"ú"rE rF rG rH õ UP主&&&é )ÚmidÚpsZpnz0https://api.bilibili.com/x/space/wbi/arc/search?ú&ú=ÚpageÚcountõ æ’放列表)rJ rK ÚvlistrD Úlengthú:r é< Ú0u 历å²è®°å½•z(http://api.bilibili.com/x/v2/history?pn=i, Úprogresséÿÿÿÿú|zYhttps://api.bilibili.com/x/web-interface/search/type?search_type=video&keyword={}&page={}ÚtidZnumPagesr5 Úvideoúhttps:Ú pagecountÚlimitÚtotal) Úintr r* r r& r+ r, r- r. r/ r0 r1 r2 rP r rQ ÚsetCacherR r4 Ú getUseridÚreplacerS rT rU ÚencWbir r{ r3 ÚlenÚformat)!r Úcidrp r$ Úextr5 Úvideosr r~ r6 rV rW r_ r r@ rX rY Úvidr\ rC r[ Zuseridr8 ÚkeyZ remarkinfosÚminutesÚhoursÚprocessZ totalTimeÚ
remarkinfoÚsecondsÚhourÚ lenvideosr r r
ÚcategoryContentw s
€
"
üù
ûû
üù
üð
ü€ò
üzSpider.categoryContentc C sp |d }| d¡r}|dd … }d}d|› d|› d}| j|| jdd }| ¡ d
d }|d d
dœ}d} |D ]9}
t dt |
d ¡¡} | |
d ¡ ¡ dd¡ dd¡} | d¡r^| dd … } | d| › d| › d|
d › d7 } q5| d¡|d < d |gi}
|
S d |› }| j|| jd d }t
| |j ¡¡}d |d
v rµd}|d
d D ]}|d!
|d" |d# |d# ¡7 }q¢nd$
|d
d% d" |d
d% d# |d
d% d# ¡}|| |d
d ¡|d
d& |d
d' t |d
d( ¡ d)¡|d
d* d+d,¡ d-d.¡ ¡ |d/œ}|d
d0 }d} |D ]>}
t dt |
d ¡¡} | |
d1 ¡ ¡ dd¡ dd¡} | d¡r3| dd … } | d| › d| › d|› d2|
d3 › d } q d4|› }| j|| jdd }t
| |j ¡¡}|d
}| d¡d5 } |D ]9}
t dt |
d ¡¡} | d¡r…| dd … } | |
d ¡ ¡ dd¡ dd¡} | d6
| | |
d7 |
d3 ¡ } qld8|d9< | d¡|d < d |gi}
|
S ):Nr rj rh r zNhttps://api.bilibili.com/x/v2/medialist/resource/list?mobi_app=web&type=1&oid=z&biz_id=zO&otype=1&ps=100&direction=false&desc=true&sort_field=1&tid=0&with_current=falser; ©r> r r@ Z
media_listrr r )rJ rK Ú
vod_play_fromrE rF rC r' ú-ú$Ú*rG rH Ú[z]/z$bvid&&&Zbv_idÚ vod_play_urlr? z2https://api.bilibili.com/x/web-interface/view?aid=r Ústaffu0 [a=cr:{{"id":"UP主&&&{}","name":"{}"}}/]{}[/a],rl Únameu/ [a=cr:{{"id":"UP主&&&{}","name":"{}"}}/]{}[/a]ÚownerrD ZtnameZpubdatez%Y-%m-%d %H:%M:%SÚdescõ  ú z
Ú
)rJ rK rL r( Úvod_yearÚ vod_contentÚ vod_directorÚpagesÚpartr7 rˆ z=https://api.bilibili.com/x/web-interface/archive/related?aid=z$$$z[{}]/{}${}_{}#rZ u B站视频$$$相关视频r– )r, r* rP r rS rT rU rR r. r„ r rQ r- r‡ r Ú
fromtimestamp)r ÚdidrZ ZbizIdÚoidr r6 Ú videoListrY ÚplayUrlr| r\ r r5 r@ Zdirectorrœ r r r
Ú
detailContentI s€
ý"
"
ÿ2
ù " *
" ÿÿzSpider.detailContentc C s | ||d¡S )NÚ1)ÚsearchContentPage)r rŒ Úquickr r r
Ú
searchContentŽ s zSpider.searchContentc C s\ g }|r
d|i}|S d}d| j v r| j d }d| j v r1| j| j d dd}d| ¡ v r1| ¡ d }|dkr8d}nt|ƒtkrM| d¡rM| j|ddj ¡ }zt|ƒtkr[tj |d d
}W n Y |
|¡\}}}d |› d |› } | j| | j |d
d}t |
|j¡¡}
d|
d vrd|idfS |
d d } | D ]} t| d ƒ ¡ }
| |
| d ¡¡}d| d ¡ }z| d d¡}t|d ƒ}|d }W n Y q˜t|ƒdkr×d| }|dkrt|d ƒ}t|d ƒ}t|ƒdkròd| }t|ƒdkrüd| }|› d|› d|› }nt|ƒ}t|ƒdkrd| }|› d|› }| |
|||dœ¡ q˜d|i}|S ) Nr? r r r r r r r Fr zOhttps://api.bilibili.com/x/web-interface/search/type?search_type=video&keyword=r` r; )r> r= r r5 r@ r^ rZ rC r} rD rF ru r rw rv rI )r r* r r& r+ r, r- r. r/ r0 r1 rP r rQ rR r3 r r† r4 )r rŒ r° rp rŠ r5 r r6 r7 r ZjorX rY rZ rC r[ r r r‘ r’ r\ r r r
r¯ ‘ s| ÿ
€
üÿzSpider.searchContentPagec
C s¸ i }| d¡r(d |dd … ¡}| j|| jdd}| ¡ d }|d }|d } n
| d ¡}
|
d
}|
d } d || ¡}d
} | j} d| v rH| d } d| v ra| j| d dd}d| ¡ v ra| ¡ d } | d
krhd} nt| ƒtkr}| d¡r}| j| ddj
¡ } zt| ƒt kr‹tj | dd} W n Y |
| ¡\}
}}tt |
¡ƒ}d| v r«t| d ƒ}nd}d
|d< d
|d< d|› dt|ƒ› d|› d | › d |›
|d < | j|d < d | ¡|d!< d"|d#< |S )$Nzbvid&&&z5https://api.bilibili.com/x/web-interface/view?bvid={}é r r• r@ rZ rˆ r7 r r^ zZhttps://api.bilibili.com/x/player/playurl?avid={}&cid={}&qn=120&fnval=4048&fnver=0&fourk=1r r r r r r Fr Úthreadrw Úparser¬ z3http://127.0.0.1:9978/proxy?do=py&type=mpd&cookies=ú&url=ú&aid=ú&cid=ú&thread=r rP z/https://api.bilibili.com/x/v1/dm/list.so?oid={}Údanmakuúapplication/dash+xmlr‡ )r, r‡ r* rP r r3 r r& r+ r- r. r/ r0 r1 r )r ÚflagÚpidÚvipFlagsr5 r r6 r@ rZ rˆ ZidListr r Ú cookiesDictr7 r= r³ r r r
Ú
playerContentÓ sR
€*
zSpider.playerContentc C s0 |d dkr | |¡S |d dkr| |¡S d S )Nr& ÚmpdÚmedia)ÚproxyMpdÚ
proxyMedia)r r8 r r r
Ú
localProxyÿ s
zSpider.localProxyc C r r
r r r r r
Údestroy r zSpider.destroyc C sÎ | |¡\}}}|dkrdd|gS d}d|d d v r.|d d d r.|g|d d d n|g}|D ]}d|vr; nq3| j ¡ }d |v rK|d |d
< d |v rY||d < d
dd |gS tj||dd}dd|jgS )NrÀ éÈ rº r Ú
backup_urlÚdurlr úmcdn.bilivideo.cnÚrangeÚRangez127.0.0.1:7777ÚLocationi. z
video/MP2TT©r> ÚstreaméÎ úapplication/octet-stream)ÚgetDashrP ÚcopyrN rO Úcontent) r r8 rÓ Ú durlinfosÚ mediaTyper ÚurlListrP r6 r r r
r s"
<ÿ
zSpider.proxyMpdFc C sì | |¡\}}}d|v rt|d ƒ}|d | }nd|v r*t|d ƒ}|d | }ng d¢S d}d|v rA|d rA|d g|d n|d g} | D ]}d |vrP nqH|dkrYg d¢S | j ¡ }
d
|v rh|d
|
d < tj||
d d
} dd| jgS )NÚvideoidr| ÚaudioidÚaudio)i” z
text/plainr r Ú backupUrlÚbaseUrlrÉ rÊ rË TrÍ rÏ rÐ )rÑ r rP rÒ rN rO rÓ ) r r8 Ú forceRefreshr7 Ú dashinfosr× ÚdashinforØ r rÖ rP r6 r r r
rà s* ,ÿ
zSpider.proxyMediac % C s, |d }|d }t |d ƒ}d|v r|d }nd}| j ¡ }t |d ¡}d|› d|› } |r5| | ¡ n| | ¡}
|
rG|
d |
d
|
d fS | ¡ } | j|| |d d
} t | | j ¡¡}
|
d dkrhdi dfS d|
d vrÉ|
d d d d }
zt
t d|
¡
d¡ƒd }W n t
t ¡ ƒd }Y t
|ƒdkrµz| d¡ W n | d¡ Y dt|
ƒ› d|› }
| | |
d|
d |d œ¡ |
|
d dfS |
d d }|d }|d }d}d}g }|d D ]‡}zt
t d|d ¡
d¡ƒ}W n t
t ¡ ƒd }Y | |¡ |d! }|d" }|d# }|d$ }|d% }|d& } | ¡ } || d'< d(tt | ¡ƒ› d)t|ƒ› d*|› d+|› d,|›
} |d-|› d.|› d/|› d0|› d1| › d2|› d3| › d4|d5 d6 › d7|d5 d8 › d9 }|d7 }qád} d} |d: D ]s}!zt
t d|!d ¡
d¡ƒ}W n t
t ¡ ƒd }Y | |¡ |!d" }|!d! }|!d& }"| ¡ }#| |#d;< d(tt | ¡ƒ› d)t|ƒ› d*|› d+|› d<| ›
} | d=|› d.|› d1|"› d3| › d4|!d5 d6 › d7|!d5 d8 › d9
} | d7 } qqd>|› d?|› d@| ¡ › dA| ¡ › dB }$t|ƒd }| | dC|$ dDdE¡||dFœ¡ |$ dDdE¡|dCfS )GNrZ rˆ r r³ r r= Zbilivdmpdcache_r7 rÓ rÝ r& r; r< Úcoder Údashr@ rÈ zdeadline=(\d+)r^ rv iX zhttp://127.0.0.1:7777zhttp://127.0.0.1:9978/gozhttp://127.0.0.1:7777?url=r¸ Úmp4)rÓ r& rÝ Ú expiresAtrF Ú
minBufferTimer| rÛ ÚcodecsÚ bandwidthÚ frameRateÚheightÚwidthrB r× z5http://127.0.0.1:9978/proxy?do=py&type=media&cookies=rµ r¶ r· z &videoid=z"
z-
rÙ rØ z &audioid=z<
z|
z+
rÀ rn z&)r& rÓ rÝ râ )r rP rÒ r r ÚdelCacher2 r* rQ r- r ÚreÚsearchÚgrouprS r r‚ r4 r0 r. Úminr„ )%r r8 rÜ rZ rˆ r r³ rP Ú
cookieDictrŒ r@ r= r6 Úpurlrâ rÝ rF rã Ú videoinfor× Ú deadlineListr| Údeadlinerä rå ræ rç rè ÚvoidÚ vidparamsrÛ Ú audioinforØ rÙ ÚaoidÚ aidparamsrÀ r r r
rÑ 3 sÀ
0(ÿ
þ
ý
0ÿ
þ
ý ÿÿüù zSpider.getDashc
C s: d|v rd|v rt |¡}ntdd„ | d¡ d¡D ƒƒ}| d¡}|r1|d }|d }|||fS d d
i}tjd ||d d
}t |j¡}|d } | dkr‡|d d d dd¡d d¡d }|d d d dd¡d d¡d }|
d||t t ¡ ƒd dœ¡ |||fS | j
d|dd}|j ¡ }d }d }|||fS ) NÚ{Ú}c S s g | ]
}| ¡ d d¡‘qS )ro r^ )r. r3 )Ú.0Úcor r r
Ú
ž s z$Spider.getCookie..ú;r! rV rW ú
User-AgentúrMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.54 Safari/537.36z+http://api.bilibili.com/x/web-interface/navr r< rß r r@ Úwbi_imgÚimg_urlú/r^ Ú.Úsub_urli° )rV rW râ zhttps://www.bilibili.com/r; r• r )r r r/ r. r3 r2 rN rO r- Úrsplitr‚ r rS r* r= Úget_dict)
r r r= r! rV rW rP r6 r@ rß r r r
r1 š s.
ÿ &&
zSpider.getCookiec C sF d}| j ||| jdd}t | |j¡¡}|d dkr!|d d S d S )Nz&http://api.bilibili.com/x/space/myinfor; r< rß r r@ rl )r* rP r r rQ r- )r r r r6 r@ r r r
rƒ ¶ s ÿzSpider.getUseridc C s$ ddl m}m} |dƒ}||d|ƒS )Nr )ÚsubÚcompilez<.*?>r )rí r
r )r Úsrcr
r Úcleanr r r
rR ¾ s zSpider.removeHtmlTagsc
s¦ ddl m} ddlm} ddlm} g d¢}|| ‰ |‡ fdd„|dƒd d … }tt ¡ ƒ|d
< tt |
¡ ƒƒ}d d „ |
¡ D ƒ}||ƒ} || | ¡ ƒ ¡ |d
< |S )Nr )Úmd5)Úreduce)Ú urlencode)@é. é/ é é é5 é é é é é2 r é é: rH é- é# é é+ r; é1 é! é é* é é é é é' é é& é) é
é% é0 r² é é é7 é( é= é é r r^ rv é3 rk é é é é6 é é8 é; rh é? é9 é> é é$ é é" é, é4 c s | ˆ | S r
r )ÚsÚi©Úorigr r
ÚÉ s z Spider.encWbi..r r Zwtsc S s* i | ]\}}|d tdd„ t|ƒƒ¡“qS )r c S s | dvS )Nz!'()*r )Úchrr r r
rL Î s z*Spider.encWbi...)Újoinr$ r+ )rý ÚkÚvr r r
Ú
Í s ÿÿz!Spider.encWbi..Zw_rid)
Úhashlibr Ú functoolsr Ú urllib.parser ÚroundrS r/ Úsortedra ÚencodeÚ hexdigest)
r r8 rV rW r r r ZmixinKeyEncTabZmixinKeyÚqueryr rJ r
r… Ã s ýz
Spider.encWbir r zhttps://www.bilibili.com)r ÚRefererN)F)Ú__name__Ú
__module__Ú __qualname__r r r r r: r] r” r r± r¯ r¿ rÄ rÅ r rà rÑ r1 rƒ rR r… ÚretryrP r r r r
r s4 ,, SEB,
g
þr )
rí Úsysr rS r rT r r rN Úpathr4 Ú base.spiderr r r r r
Ú s