最近我想在網站上下載幾首音樂放到我的u盤裡聽，但是上網上一找，各大音樂網站下載歌曲（尤其是好聽的歌曲）都需要vip。對於像我這樣的窮人來說，肯定是不會花幾十塊錢去下載幾首音樂啦，而且作為程序員，充錢去下載音樂那也是不可能的，於是我花瞭一天時間，上網找瞭各種資料來學習一下怎樣才能不花錢白嫖到網站上的音樂。當然，方法還是有很多種的，最後我還是選擇瞭一種最簡單，最方便的一種方法： python爬蟲。下面，我就跟大傢分享一下我在用python爬蟲時遇到的坑。下面，我以爬取某易雲音樂為例，介紹一下我時如何學習python爬蟲的：思路:音樂從哪裡來？—網站的服務器裡怎麼從網址裡得到音樂？—向網站發起網絡請求刪選音樂文件下載音樂文件具體實現1. 引入發送網絡請求的第三方庫import requests # 發送網絡請求的第三方庫
復制代碼安裝方法pip install requests
引入數據解析第三方庫from lxml import etree # 數據解析第三方庫
復制代碼安裝方法pip install lxml
某易雲音樂網站列表url為'https://music.163.com/#/discover/toplist?id=3778678'url = 'https://music.163.com/#/discover/toplist?id=3778678'
復制代碼發送請求獲取頁面數據response = requests.get(url=url) # 請求頁面數據
復制代碼解析數據html=etree.HTML(response.text) # 解析頁面數據
復制代碼獲取所有歌曲標簽集合（ a標簽 ）id_list = html.xpath('//a[contains(@href,"song?")]') # 所有歌曲id集合
復制代碼下載歌曲base_url = 'http://music.163.com/song/media/outer/url?id=' # 下載音樂網址前綴
# 下載音樂url = 網址前綴 + 音樂id
for data in id_list:
href = data.xpath('./@href')[0]
music_id = href.split('=')[1] # 音樂id
music_url = base_url + music_id # 下載音樂url
music_name = data.xpath('./text()')[0] # 下載音樂名稱
music = requests.get(url = music_url)
# 將下載的音樂以文件形式保存下來
with open('./music/%s.mp3' % music_name, 'wb') as file:
file.write(music.content)
print('<%s>下載成功' % music_name)
復制代碼遇到的坑以上的方法我是從一個視頻裡學到的，那個視頻是半年前出的，可能當時這種方法還好使，但是今天我在用這種方法下載音樂文件的時候突然就報錯瞭。首先，編輯器報錯找不到 music_name 和 music_id ,我仔細一看，獲取的id_list集合裡（也就是標簽集合裡）的id根本不是id，是代碼，估計在這裡音樂網站也做瞭相應的反扒機制。其次，我自己在網站裡找到瞭一首音樂獲取瞭它的id並把id賦值給music_id，結果當用外鏈下載音樂時報錯460，顯示網絡擁擠，估計下載音樂的網址也不好使瞭。base_url = 'http://music.163.com/song/media/outer/url?id='
music_id = '1804320463.mp3'
music_url = base_url + music_id
music = requests.get(url=music_url)
print(music.text)
復制代碼{"msg":"網絡太擁擠，請稍候再試！","code":-460,"message":"網絡太擁擠，請稍候再試！"}e最後，我打印出music_url,點擊進去，還是可以聽歌和下載的，不知道這是為什麼瞭base_url = 'http://music.163.com/song/media/outer/url?id='
music_id = '1804320463.mp3'
music_url = base_url + music_id
# music = requests.get(url=music_url)
print(music_url)
復制代碼music.163.com/song/media/…總結現在的網站技術更新太快，很多網站都有瞭高級反爬機制，畢竟嘛，有些東西還是不能隨隨便便就給你的，我寫這篇文章主要是跟大傢分享一下我學習python爬蟲時的一些經驗，同時，我也想請教各位大神，像遇到瞭我這種問題瞭，我應該怎麼辦才能將這個網站的音樂文件爬到我的本地電腦裡，還請各大神指點一二。