如何爬蟲電影票房

『壹』 python基礎 爬蟲項目有哪些

我們上篇才講了面試中需要准備的內容，關於最後一點可能講的不是很詳細，小夥伴們很有對項目這塊很感興趣。畢竟所有的理論知識最後都是通過實踐檢驗的，如果能有拿得出手的項目，面試中會大大的加分。下面小編就來跟大講講python的爬蟲項目有哪些以及該學點什麼內容。

wesome-spider

這一項目收集了100多個爬蟲，默認使用了Python作為爬蟲語言。你既可以在這個項目中，找到爬取Bilibili視頻的爬蟲，也可以使用爬蟲，通過豆瓣評分和評價人數等各項數據，來挖掘那些隱藏的好書，甚至還可以用來爬取京東、鏈家、網盤等生活所需的數據。此外，這個項目還提供了一些很有意思的爬蟲，比如爬取神評論、妹子圖片、心靈毒雞湯等等，既有實用爬蟲，也有惡搞自嗨，滿足了大部分人實用爬蟲的需求。

Nyspider

Nyspider也非常厲害，如果你想獲得「信息」，它是一個不錯的選擇。在這個項目里，你既能獲取鏈家的房產信息，也可以批量爬取A股的股東信息，貓眼電影的票房數據、還可以爬取獵聘網的招聘信息、獲取融資數據等等，可謂是爬取數據，獲取信息的好手。

python-spider

這個項目是ID為Jack-Cherish的東北大學學生整理的python爬蟲資料，涵蓋了很多爬蟲實戰項目，如下載漫畫、答題輔助系統、搶票小助手等等等等。如果你已經學會了爬蟲，急切得像找一些項目練手，這里就可以滿足你的這一需求。當然，W3Cschool上也有很多爬蟲實戰項目，有需要的同學，也可以拿來作為練習使用。

以上的3個模塊基於GitHub中的部分內容，感興趣的小夥伴也可以了解下其他的模塊，畢竟GitHub使用也比較廣泛。更多Python學習推薦:PyThon學習網教學中心。

『貳』 求推薦一些好看的怪獸題材的科幻大片！

1、《巨齒鯊》

該片根據美國作家史蒂夫·艾爾頓的同名小說改編，講述了史前巨獸巨齒鯊意外逃離深海重現人間大開殺戒，為了化解這場浩劫，深海潛水專家喬納斯·泰勒聯手中國女科學家張蘇茵，與巨齒鯊展開了殊死一搏的故事。

『叄』 電影偷票房是什麼意思

電影偷票房是指電影公司或工作人員利用不規范的手段，對電影票房進行人為篡改，以達到虛高票房的效果。這類違法行為所涉及的金額巨大，影響巨大，極易引起社會不滿和憤怒，對於電影行業的聲譽和文化形象都造成了嚴重損害。例如，2018年7月，中國內地公安機關就破獲了一起涉及電影票務交易所的案件，依法打擊了電影偷票房。
電影偷票房的另一個側面是惡意刷票。在當今互聯網飛速發展的背景下，惡意刷票已成為現實。利用刷票機器或爬蟲等技術手段，將大量非法刷票注入電影票房系統中，導致電影牟取了不應有的利益。惡意刷票摧毀了公平競爭的基礎，極大地擾亂了電影行業的正常運行。因此，對於如何對電影票務系統進行防範和打擊是一個必須被重視的問題。
電影偷票房帶來的影響是顯著的。首先是對電影行業的健康發展帶來了極大的阻礙。電影偷票房在很大程度上破壞了行業的誠信和公正，打擊了看電影的信仰。其次，票房的虛高也會影響到消費者的購票行為，導致他們對於一些本來並不值得一看的電影也會涌現出火爆的票房。因此，要加強行業自律，建立及時有效的監管機制，對於違法行為要依法打擊，守護行業的健康生態。

『肆』 常用的15個數據源網站，可以滿足你95%的日常取數需求！趕緊收藏

前面介紹過實用的效率小工具，真的幫了我很多忙，這次給小夥伴們再種草一些數據源網站。

現在有很多免費的數據可以供使用分析，不過很少有人能找的到，或者沒能力找，這就是所謂的信息差吧。其實數據獲取分為兩方面，一是「拿來的」數據，也就是現成的；二是「爬來的」數據，這種一般通過爬蟲等手段去採集數據。

「拿來的」數據可以在各大官方平台或者社區去找，一般各行各業都會有自己的資料庫。我常用的數據網站有以下這些：

網路指數： 網路搜索匯總的數據，能看到各種關鍵詞的搜索熱度趨勢，優點數據量大，能反映真實的話題熱度變化，適合做需求洞察、用戶畫像、輿情監測、市場分析。

網路指數規則，是以網民在網路的搜索量為數據基礎，以關鍵詞為統計對象，科學分析並計算出各個關鍵詞在網路網頁搜索中搜索頻次的加權和。

微信指數： 微信生態的大數據，反映關鍵詞熱度，和網路指數類似。但微信指數數據來源微信各種內容渠道，包括搜一搜、視頻號、公眾號等，適合做微信生態人群畫像、內容推廣、輿情監控的研究。

Google Trends： 和網路指數類似的產品，基於google生態匯總的大數據。比網路數據來源更豐富也更廣泛，包含了google、youtube等，畢竟是全球應用。缺點是對國內搜索分析的指導意義不大，還是網路指數更具指導意義。

微博指數： 微博內容提及量、閱讀量、互動量加權得出的綜合指數，優點比較有時效性，而且數據基數大，可以實時反映熱度變化情況，適合實時捕捉當前 社會 熱點事件、熱點話題等，快速響應輿論走向等。

這種數據包含了網站、APP、自媒體賬號等監測數據，大多是商業付費類

Alexa： 用於查詢全球網站排名和流量的平台，可以看到PV、UV、排名、區域分布等信息。

新榜： 新媒體專屬的數據平台，用於查看抖音、快手、公眾號、小紅書等平台KOL賬號的數據。數據包括了粉絲、瀏覽、互動、聲量等，一般用於廣告投放監測、自媒體數據運營等。

貓眼數據： 影視相關數據。匯總了電影票房、網播熱度、電視收視等數據，適合做票房預測、節目熱度監測。

艾瑞指數： APP、Web、手機等排行榜數據，包括各大移動設備裝機指數、APP熱度指數、PC Web熱度指數、網路廣告指數等等，適合做廣告營銷投放等。

新浪 財經 數據中心：新浪 財經 大數據，匯總了股票、基金、期貨、黃金、貨幣等各種 財經 數據，種類很齊全，應該有數據介面。

Wind：國內比較早的金融數據服務商，數據種類最齊全，而且有各種金融分析工具，也支持Python、R等量化分析。但Wind很貴，個人很難承擔的起。

Tushare： 免費的金融資料庫，支持Python介面，數據也非常齊全，包含了股票、基金、期權、債券、外匯、公司報表等各種 財經 數據。只要你會用Python，就可以調用裡面的各種數據，非常便捷。

這種一般包含政府開放數據、統計數據，以及各種民生數據。

國家統計局： 最權威的國內宏觀數據網站，包括人口、經濟、農業等等。

上海公共數據開放平台： 上海市各行各業的免費數據，對公眾開放下載，非常適合做城市規劃分析。

其他城市官方數據：

這一類數據適合做機器學習、統計分析、演算法研究等，是學術界、工業界用於數據驅動業務典型數據。

kaggle： 全球最大的數據科學比賽平台，也是google旗下的產品。kaggle擁有豐富的數據集和各種解決方案，適合對數據感興趣的小夥伴去研究學習。

天池： 阿里雲裡面的數據比賽平台，也擁有很多比賽數據，質量相對較高。

『伍』 一部蟒蛇的電影

韓國電影【龍之戰】
附評論
1999年喜劇演員出身的沈炯來導演了《爬蟲大戰》，這部當年最大投資的電影(製作費110億韓元，約合人民幣8500萬元)，事先在海外市場做了大規模的宣傳，並簽訂了數筆大額的影片出口合同。但即使如此，該片在首爾上映時，票房還是慘不忍睹，觀影人次僅為30餘萬。

時隔7年，沈炯來以投資高達300億韓元(約合人民幣2.3億元)的怪獸電影《龍之戰》再度與本土觀眾見面，票房卻節節攀升，最終觀影人次超過840多萬，不僅是2007年的韓國票房冠軍,也進入韓國影史十大賣座片之列。

影片講述記者伊桑和一個身患神秘疾病的女孩,攜手大戰一群欲要摧毀地球的巨蟒。該片公映後，最多的評論莫過於「完美的CG＋蒼白的故事」，看來不擅長講故事成了沈炯來導演作品的通病。只是這次，華麗的CG效果讓更多的韓國觀眾忽略了故事的不足。較之前作《爬蟲大戰》，真人結合最新CG動畫技術製作的畫面已接近好萊塢同類影片的水準，部分場景雖不乏模仿《侏羅紀公園》、《金剛》等好萊塢怪獸片的嫌疑，但其總體效果還算不錯。特別是影片結尾巨蟒大戰的場面宏大逼真，兩條蟒蛇形態各異、肉感十足，其活靈活現的打鬥動作、惟妙惟肖的表情都讓沉浸在幻想世界裡的觀眾，享受到一場難得的視聽盛宴。

不過話又說回來，用錢砸出來的畫面固然美不勝收，劇情的蒼白卻也難以掩飾。據導演介紹，影片吸取了前作失敗的教訓，怪獸的造型設計借鑒了在韓國很有象徵意義的龍，情節也摻入了具有韓國民族特色的古代傳說，以保持與本土觀眾的親近感。但《龍之戰》作為《爬蟲大戰》的升級版，依然缺乏引人入勝的情節和有血有肉的角色，加之濫用的韓國符號(如片尾莫名其妙出現了煽情的阿里郎音樂)，影片成為泛泛之作也是必然。

一直以來，沈炯來希望靠使用英文台詞、起用歐美演員、套用好萊塢製作方式打造出一部韓國式商業大片（Blockbuster）來征服好萊塢和全世界(其野心在片中也可見一斑，比如海報上屢次出現的韓國巨蟒盤踞在美國最高建築物上的場景、片末韓國蟒蛇蛻變成龍維護世界和平)。

但一部缺乏民族文化底蘊，僅把民族文化作為賣點、僅靠好萊塢皮毛支撐的作品，如何能打動世界觀眾的心(該片的北美票房仍是慘淡)？沈炯來導演如果不吸取教訓，即使再過7年，他的作品仍會處在技術與內容的兩難境遇中徘徊不前。

『陸』 豆瓣電影數據分析

這篇報告是我轉行數據分析後的第一篇報告，當時學完了Python，SQL，BI以為再做幾個項目就能找工作了，事實上……分析思維、業務，這兩者遠比工具重要的多。一個多月後回過頭來看，這篇報告雖然寫得有模有樣，但和數據分析報告還是有挺大差別的，主要原因在於：a.只是針對豆瓣電影數據分析太過寬泛了，具體關鍵指標到底是哪些呢？；b.沒有一個確切有效的分析模型/框架，會有種東一塊西一塊的拼接感。
即便有著這些缺點，我還是想把它掛上來，主要是因為：1.當做Pandas與爬蟲(Selenium+Request)練手，總得留下些證明；2.以豆瓣電影進行分析確實很難找到一條業務邏輯線支撐，總體上還是描述統計為主；3.比起網上能搜到的其他豆瓣電影數據分析，它更為詳細，可視化效果也不錯；

本篇報告旨在針對豆瓣電影1990-2020的電影數據進行分析，首先通過編寫Python網路爬蟲爬取了51375條電影數據，採集對象包括：電影名稱、年份、導演、演員、類型、出品國家、語言、時長、評分、評論數、不同評價佔比、網址。經過去重、清洗，最後得到29033條有效電影數據。根據電影評分、時長、地區、類型進行分析，描述了評分與時長、類型的關系，並統計了各個地區電影數量與評分。之後，針對演員、導演對數據進行聚合，給出產量與評分最高的名單。在分析過程中，還發現電影數量今年逐步增加，但評分下降，主要原因是中國地區今年低質量影視作品的增加。

另外，本篇報告還爬取了電影票房網（ http://58921.com/ ）1995-2020年度國內上映的影片票房，共採集4071條數據，其中3484條有效。進一步，本文分析了國內院線電影票房年度變化趨勢，票房與評分、評價人數、時長、地區的關系，票房與電影類型的關聯，並給出了票房最高的導演、演員與電影排名。

清洗、去重後，可以看到29033條數據長度、評分、評論數具有以下特點：

結合圖1(a)(b)看，可以看到電影數據時長主要集中在90-120分鍾之間，向兩極呈現階梯狀遞減，將數據按照短(60-90分鍾)，中(90-120分鍾)，長(120-150分鍾)，特長(>150分鍾)劃分，各部分佔比為21.06%, 64.15%, 11.95%, 2.85%。

結合圖2(a)看，可以看到我們採集到的電影數據評分主要集中在6.0-8.0之間，向兩極呈現階梯狀遞減，在此按照評分劃分區間：2.0-4.0為口碑極差，4.0-6.0為口碑較差，6.0-7.0為口碑尚可，7.0-8.0為口碑較好，8.0-10.0為口碑極佳。

這5種電影數據的佔比分別為：5.78%, 23.09%, 30.56%, 29.22%, 11.34%

再將評分數據細化到每年進行觀察，可以發現，30年內電影數量與年度電影均分呈反相關，年度均分整體呈現下降趨勢，2016年電影均分最低，電影數量最多。

進一步做出每個年份下不同評級等級的電影數據佔比，可以發現，近年來，評分在[2.0,6.0)的電影數據佔比有著明顯提升，評分在[6.0,7.0)的數據佔比不變，評分在[7.0,10.0)的數據佔比減少，可能原因有：

對照圖5，可以發現，評分與時長、評論人數的分布大致呈現漏斗狀，高分電影位於漏鬥上部，低分電影位於漏斗下部。這意味著，如果一部電影的評論人數很多（特別是超過30w人觀影），時長較長(大於120min)，那麼它大概率是一部好電影。

根據各個國家的電影數量作圖，可以得到圖6，列出電影數量前十的國家可得表格2，發現美國在電影數量上占第一，達到8490部，中國其次，達6222部。此外，法國，英國，日本的電影數量也超過1000，其餘各國電影數量相對較少。這可以說明美國電影有著較大的流量輸入，在中國產生了較大的影響。

進一步分析各國電影的質量，依據評分繪制評分箱線圖可得圖7，在電影數量排名前20的國家中：

接著我們可以探索，哪個國家的電影對豆瓣評分隨年份下降的貢獻最大，考慮到電影數量對應著評分的權重。根據上述各國的電影評分表現，我們可以猜測電影數量較多的國家可能對年度均分的下降有較大影響。於是，我們再計算出這些國家的年度電影均分，並與整體均分進行比較分析。

再作出中國大陸，中國台灣，中國香港的均分箱線圖圖9(a)，可以看到，大陸電影均分低於港台電影，且存在大量低分電影拉低了箱體的位置。

分析相關性可得，大陸、香港、台灣電影年度均分與全部評分關聯度分別為R=0.979,0.919,0.822，說明濾去台灣和香港電影，大陸電影年度均分的變化趨勢與全部評分變化更接近。圖9(b)可以進一步反映這一點。

可以看到，大部分類型集中在X×Y=[10000,30000]×[6.00,7.50]的區間范圍內，劇情、喜劇、愛情、犯罪、動作類電影數量上較多，說明這些題材的電影是近三十年比較熱門的題材，其中劇情類電影佔比最多，音樂、傳記類電影平均得分更高，但在數量上較少，動作、驚悚類電影評論人數雖多，但評價普遍偏低。

除此之外，還有兩塊區域值得關註：

根據類型對電影數據進行聚合，整理得到各類型電影評分的時間序列，計算它們與整體均分時間序列的相關性，可得表格4與圖11，可以看到劇情，喜劇，懸疑這三種類型片與總分趨勢變化相關性最強，同時劇情、喜劇類電影在電影數量上也最多，因此可以認為這兩類電影對於下跌趨勢影響最大，但其餘類別電影的相關性也達到了0.9以上，說明幾種熱門的電影得分的變化趨勢與總體均分趨勢一致。

前面已經得知，中美兩國電影佔比最高，且對於均分時間序列的影響最大。在此，進一步對兩國電影進行類型分析，選取幾種主要的類型（數量上較多，且相關性較高）進行分析，分別是劇情，喜劇，愛情，驚悚，動作，懸疑類電影，繪制近年來幾類電影的數量變化柱狀圖與評分箱線圖可得圖12,13,14,15。

對導演與演員進行聚合，得到數據中共有15011名導演，46223名演員。按照作品數量在(0,2], (2,5], (5,10], (10,20], (20,999]進行分組統計導演數量，可以發現，15009名導演中有79.08%只拍過1-2部作品，46220名演員中有75.93%只主演過1-2部作品。忽略那些客串、跑龍套的演員，數據總體符合二八定律，即20%的人占據了行業內的大量資源。

在此，可以通過電影得分、每部電影評論人數以及電影數目尋找優秀的電影導演與演員。這三項指標分別衡量了導演/演員的創作水平，人氣以及產能。考慮到電影數據集中可能有少量影視劇/劇場版動畫，且影視劇/劇場版動畫受眾少於電影，但得分普遍要高於電影，這里根據先根據每部電影評論數量、作品數量來篩選導演/演員，再根據電影得分進行排名，並取前30名進行作圖，可得圖17,18。

結合電影票房網（ http://58921.com/ ）採集到的3353條票房數據，與豆瓣數據按照電影名稱進行匹配，可以得到1995-2020年在中國大陸上映的電影信息，分別分析中國內地電影的數量、票房變化趨勢，票房與評分、評價人數、時長、地區以及類型的關系，此外還給出了不同導演與演員的票房表現以及影片票房排名。

如圖19所示，國內票房數據與上映的電影數量逐年遞增，2020年記錄的只是上半年的數據，且由於受疫情影響，票房與數量驟減。這說明在不發生重大事件的情況下，國內電影市場規模正在不斷擴大。

對電影數據根據類型進行聚合，繪制散點圖21，可以發現：

提取導演/演員姓名，對導演/演員欄位進行聚合，計算每個導演/演員的票房總和，上映電影均分、以及執導/參與電影數目進行計算，作出票房總和前30名的導演/演員，可得圖22,23，圖中導演/演員標號反映了票房排名，具體每位導演/演員的上映影片數量、均分、每部電影評價人數、平均時長與總票房在表5、表6中給出。

最後根據電影票房進行排名，得到票房排名前20的電影如表格7所示，可以看到絕大部分上榜電影都是中國電影，索引序號為3、10、12、14、18、19為美國電影，這也反映了除國產電影之外，好萊塢大片占據較大的市場。

本篇報告採集了1990-2020年間豆瓣電影29033組有效數據，從豆瓣電影的評分、時長、地區、類型、演員、導演以及票房等信息進行分析評價，主要有以下結論：