如何爬虫电影票房

『壹』 python基础 爬虫项目有哪些

我们上篇才讲了面试中需要准备的内容，关于最后一点可能讲的不是很详细，小伙伴们很有对项目这块很感兴趣。毕竟所有的理论知识最后都是通过实践检验的，如果能有拿得出手的项目，面试中会大大的加分。下面小编就来跟大讲讲python的爬虫项目有哪些以及该学点什么内容。

wesome-spider

这一项目收集了100多个爬虫，默认使用了Python作为爬虫语言。你既可以在这个项目中，找到爬取Bilibili视频的爬虫，也可以使用爬虫，通过豆瓣评分和评价人数等各项数据，来挖掘那些隐藏的好书，甚至还可以用来爬取京东、链家、网盘等生活所需的数据。此外，这个项目还提供了一些很有意思的爬虫，比如爬取神评论、妹子图片、心灵毒鸡汤等等，既有实用爬虫，也有恶搞自嗨，满足了大部分人实用爬虫的需求。

Nyspider

Nyspider也非常厉害，如果你想获得“信息”，它是一个不错的选择。在这个项目里，你既能获取链家的房产信息，也可以批量爬取A股的股东信息，猫眼电影的票房数据、还可以爬取猎聘网的招聘信息、获取融资数据等等，可谓是爬取数据，获取信息的好手。

python-spider

这个项目是ID为Jack-Cherish的东北大学学生整理的python爬虫资料，涵盖了很多爬虫实战项目，如下载漫画、答题辅助系统、抢票小助手等等等等。如果你已经学会了爬虫，急切得像找一些项目练手，这里就可以满足你的这一需求。当然，W3Cschool上也有很多爬虫实战项目，有需要的同学，也可以拿来作为练习使用。

以上的3个模块基于GitHub中的部分内容，感兴趣的小伙伴也可以了解下其他的模块，毕竟GitHub使用也比较广泛。更多Python学习推荐:PyThon学习网教学中心。

『贰』 求推荐一些好看的怪兽题材的科幻大片！

1、《巨齿鲨》

该片根据美国作家史蒂夫·艾尔顿的同名小说改编，讲述了史前巨兽巨齿鲨意外逃离深海重现人间大开杀戒，为了化解这场浩劫，深海潜水专家乔纳斯·泰勒联手中国女科学家张苏茵，与巨齿鲨展开了殊死一搏的故事。

『叁』 电影偷票房是什么意思

电影偷票房是指电影公司或工作人员利用不规范的手段，对电影票房进行人为篡改，以达到虚高票房的效果。这类违法行为所涉及的金额巨大，影响巨大，极易引起社会不满和愤怒，对于电影行业的声誉和文化形象都造成了严重损害。例如，2018年7月，中国内地公安机关就破获了一起涉及电影票务交易所的案件，依法打击了电影偷票房。
电影偷票房的另一个侧面是恶意刷票。在当今互联网飞速发展的背景下，恶意刷票已成为现实。利用刷票机器或爬虫等技术手段，将大量非法刷票注入电影票房系统中，导致电影牟取了不应有的利益。恶意刷票摧毁了公平竞争的基础，极大地扰乱了电影行业的正常运行。因此，对于如何对电影票务系统进行防范和打击是一个必须被重视的问题。
电影偷票房带来的影响是显著的。首先是对电影行业的健康发展带来了极大的阻碍。电影偷票房在很大程度上破坏了行业的诚信和公正，打击了看电影的信仰。其次，票房的虚高也会影响到消费者的购票行为，导致他们对于一些本来并不值得一看的电影也会涌现出火爆的票房。因此，要加强行业自律，建立及时有效的监管机制，对于违法行为要依法打击，守护行业的健康生态。

『肆』 常用的15个数据源网站，可以满足你95%的日常取数需求！赶紧收藏

前面介绍过实用的效率小工具，真的帮了我很多忙，这次给小伙伴们再种草一些数据源网站。

现在有很多免费的数据可以供使用分析，不过很少有人能找的到，或者没能力找，这就是所谓的信息差吧。其实数据获取分为两方面，一是“拿来的”数据，也就是现成的；二是“爬来的”数据，这种一般通过爬虫等手段去采集数据。

“拿来的”数据可以在各大官方平台或者社区去找，一般各行各业都会有自己的数据库。我常用的数据网站有以下这些：

网络指数： 网络搜索汇总的数据，能看到各种关键词的搜索热度趋势，优点数据量大，能反映真实的话题热度变化，适合做需求洞察、用户画像、舆情监测、市场分析。

网络指数规则，是以网民在网络的搜索量为数据基础，以关键词为统计对象，科学分析并计算出各个关键词在网络网页搜索中搜索频次的加权和。

微信指数： 微信生态的大数据，反映关键词热度，和网络指数类似。但微信指数数据来源微信各种内容渠道，包括搜一搜、视频号、公众号等，适合做微信生态人群画像、内容推广、舆情监控的研究。

Google Trends： 和网络指数类似的产品，基于google生态汇总的大数据。比网络数据来源更丰富也更广泛，包含了google、youtube等，毕竟是全球应用。缺点是对国内搜索分析的指导意义不大，还是网络指数更具指导意义。

微博指数： 微博内容提及量、阅读量、互动量加权得出的综合指数，优点比较有时效性，而且数据基数大，可以实时反映热度变化情况，适合实时捕捉当前 社会 热点事件、热点话题等，快速响应舆论走向等。

这种数据包含了网站、APP、自媒体账号等监测数据，大多是商业付费类

Alexa： 用于查询全球网站排名和流量的平台，可以看到PV、UV、排名、区域分布等信息。

新榜： 新媒体专属的数据平台，用于查看抖音、快手、公众号、小红书等平台KOL账号的数据。数据包括了粉丝、浏览、互动、声量等，一般用于广告投放监测、自媒体数据运营等。

猫眼数据： 影视相关数据。汇总了电影票房、网播热度、电视收视等数据，适合做票房预测、节目热度监测。

艾瑞指数： APP、Web、手机等排行榜数据，包括各大移动设备装机指数、APP热度指数、PC Web热度指数、网络广告指数等等，适合做广告营销投放等。

新浪 财经 数据中心：新浪 财经 大数据，汇总了股票、基金、期货、黄金、货币等各种 财经 数据，种类很齐全，应该有数据接口。

Wind：国内比较早的金融数据服务商，数据种类最齐全，而且有各种金融分析工具，也支持Python、R等量化分析。但Wind很贵，个人很难承担的起。

Tushare： 免费的金融数据库，支持Python接口，数据也非常齐全，包含了股票、基金、期权、债券、外汇、公司报表等各种 财经 数据。只要你会用Python，就可以调用里面的各种数据，非常便捷。

这种一般包含政府开放数据、统计数据，以及各种民生数据。

国家统计局： 最权威的国内宏观数据网站，包括人口、经济、农业等等。

上海公共数据开放平台： 上海市各行各业的免费数据，对公众开放下载，非常适合做城市规划分析。

其他城市官方数据：

这一类数据适合做机器学习、统计分析、算法研究等，是学术界、工业界用于数据驱动业务典型数据。

kaggle： 全球最大的数据科学比赛平台，也是google旗下的产品。kaggle拥有丰富的数据集和各种解决方案，适合对数据感兴趣的小伙伴去研究学习。

天池： 阿里云里面的数据比赛平台，也拥有很多比赛数据，质量相对较高。

『伍』 一部蟒蛇的电影

韩国电影【龙之战】
附评论
1999年喜剧演员出身的沈炯来导演了《爬虫大战》，这部当年最大投资的电影(制作费110亿韩元，约合人民币8500万元)，事先在海外市场做了大规模的宣传，并签订了数笔大额的影片出口合同。但即使如此，该片在首尔上映时，票房还是惨不忍睹，观影人次仅为30余万。

时隔7年，沈炯来以投资高达300亿韩元(约合人民币2.3亿元)的怪兽电影《龙之战》再度与本土观众见面，票房却节节攀升，最终观影人次超过840多万，不仅是2007年的韩国票房冠军,也进入韩国影史十大卖座片之列。

影片讲述记者伊桑和一个身患神秘疾病的女孩,携手大战一群欲要摧毁地球的巨蟒。该片公映后，最多的评论莫过于“完美的CG＋苍白的故事”，看来不擅长讲故事成了沈炯来导演作品的通病。只是这次，华丽的CG效果让更多的韩国观众忽略了故事的不足。较之前作《爬虫大战》，真人结合最新CG动画技术制作的画面已接近好莱坞同类影片的水准，部分场景虽不乏模仿《侏罗纪公园》、《金刚》等好莱坞怪兽片的嫌疑，但其总体效果还算不错。特别是影片结尾巨蟒大战的场面宏大逼真，两条蟒蛇形态各异、肉感十足，其活灵活现的打斗动作、惟妙惟肖的表情都让沉浸在幻想世界里的观众，享受到一场难得的视听盛宴。

不过话又说回来，用钱砸出来的画面固然美不胜收，剧情的苍白却也难以掩饰。据导演介绍，影片吸取了前作失败的教训，怪兽的造型设计借鉴了在韩国很有象征意义的龙，情节也掺入了具有韩国民族特色的古代传说，以保持与本土观众的亲近感。但《龙之战》作为《爬虫大战》的升级版，依然缺乏引人入胜的情节和有血有肉的角色，加之滥用的韩国符号(如片尾莫名其妙出现了煽情的阿里郎音乐)，影片成为泛泛之作也是必然。

一直以来，沈炯来希望靠使用英文台词、起用欧美演员、套用好莱坞制作方式打造出一部韩国式商业大片（Blockbuster）来征服好莱坞和全世界(其野心在片中也可见一斑，比如海报上屡次出现的韩国巨蟒盘踞在美国最高建筑物上的场景、片末韩国蟒蛇蜕变成龙维护世界和平)。

但一部缺乏民族文化底蕴，仅把民族文化作为卖点、仅靠好莱坞皮毛支撑的作品，如何能打动世界观众的心(该片的北美票房仍是惨淡)？沈炯来导演如果不吸取教训，即使再过7年，他的作品仍会处在技术与内容的两难境遇中徘徊不前。

『陆』 豆瓣电影数据分析

这篇报告是我转行数据分析后的第一篇报告，当时学完了Python，SQL，BI以为再做几个项目就能找工作了，事实上……分析思维、业务，这两者远比工具重要的多。一个多月后回过头来看，这篇报告虽然写得有模有样，但和数据分析报告还是有挺大差别的，主要原因在于：a.只是针对豆瓣电影数据分析太过宽泛了，具体关键指标到底是哪些呢？；b.没有一个确切有效的分析模型/框架，会有种东一块西一块的拼接感。
即便有着这些缺点，我还是想把它挂上来，主要是因为：1.当做Pandas与爬虫(Selenium+Request)练手，总得留下些证明；2.以豆瓣电影进行分析确实很难找到一条业务逻辑线支撑，总体上还是描述统计为主；3.比起网上能搜到的其他豆瓣电影数据分析，它更为详细，可视化效果也不错；

本篇报告旨在针对豆瓣电影1990-2020的电影数据进行分析，首先通过编写Python网络爬虫爬取了51375条电影数据，采集对象包括：电影名称、年份、导演、演员、类型、出品国家、语言、时长、评分、评论数、不同评价占比、网址。经过去重、清洗，最后得到29033条有效电影数据。根据电影评分、时长、地区、类型进行分析，描述了评分与时长、类型的关系，并统计了各个地区电影数量与评分。之后，针对演员、导演对数据进行聚合，给出产量与评分最高的名单。在分析过程中，还发现电影数量今年逐步增加，但评分下降，主要原因是中国地区今年低质量影视作品的增加。

另外，本篇报告还爬取了电影票房网（ http://58921.com/ ）1995-2020年度国内上映的影片票房，共采集4071条数据，其中3484条有效。进一步，本文分析了国内院线电影票房年度变化趋势，票房与评分、评价人数、时长、地区的关系，票房与电影类型的关联，并给出了票房最高的导演、演员与电影排名。

清洗、去重后，可以看到29033条数据长度、评分、评论数具有以下特点：

结合图1(a)(b)看，可以看到电影数据时长主要集中在90-120分钟之间，向两极呈现阶梯状递减，将数据按照短(60-90分钟)，中(90-120分钟)，长(120-150分钟)，特长(>150分钟)划分，各部分占比为21.06%, 64.15%, 11.95%, 2.85%。

结合图2(a)看，可以看到我们采集到的电影数据评分主要集中在6.0-8.0之间，向两极呈现阶梯状递减，在此按照评分划分区间：2.0-4.0为口碑极差，4.0-6.0为口碑较差，6.0-7.0为口碑尚可，7.0-8.0为口碑较好，8.0-10.0为口碑极佳。

这5种电影数据的占比分别为：5.78%, 23.09%, 30.56%, 29.22%, 11.34%

再将评分数据细化到每年进行观察，可以发现，30年内电影数量与年度电影均分呈反相关，年度均分整体呈现下降趋势，2016年电影均分最低，电影数量最多。

进一步做出每个年份下不同评级等级的电影数据占比，可以发现，近年来，评分在[2.0,6.0)的电影数据占比有着明显提升，评分在[6.0,7.0)的数据占比不变，评分在[7.0,10.0)的数据占比减少，可能原因有：

对照图5，可以发现，评分与时长、评论人数的分布大致呈现漏斗状，高分电影位于漏斗上部，低分电影位于漏斗下部。这意味着，如果一部电影的评论人数很多（特别是超过30w人观影），时长较长(大于120min)，那么它大概率是一部好电影。

根据各个国家的电影数量作图，可以得到图6，列出电影数量前十的国家可得表格2，发现美国在电影数量上占第一，达到8490部，中国其次，达6222部。此外，法国，英国，日本的电影数量也超过1000，其余各国电影数量相对较少。这可以说明美国电影有着较大的流量输入，在中国产生了较大的影响。

进一步分析各国电影的质量，依据评分绘制评分箱线图可得图7，在电影数量排名前20的国家中：

接着我们可以探索，哪个国家的电影对豆瓣评分随年份下降的贡献最大，考虑到电影数量对应着评分的权重。根据上述各国的电影评分表现，我们可以猜测电影数量较多的国家可能对年度均分的下降有较大影响。于是，我们再计算出这些国家的年度电影均分，并与整体均分进行比较分析。

再作出中国大陆，中国台湾，中国香港的均分箱线图图9(a)，可以看到，大陆电影均分低于港台电影，且存在大量低分电影拉低了箱体的位置。

分析相关性可得，大陆、香港、台湾电影年度均分与全部评分关联度分别为R=0.979,0.919,0.822，说明滤去台湾和香港电影，大陆电影年度均分的变化趋势与全部评分变化更接近。图9(b)可以进一步反映这一点。

可以看到，大部分类型集中在X×Y=[10000,30000]×[6.00,7.50]的区间范围内，剧情、喜剧、爱情、犯罪、动作类电影数量上较多，说明这些题材的电影是近三十年比较热门的题材，其中剧情类电影占比最多，音乐、传记类电影平均得分更高，但在数量上较少，动作、惊悚类电影评论人数虽多，但评价普遍偏低。

除此之外，还有两块区域值得关注：

根据类型对电影数据进行聚合，整理得到各类型电影评分的时间序列，计算它们与整体均分时间序列的相关性，可得表格4与图11，可以看到剧情，喜剧，悬疑这三种类型片与总分趋势变化相关性最强，同时剧情、喜剧类电影在电影数量上也最多，因此可以认为这两类电影对于下跌趋势影响最大，但其余类别电影的相关性也达到了0.9以上，说明几种热门的电影得分的变化趋势与总体均分趋势一致。

前面已经得知，中美两国电影占比最高，且对于均分时间序列的影响最大。在此，进一步对两国电影进行类型分析，选取几种主要的类型（数量上较多，且相关性较高）进行分析，分别是剧情，喜剧，爱情，惊悚，动作，悬疑类电影，绘制近年来几类电影的数量变化柱状图与评分箱线图可得图12,13,14,15。

对导演与演员进行聚合，得到数据中共有15011名导演，46223名演员。按照作品数量在(0,2], (2,5], (5,10], (10,20], (20,999]进行分组统计导演数量，可以发现，15009名导演中有79.08%只拍过1-2部作品，46220名演员中有75.93%只主演过1-2部作品。忽略那些客串、跑龙套的演员，数据总体符合二八定律，即20%的人占据了行业内的大量资源。

在此，可以通过电影得分、每部电影评论人数以及电影数目寻找优秀的电影导演与演员。这三项指标分别衡量了导演/演员的创作水平，人气以及产能。考虑到电影数据集中可能有少量影视剧/剧场版动画，且影视剧/剧场版动画受众少于电影，但得分普遍要高于电影，这里根据先根据每部电影评论数量、作品数量来筛选导演/演员，再根据电影得分进行排名，并取前30名进行作图，可得图17,18。

结合电影票房网（ http://58921.com/ ）采集到的3353条票房数据，与豆瓣数据按照电影名称进行匹配，可以得到1995-2020年在中国大陆上映的电影信息，分别分析中国内地电影的数量、票房变化趋势，票房与评分、评价人数、时长、地区以及类型的关系，此外还给出了不同导演与演员的票房表现以及影片票房排名。

如图19所示，国内票房数据与上映的电影数量逐年递增，2020年记录的只是上半年的数据，且由于受疫情影响，票房与数量骤减。这说明在不发生重大事件的情况下，国内电影市场规模正在不断扩大。

对电影数据根据类型进行聚合，绘制散点图21，可以发现：

提取导演/演员姓名，对导演/演员字段进行聚合，计算每个导演/演员的票房总和，上映电影均分、以及执导/参与电影数目进行计算，作出票房总和前30名的导演/演员，可得图22,23，图中导演/演员标号反映了票房排名，具体每位导演/演员的上映影片数量、均分、每部电影评价人数、平均时长与总票房在表5、表6中给出。

最后根据电影票房进行排名，得到票房排名前20的电影如表格7所示，可以看到绝大部分上榜电影都是中国电影，索引序号为3、10、12、14、18、19为美国电影，这也反映了除国产电影之外，好莱坞大片占据较大的市场。

本篇报告采集了1990-2020年间豆瓣电影29033组有效数据，从豆瓣电影的评分、时长、地区、类型、演员、导演以及票房等信息进行分析评价，主要有以下结论：