Python项目实战-爬取猫眼电影

如何学习Python爬虫，爬虫的难点其实并不在于爬虫本身。而是各种各样的反爬虫措施。下面以一个小案例分享一下，带你们领略一下python的魅力。爬取《悲伤逆流成河》猫眼信息，项目源码分享：''' 在学习过程中有什么不懂得可以加我的 python学习交流扣扣qun，934109170 群里有不错的学习教程、开发工具与电子书籍。 与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容。 ''' import requests from fake_useragent import UserAgent import json import pymongo #保存到数据库 clien=pymongo.MongoClient(host='填写数据库IP') db=clien.The_cat_s_eye_essay coll=db.eye_essay #创建一个随机生成user-aengt的对象 ua=UserAgent() #提取我们要的短评 def parse_json(json): if json: items=json.get('cmts') i=0 for item in items: data={ 'ID':item.get('nickName'), '短评':item.get('content'), '评分':item.get('score'), '用户地点':item.get('cityName'), '评论时间':item.get('startTime'), '回复数':