博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python知乎热门话题数据的爬取实战
阅读量:4593 次
发布时间:2019-06-09

本文共 1215 字,大约阅读时间需要 4 分钟。

import requests from pyquery import PyQuery as pq url = 'https://www.zhihu.com/explore' headers = {
'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36" } # 为了让网页能模拟浏览器的操作来设置一个headers获取网页源码 html = requests.get(url, headers=headers).text # 初始化,使用pyQuery来把html放到解析库里进行解析 doc = pq(html) # 进行pyquery解析(里面放的是css选择器参数)对class里有两个参数来进行解析 items = doc('.explore-feed.feed-item').items() # 循环遍历筛选后的数据 for item in items: # 提取里面的问题 question = item.find('h2').text() # 提取里面的作者 author = item.find('.author-link-line').text() # 提取里面的回复的内容,这里注意一下,在内容的上面有一个textarea被hidden了 answer = pq(item.find('.content').html()).text() # 方法一 # 文件的存储以txt文本存储 file = open('explore.txt', 'a', encoding='utf-8') # 文件的写入 file.write('\n'.join([question, author, answer])) # 每一个内容用特殊符号隔开 file.write('\n' + '=' * 50 + '\n') # 文件的关闭 file.close()
# 方式二     # 简写的方法这样可以不用去关闭文件,系统已经封装好了关闭的方法     with open('explore.txt', 'a', encoding='utf-8') as file:         file.write('\n'.join([question, author, answer]))         file.write('\n' + '=' * 50 + '\n')

转载于:https://www.cnblogs.com/yunlongaimeng/p/9457424.html

你可能感兴趣的文章
行为型模式:中介者模式
查看>>
How to Notify Command to evaluate in mvvmlight
查看>>
33. Search in Rotated Sorted Array
查看>>
461. Hamming Distance
查看>>
Python垃圾回收机制详解
查看>>
{面试题1: 赋值运算符函数}
查看>>
Node中没搞明白require和import,你会被坑的很惨
查看>>
Python 标识符
查看>>
Python mysql 创建连接
查看>>
企业化的性能测试简述---如何设计性能测试方案
查看>>
centos7 安装中文编码
查看>>
POJ - 3683 Priest John's Busiest Day
查看>>
正则表达式start(),end(),group()方法
查看>>
vuejs 学习旅程一
查看>>
javascript Date
查看>>
linux常用命令2
查看>>
狼图腾
查看>>
13、对象与类
查看>>
5.28团队第二阶段冲刺(三)
查看>>
Sublime Text3 个人使用心得
查看>>