beautifulsoup解析页面
from bs4 import BeautifulSoup
soup = BeautifulSoup(htmltxt, "lxml")
# 三种装载器
soup = BeautifulSoup("", "html.parser")
### 只有起始标签的会自动补全，只有结束标签的会自动忽略
### 结果为：
soup = BeautifulSoup("", "lxml")
### 结果为：
soup = BeautifulSoup("", "html5lib")
### html5lib则出现一般的标签都会自动补全
### 结果为：
# 根据标签名、id、class、属性等查找标签
### 根据class、id、以及属性alog-action的值和标签类别查询
soup.find("a",class_="title",id="t1",attrs={"alog-action": "qb-ask-uname"}))
### 查询标签内某属性的值
pubtime = soup.find("meta",attrs={"itemprop":"datePublished"}).attrs['content']
### 获取所有class为title的标签
for i in soup.find_all(class_="title"):
print(i.get_text())
### 获取特定数量的class为title的标签
for i in soup.find_all(class_="title",limit = 2):
print(i.get_text())
### 获取文本内容时可以指定不同标签之间的分隔符，也可以选择是否去掉前后的空白。
soup = BeautifulSoup(' The Dormouses story
The Dormouses story
', "html5lib")
soup.find(class_="title").get_text("|", strip=True)
#结果为：The Dormouses story|The Dormouses story
### 获取class为title的p标签的id
soup.find(class_="title").get("id")
### 对class名称正则：
soup.find_all(class_=re.compile("tit"))
### recursive参数，recursive=False时，只find当前标签的第一级子标签的数据
soup = BeautifulSoup('abc','lxml')
soup.html.find_all("title", recursive=False)</pre> <br>
当前题目：Python常用爬虫代码总结方便查询-创新互联 <br>
文章分享：<a href="http://www.csdahua.cn/article/hoihh.html">http://www.csdahua.cn/article/hoihh.html</a>
</div>
<div class="view-qrocde cl">
<div class="m z"><img src="/Public/Home/images/ew.jpg"/></div>
<div class="text">
<h6>扫二维码与项目经理沟通</h6>
<p>我们在微信上24小时期待你的声音</p>
<p>解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流</p>
</div>
</div>
<div class="othernews cl">
<h3>其他资讯</h3>
<ul>
<li><a href="/article/deddoid.html">动态域名怎么用 动态域名怎么用英文表达</a></li><li><a href="/article/deddogg.html">fact函数怎么用c语言 c语言fact函数如何调用</a></li><li><a href="/article/deddojh.html">如何把控好重庆网站建设的质量？</a></li><li><a href="/article/deddojj.html">C语言函数公式练习题初中 c语言函数公式大全及图解</a></li><li><a href="/article/deddooo.html">帝国cms自助收录提交 帝国cms怎么做搜索模块</a></li> </ul>
</div>
</div>
</div>
<div class="sidebar">
<div class="tuijian">
<a href="#">
<h2 class="cl"><span>行业动态</span></h2>
<h3>企业网站建设的重要性！</h3>
<p>现在虽然是移动互联网时代，但企业网站依然重要，包含PC站点，移动站。可以说企业网站关系企业的未来发展和前途，尤其对中小企业更是如此，一些中小企业老板，对自己的名片很在乎，因为这是个门面。...</p>
</a>
</div>
<div class="ser sidesub">
<h2>服务项目</h2>
<ul class="ebox">
<li class="sub sub-1">
<div>
<h3>网站建设</h3>
<p></p>
<a class="btn" href="/serve/website/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>移动端/APP</h3>
<p></p>
<a class="btn" href="/serve/moblie/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>微信/小程序</h3>
<p></p>
<a class="btn" href="/serve/small/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>技术支持</h3>
<p></p>
<a class="btn" href="/serve/tech/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>其它服务</h3>
<p></p>
<a class="btn" href="/serve/othe/">查看详情</a>
</div>
</li>
<li class="sub sub-5">
<div>
<h3>更多服务项目</h3>
<p> <a>用我们的专业和诚信赢得您的信赖，从PC到移动互联网均有您想要的服务！</a></p>
<a class="btn" href="/serve/">获取更多</a>
</div>
</li>
</ul>
</div>
<div class="contact" id="fix">
<h2 class="cl"> <span>联系吧</span> <a href="https://map.baidu.com/" class="ditu" rel="nofollow" target="_blank">在百度地图上找到我们</a> </h2>
<h3>电话：13518219792</h3>
<p>如遇占线或暂未接听请拨：136xxx98888</p>
<div class="qq"> <a href="//wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes" rel="nofollow" target="_blank">业务咨询</a> <a href="//wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes" rel="nofollow" target="_blank">技术咨询</a> <a href="//wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes" rel="nofollow" target="_blank">售后服务</a> </div>
</div>
</div>
<script>
//固定滚动
(function () {
var oDiv = document.getElementById("fix");
var H = 120,
iE6;
var Y = oDiv;
while (Y) {
H += Y.offsetTop;
Y = Y.offsetParent
};
iE6 = window.ActiveXObject && !window.XMLHttpRequest;
if (!iE6) {
window.onscroll = function ()
{
var s = document.body.scrollTop || document.documentElement.scrollTop;
if (s > H) {
oDiv.className = "contact fixed";
if (iE6) {
oDiv.style.top = (s - H) + "px";
}
} else {
oDiv.className = "contact ";
}
};
}
})();
</script>
</div>
<div class="footer">
<div class="wp">
<div class="wpss cl">
<dl class="about">
<dt>网站制作</dt>
<dd><a href="http://chengdu.cdxwcx.cn/wangzhan/" target="_blank" title="手机网站制作">手机网站制作</a></dd><dd><a href="http://www.scyanting.com/" target="_blank" title="盐亭网站制作公司">盐亭网站制作公司</a></dd><dd><a href="http://www.dzwzjz.com/" target="_blank" title="达州网站制作">达州网站制作</a></dd><dd><a href="http://www.cdxwcx.cn/bj/" target="_blank" title="网站制作报价">网站制作报价</a></dd> </dl>
<dl class="about">
<dt>网站建设</dt>
<dd><a href="http://chengdu.cdcxhl.cn/seo/" target="_blank" title="营销网站建设">营销网站建设</a></dd><dd><a href="https://www.cdcxhl.com/shop.html" target="_blank" title="商城网站建设">商城网站建设</a></dd><dd><a href="http://chengdu.xwcx.net/mobile/" target="_blank" title="手机网站建设套餐">手机网站建设套餐</a></dd><dd><a href="http://www.kswjz.cn/" target="_blank" title="成都网站建设">成都网站建设</a></dd> </dl>
<dl class="about">
<dt>网站设计</dt>
<dd><a href="http://www.cdkjz.cn/fangan/education/" target="_blank" title="教育网站设计方案">教育网站设计方案</a></dd><dd><a href="http://chengdu.cdxwcx.cn/" target="_blank" title="成都网站设计">成都网站设计</a></dd><dd><a href="http://www.cxjianzhan.cn/" target="_blank" title="成都网站设计">成都网站设计</a></dd><dd><a href="https://www.cdcxhl.com/sheji/chengdu.html" target="_blank" title="四川成都网站设计">四川成都网站设计</a></dd> </dl>
<dl class="contact">
<dt>联系我们</dt>
<dd>电话：13518219792</dd>
<dd>邮箱：631063699@qq.com</dd>
<dd>地址：成都青羊区锦天国际1002号</dd>
<dd>网址：www.csdahua.cn</dd>
</dl>
<dl class="flow">
<dt></dt>
<div class="ma cl">
<div class="m"> <img src="/Public/Home/images/ew.jpg" />
<p>微信二维码</p>
</div>
</div>
</dl>
</div>
</div>
<div class="footer-link wp">
<ul class="wpss cl">
<li class="fisrt">友情链接</li>
<li><a href="http://chengdu.cdcxhl.cn/shop/
" title="成都微商城" target="_blank">成都微商城</a></li><li><a href="https://www.cdxwcx.com/wangzhan/app.html" title="App开发" target="_blank">App开发</a></li><li><a href="https://www.cdcxhl.com/tuoguan/yidong/" title="成都移动服务器托管" target="_blank">成都移动服务器托管</a></li><li><a href="https://www.cdcxhl.com/xiangyingshi.html" title="响应式网站" target="_blank">响应式网站</a></li><li><a href="https://www.xwcx.net/" title="成都服务器托管" target="_blank">成都服务器托管</a></li><li><a href="http://www.cdfuwuqi.com/cloud/" title="云服务器" target="_blank">云服务器</a></li><li><a href="http://www.myzitong.com/" title="梓潼网站制作公司" target="_blank">梓潼网站制作公司</a></li><li><a href="http://www.cdhuace.com/baozhuang.html" title="产品包装设计" target="_blank">产品包装设计</a></li><li><a href="http://www.sffdjwx.com/" title="沃尔沃电机组维修保养" target="_blank">沃尔沃电机组维修保养</a></li><li><a href="https://www.cdcxhl.com/xiangyingshi.html" title="响应式网站设计" target="_blank">响应式网站设计</a></li> </ul>
</div>
</div>
<div class="bot-footer">
<div class="wp">
<p class="wpss"> <em>Copyright © 2002-2023 www.csdahua.cn 快上网建站品牌 QQ：244261566 版权所有</em> <em>备案号：<a href="http://beian.miit.gov.cn/" rel="external nofollow">蜀ICP备19037934号</a></em>
</p>
<p class="wpss" style="line-height:30px !important;"> </p>
</div>
</div>
<div class="footer-kefu">
<ul>
<li class="qq"><a href="https://wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes"><em></em>在线咨询</a>
</li>
<li class="tel"><a href="tel:13518219792" target="_blank"><em></em>13518219792</a></li>
<li class="wx"> <em></em>
<div class="code"> <img src="/Public/Home/images/ew.jpg" />
<p>微信二维码</p>
</div>
</li>
<li class="m"> <em></em>
<div class="code"> <img src="/Public/Home/images/ew.jpg" />
<p>移动版官网</p>
</div>
</li>
<li class="top"><em></em></li>
</ul>
</div>
<script src="/Public/Home/js/all.js"></script>
</body>
</html>
<script>
$(".cont img").each(function(){
var src = $(this).attr("src"); //获取图片地址
var str=new RegExp("http");
var result=str.test(src);
if(result==false){
var url = "https://www.cdcxhl.com"+src; //绝对路径
$(this).attr("src",url);
}
});
window.onload=function(){
document.oncontextmenu=function(){
return false;
}
}
</script>