「生活可以更简单, 欢迎来到我的开源世界」
  1. 方法简介
  2. find_all()
    1. 通过标签名查找
    2. 通过类名查找
    3. 通过id名查找
    4. 获取所有a标签的href属性
    5. 获取所有的职位信息(所有文本信息)
    6. 获取所有非标记性字符
    7. 获取所有非空字符
    8. get_text 获取所有职位信息
  3. select()
    1. 通过标签名查找
    2. 通过类名查找
    3. 根据id名查找
    4. 属性查找
    5. 组合查找
    6. 提取所有a标签的href属性
    7. 获取所有的职位信息
python爬虫-BeautifulSoup诸方法辨析
2019-10-12

记录下BeautifulSoup 的 find、find_all、select 方法的区别及各自的用处。

方法简介

//构建html用于解析
from bs4 import BeautifulSoup
html = '''
<table>
<tr class='a1'>
<td>职位名称</td>
<td>职位类别</td>
<td>时间</td>
</tr>
<tr class='a1'>
<td><a id='test' class='test' target='_blank' href='https://www.baidu.com/'>职位一</a></td>
<td>类别一</td>
<td>时间1</td>
</tr>
<tr class='a2'>
<td><a id='test' class='test' target='_blank' href='https://www.baidu.com/'>职位二</a></td>
<td>类别二</td>
<td>时间2</td>
</tr class='a3'>
<tr>
<td><a id='test' class='test' target='_blank' href='https://www.baidu.com/'>职位3</a></td>
<td>类别3</td>
<td>时间3</td>
</tr>
</table>
<div>
这是一个div
<p>
<!-- 这是一个注释 -->
</p>
</div>
'''
soup = BeautifulSoup(html,'lxml') # 解析html

select 方法和find_all极其相似

find_all()

通过标签名查找

print(soup.select('title'))
# [<title>The Dormouse's story</title>]

print(soup.select('a'))
# [<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

print(soup.select('b'))
# [<b>The Dormouse's story</b>]

find 返回找到的第一个标签,find_all 以list的形式返回找到的所有标签

trs = soup.find_all('tr') # 返回列表
n=1
for i in trs:
print('第{}个tr标签:'.format(n))
print(i)
n+=1

limit 可指定返回的标签数量

trs = soup.find_all('tr',limit=2)[1]  # 从列表中获取第二个元素,limit 获取标签个数
print(trs)

通过类名查找

方法一: class_

trs = soup.find_all('tr',class_='a1')
n=1
for i in trs: print('第{}个class=''a1''的tr标签:'.format(n)) print(i)
n+=1

方法二:attrs 将标签属性放到一个字典中

trs = soup.find_all('tr',attrs={'class':'a1'})
n=1
for i in trs:
print('第{}个class=''a1''的tr标签:'.format(n))
print(i)
n+=1

通过id名查找

方法一:id和class_

alist = soup.find_all('a',id='test',class_='test')
n=1
for i in alist:
print('第{}个id=''test''且class=''test''的a标签:'.format(n))
print(i)
n+=1

方法二:attrs

alist = soup.find_all('a',attrs={'id':'test','class':'test'})
n=1
for i in alist:
print('第{}个id=''test''且class=''test''的a标签:'.format(n))
print(i)
n+=1

获取所有a标签的href属性

alist = soup.find_all('a') #方法一:通过下标获取
for a in alist:
href = a['href']
print(href) #方法二: 通过attrs获取
for a in alist:
href = a.attrs['href']
print(href)

获取所有的职位信息(所有文本信息)

string 获取标签下的非标签字符串(值), 返回字符串

注:第一个tr为标题信息,不获取。从第二个tr开始获取。

trs = soup.find_all('tr')[1:]
movies = []
for tr in trs:
move = {}
tds = tr.find_all('td')
move['td1'] = tds[0].string # string 取td的值
move['td2'] = tds[1].string
move['td3'] = tds[2].string
movies.append(move)
print(movies)

获取所有非标记性字符

strings 获取标签下的所有非标签字符串, 返回生成器。

trs = soup.find_all('tr')[1:] 
for tr in trs:
infos = list(tr.strings) # 获取所有非标记性字符,包含换行、空格
print(infos)

获取所有非空字符

stripped_strings 获取标签下的所有非标签字符串,并剔除空白字符,返回生成器。

trs = soup.find_all('tr')[1:]
for tr in trs:
infos = list(tr.stripped_strings) # 获取所有非空字符,不包含换行、空格
print(infos)
# stripped_strings 获取所有职位信息
trs = soup.find_all('tr')[1:]
movies = []
for tr in trs:
move = {}
infos = list(tr.stripped_strings)
move['职位'] = infos[0]
move['类别'] = infos[1]
move['时间'] = infos[2]
movies.append(move)
print(movies)

get_text 获取所有职位信息

get_text  获取标签下的所有非标签字符串,返回字符串格式

trs = soup.find_all('tr')[1]
text = trs.get_text() # 返回字符串格式
print(text)

select()

返回类型是list

通过标签名查找

trs = soup.select('tr') 

获取第二个tr标签

trs = soup.select('tr')[1] 

通过类名查找

Python爬虫用select方法提取的标签的属性带有空格的解决方法:把空格的位置换成.就可以了

# 方法一:
trs = soup.select('tr.a1') # tr标签的class属性
# 方法二:
trs = soup.select('tr[class="a1"]') # tr标签的class属性

根据id名查找

alist = soup.select('#test');

属性查找

查找时还可以加入属性元素,属性需要用中括号括起来,注意属性和标签属于同一节点,所以中间不能加空格,否则会无法匹配到。

alist = soup.select('a[href="https://www.baidu.com/"]');

组合查找

组合查找是使用以上4种查找方式,查询条件使用空格分隔。

alist = soup.select('tr #test');# tr标签中,id为test的标签
alist = soup.select('table > tr');# 子标签查找

提取所有a标签的href属性

# 方法一:
a = soup.select('a')
for i in a:
print(i['href'])
# 方法二:
a = soup.select('a')
for i in a:
print(i.attrs['href'])

获取所有的职位信息

trs = soup.select('tr') 
for i in trs:
print(list(i.stripped_strings))
<⇧>