「生活可以更简单, 欢迎来到我的开源世界」
  1. 1. 简单的判断包含
  2. 2. 正则匹配
  3. 3. 调用python自带函数
  4. 4. 匹配多个字符
python爬虫——判断url是否http开头
2019-11-10

编写爬虫程序时,常见的操作是从页面上解析出url,然后深度(或广度)探寻,然而有时候解析出来的文本含有一些杂质,需要一些过滤后才是我们想要的url。

Python:如何判断一个url是以http开头的?

比如一个文本test.txt,里面的内容为:

http://www.sogou.com
this is a url
this is http://www.sogou.com address

1. 简单的判断包含

#encoding: utf-8

with open("test.txt", "r") as f:
content = f.readlines()
for line in content:
if "http" in line:
print(line)

输出为:

http://www.sogou.com
this is http://www.sogou.com address

2. 正则匹配

获取以http开头:

#encoding: utf-8
import re
with open("test.txt", "r") as f:
content = f.readlines()
for line in content:
r = re.match("http", line)
if r != None:
print(line)

输出为:

http://www.sogou.com

re.match, 从开头匹配字符串,如果匹配到返回匹配到的对象。没有匹配到返回None。

3. 调用python自带函数

判断开头:

#encoding: utf-8
with open("test.txt", "r") as f:
content = f.readlines()
for line in content:
if line.startswith("http"):
print(line)

输出为:

http://www.sogou.com

判断结尾:

#encoding: utf-8
with open("test.txt", "r") as f:
content = f.readlines()
for line in content:
if line.replace("\n","").endswith("com"):
print(line)

这里要注意的是,每行结束会有一个换行符,因此要替换掉。

虽然从代码行数上,区别不是太大,但是从方法名称的理解上,startswith和endswith,更容易一些。

4. 匹配多个字符

比如文本内容为:

http://www.sogou.com
this is a url
this is http://www.sogou.com address
ftp://www.sogou.com
#encoding: utf-8
with open("test.txt", "r") as f:
content = f.readlines()
for line in content:
if line.startswith(("http", "ftp")):
print(line)

只需要传参数为元组,包含要匹配的字串即可。

<⇧>