Python爬虫基础-正则表达式
# 正则表达式基础
基础1：
全局匹配函数使用格式 re.compile(正则表达式).findall(源字符串)
普通字符 正常匹配
#\n 匹配换行符
\t 匹配制表符
\w 匹配字母、数字、下划线
\W 匹配除字母、数字、下划线
\d 匹配十进制数字
\D 匹配除十进制数字
\s 匹配空白字符
\S 匹配除空白字符
[ab89x] 原子表，匹配ab89x中任意一个
[^ab89x] 原子表，匹配除ab89x以外的任意一个字符
实例1：
源字符串："aliyunedu"
正则表达式："yu"
输出：yu
>>> import re
>>> a="aliyunedu"
>>> pat="yu"
>>> re.compile("yu").findall(a)
['yu']
...
>>> a="aliyu89787nedu"
>>> pat="\w\d\w\d\d\w"
>>> re.compile(pat).findall(a)
['u89787']
...
>>> a="aliyu89787nedu"
>>> pat="\w\d[nedu]\w"
>>> re.compile(pat).findall(a)
['87ne']
...
基础2：
. 匹配除换行外任意一个字符
^ 匹配开始位置(不在原子表中时，在原子表中表示：非)
$ 匹配结束位置
* 前一个字符出现0\1\多次
? 前一个字符出现0\1次
+ 前一个字符出现1\多次
{n} 前一个字符恰好出现n次，没有最多限制
{n,} 前一个字符至少出现n次
{n,m} 前一个字符至少出现n次，至多m次
| 模式选择符：或
() 模式单元，通俗来说就是：想提取出什么内容，就在正则中用小括号将其括起来
。。。
实例2：
源字符串："aliyunnnji87362387aoyubaidu"
正则表达式："ali..."
结果：aliyun
>>> a="aliyunnnji87362387aoyubaidu"
>>> pat="ali..."
>>> re.compile(pat).findall(a)
['aliyun']
.
>>> pat="^li..."
>>> re.compile(pat).findall(a)
>>> pat="^ali..."
>>> re.compile(pat).findall(a)
['aliyun']
.
>>> pat="bai..$"
>>> re.compile(pat).findall(a)
['baidu']
.
>>> pat="ali.*" #*号前的点出现多次
>>> re.compile(pat).findall(a)
['aliyunnnji87362387aoyubaidu']
# tips:默念贪婪，即默认尽可能多地进行匹配
.
>>> pat="aliyun+" #前一个字符出现1次多次
>>> re.compile(pat).findall(a)
['aliyunnn']
.
>>> pat="aliyun?"
>>> re.compile(pat).findall(a)
['aliyun']
.
>>> pat="yun{1,2}" # 前一个字符出现至少一次，最多2次
>>> re.compile(pat).findall(a)
['yunn']
.
>>> pat="^al(i..)." #关注的是（）里的，^al表示能匹配，
>>> re.compile(pat).findall(a)
['iyu']
...基础3：
贪婪模式：尽可能多地匹配
懒惰模式：尽可能少地匹配，精准模式
默认贪婪模式
如果出现如下组合，则代表懒惰模式
*？
+？
实例3：
源字符串："poytphonyhjskjsa"
正则表达式："p.*y"
>>> a="poytphonyhjskjsa"
>>> pat="p.*y"
>>> re.compile(pat).findall(a)
['poythony'] #默认贪婪模式
.
>>> pat="p.*?y"
>>> re.compile(pat).findall(a)
['poy', 'phony'] #懒惰模式，精准匹配
...基础4：
模式修正符：在不改变正则表达式的情况下，通过模式修正符使匹配结果发生更改
re.S 让.也可以匹配多行
re.I 让匹配时忽略大小写
实例4：
a="Python"
pat="pyt"
>>> a="Python"
>>> pat="pyt"
>>> re.compile(pat).findall(a)
[] # 因为大小写不一致，所以返回空
.
>>> re.compile(pat,re.I).findall(a)
['Pyt'] # 加入模式修正符，可以匹配
.
>>> a="""我是阿里云大学
欢迎来学习
Python网络爬虫课程
"""
>>> print(a)
我是阿里云大学
欢迎来学习
Python网络爬虫课程
>>> pat="阿里.*?Python"
>>> re.compile(pat).findall(a)
[]
>>> re.compile(pat,re.S).findall(a)
['阿里云大学\n欢迎来学习\nPython'] #匹配多行，忽略换行
+++39'19"
除了正则表达式之外，还有一-些非常好用的信息筛选的工具，比如XPath表达式、Beautiful
Soup等等，当然，我们不可能也不需要都进行掌握，在此，我们讲解一下XPath表达式。
/ 逐层提取
text() 提取标签下面的文本
//标签名** 提取所有名为**的标签
//标签名[@属性='属性
Tag:
Python
爬虫
正则表达式