投稿    登录
欢迎来访~

一看就懂,Python 日志 logging 模块详解及应用

Python Rust之禅 1740浏览 6评论

日志概述

百度百科的日志概述

Windows网络操作系统都设计有各种各样的日志文件,如应用程序日志,安全日志、系统日志、Scheduler服务日志、FTP日志、WWW日志、DNS服务器日志等等,这些根据你的系统开启的服务的不同而有所不同。我们在系统上进行一些操作时,这些日志文件通常会记录下我们操作的一些相关内容,这些内容对系统安全工作人员相当有用。比如说有人对系统进行了IPC探测,系统就会在安全日志里迅速地记下探测者探测时所用的IP、时间、用户名等,用FTP探测后,就会在FTP日志中记下IP、时间、探测所用的用户名等。

我映像中的日志

查看日志是开发人员日常获取信息、排查异常、发现问题的最好途径,日志记录中通常会标记有异常产生的原因、发生时间、具体错误行数等信息,这极大的节省了我们的排查时间,无形中提高了编码效率。

日志分类

我们可以按照输出终端进行分类,也可以按照日志级别进行分类。输出终端指的是将日志在控制台输出显示和将日志存入文件;日志级别指的是 Debug、Info、WARNING、ERROR以及CRITICAL等严重等级进行划分。

Python 的 logging

logging提供了一组便利的日志函数,它们分别是:debug()、 info()、 warning()、 error() 和 critical()。logging函数根据它们用来跟踪的事件的级别或严重程度来命名。标准级别及其适用性描述如下(以严重程度递增排序):

每个级别对应的数字值为
CRITICAL:50,ERROR:40,WARNING:30,INFO:20,DEBUG:10,NOTSET:0。
Python 中日志的默认等级是 WARNING,DEBUG 和 INFO 级别的日志将不会得到显示,在 logging 中更改设置。

日志输出

输出到控制台

使用 logging 在控制台打印日志,这里我们用 Pycharm 编辑器来观察:


从上图运行的结果来看,的确只显示了 WARNING 级别的信息,验证了上面的观点。同时也在控制台输出了日志内容,默认情况下 Python 中使用 logging 模块中的函数打印日志,日志只会在控制台输出,而不会保存到日文件。

有什么办法可以改变默认的日志级别呢?

当然是有的,logging 中提供了 basicConfig 让使用者可以适时调节默认日志级别,我们可以将上面的代码改为:

在 basicConfig 中设定 level 参数的级别即可。

思考:如果设定级别为 logging.INFO,那 DEBUG 信息能够显示么?

保存到文件

刚才演示了如何在控制台输出日志内容,并且自由设定日志的级别,那现在就来看看如何将日志保存到文件。依旧是强大的 basicConfig,我们再将上面的代码改为:


在配置中填写 filename (指定文件名) 和 filemode (文件写入方式),控制台的日志输出就不见了,那么 coder.log 会生成么?


在 .py 文件的同级目录生成了名为 coder.log 的日志。

通过简单的代码设置,我们就完成了日志文件在控制台和文件中的输出。那既在控制台显示又能保存到文件中呢?

强大的 logging

logging所提供的模块级别的日志记录函数是对logging日志系统相关类的封装

logging 模块提供了两种记录日志的方式:

  • 使用logging提供的模块级别的函数
  • 使用Logging日志系统的四大组件

这里提到的级别函数就是上面所用的 DEBGE、ERROR 等级别,而四大组件则是指 loggers、handlers、filters 和 formatters 这几个组件,下图简单明了的阐述了它们各自的作用:


日志器(logger)是入口,真正工作的是处理器(handler),处理器(handler)还可以通过过滤器(filter)和格式器(formatter)对要输出的日志内容做过滤和格式化等处理操作。

四大组件

下面介绍下与logging四大组件相关的类:Logger, Handler, Filter, Formatter。

Logger类

Logger 对象有3个工作要做:

Logger对象最常用的方法分为两类:配置方法 和 消息发送方法

最常用的配置方法如下:

关于Logger.setLevel()方法的说明:

内建等级中,级别最低的是DEBUG,级别最高的是CRITICAL。例如setLevel(logging.INFO),此时函数参数为INFO,那么该logger将只会处理INFO、WARNING、ERROR和CRITICAL级别的日志,而DEBUG级别的消息将会被忽略/丢弃。

logger对象配置完成后,可以使用下面的方法来创建日志记录:


那么,怎样得到一个Logger对象呢?一种方式是通过Logger类的实例化方法创建一个Logger类的实例,但是我们通常都是用第二种方式–logging.getLogger()方法。

logging.getLogger()方法有一个可选参数name,该参数表示将要返回的日志器的名称标识,如果不提供该参数,则其值为’root’。若以相同的name参数值多次调用getLogger()方法,将会返回指向同一个logger对象的引用。

Handler

Handler对象的作用是(基于日志消息的level)将消息分发到handler指定的位置(文件、网络、邮件等)。Logger对象可以通过addHandler()方法为自己添加0个或者更多个handler对象。比如,一个应用程序可能想要实现以下几个日志需求:

一个handler中只有非常少数的方法是需要应用开发人员去关心的。对于使用内建handler对象的应用开发人员来说,似乎唯一相关的handler方法就是下面这几个配置方法:


需要说明的是,应用程序代码不应该直接实例化和使用Handler实例。因为Handler是一个基类,它只定义了素有handlers都应该有的接口,同时提供了一些子类可以直接使用或覆盖的默认行为。下面是一些常用的Handler:

Formater

Formater对象用于配置日志信息的最终顺序、结构和内容。与logging.Handler基类不同的是,应用代码可以直接实例化Formatter类。另外,如果你的应用程序需要一些特殊的处理行为,也可以实现一个Formatter的子类来完成。

Formatter类的构造方法定义如下:

该构造方法接收3个可选参数:

  • fmt:指定消息格式化字符串,如果不指定该参数则默认使用message的原始值
  • datefmt:指定日期格式字符串,如果不指定该参数则默认使用”%Y-%m-%d %H:%M:%S”
  • style:Python 3.2新增的参数,可取值为 ‘%’, ‘{‘和 ‘$’,如果不指定该参数则默认使用’%’

Filter

Filter可以被Handler和Logger用来做比level更细粒度的、更复杂的过滤功能。Filter是一个过滤器基类,它只允许某个logger层级下的日志事件通过过滤。该类定义如下:

比如,一个filter实例化时传递的name参数值为’A.B’,那么该filter实例将只允许名称为类似如下规则的loggers产生的日志记录通过过滤:’A.B’,’A.B,C’,’A.B.C.D’,’A.B.D’,而名称为’A.BB’, ‘B.A.B’的loggers产生的日志则会被过滤掉。如果name的值为空字符串,则允许所有的日志事件通过过滤。

filter方法用于具体控制传递的record记录是否能通过过滤,如果该方法返回值为0表示不能通过过滤,返回值为非0表示可以通过过滤。

实战演练

上面文绉绉的说了(复制/粘贴)那么多,现在应该动手实践了。

现在我需要既将日志输出到控制台、又能将日志保存到文件,我应该怎么办?

利用刚才所学的知识,我们可以构思一下:

看起来好像也不难,挺简单的样子,但是实际如此吗?

在实际的工作或应用中,我们或许还需要指定文件存放路径、用随机数作为日志文件名、显示具体的信息输出代码行数、日志信息输出日期和日志写入方式等内容。再构思一下:


具体代码如下:

文件保存后运行,运行结果如下图所示:

日志确实在控制台输出了,再来看一下目录内是否生成有指定的文件和文件夹:

文件打开后可以看到里面输出的内容:

正确的学习方式是什么

是一步步的看着文章介绍,等待博主结论?

是拿着代码运行,跑一遍?

都不是,应该是一边看着文章,一边拿着示例代码琢磨和研究,到底哪里可以改进、哪里可以设计得更好。如果你需要文章中所用到的示例代码和流程图,那么关注微信公众号【进击的 Coder】,回复『日志代码』就可以领取文章中完整的代码以及流程图。毕竟,学习是一件勤劳的事。

参考资料:

云游道士博文

nancy05博文

转载请注明:静觅 » 一看就懂,Python 日志 logging 模块详解及应用

更多文章、联系博主、技术交流、商务合作

扫码或搜索:进击的Coder

进击的Coder

微信公众号 扫一扫关注

喜欢 (5)or分享 (0)

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请狠狠点击下面的

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(6)个小伙伴在吐槽
  1. 大佬,有时候log会重复出现是什么情况
    jimmy2019-07-31 12:08 回复
    • 知道了,logging.getLogger方法调用的时候我取的固定名称,每次调用就会生成一次; logging.getLogger(name)传参的形式调用可以解决
      jimmy2019-08-01 10:52 回复
  2. 图片没显示,检查下?
    崔庆才2019-07-26 10:28 回复
    • 我这边没有异常,都正常显示
      Rust之禅2019-07-26 10:44 回复
      • Firefox 和 Edge 无法加载所有图片。。。
        牛奶2019-07-30 11:04 回复
  3. 有一个APP爬虫的问题请教大佬,用mitmdump抓包爬取得到APP(按照您书上的例子写的) 代码如下: import json from mitmproxy import ctx import pymongo my_cilent = pymongo.MongoClient("mongodb://localhost:27017/") my_db = my_cilent["getBook"] my_collection = my_db["books"] def response(flow): global my_collection url='https://entree.igetget.com/ebook2/v1/ebook/list' if flow.request.url.startswith(url): text = flow.response.text data = json.loads(text) books = data.get('c').get('list') for book in books: data = { 'title' : book.get('operating_title'), 'bookName' : book.get('book_name'), 'bookIntroduce' : book.get('book_intro'), 'currentPrice' : book.get('current_price'), 'publishTime' : book.get('publish_time'), } ctx.log.info(str(data)) my_collection.insert_one(data) 运行mitmdump xxx.py出现以下错误 😥 😥 😥 : Addon error: Traceback (most recent call last): File "e:\1_软件安装\python\lib\site-packages\mitmproxy\addonmanager.py", line 42, in safecall yield File "e:\1_软件安装\python\lib\site-packages\mitmproxy\addons\script.py", line 102, in loadscript ctx.master.addons.register(ns) File "e:\1_软件安装\python\lib\site-packages\mitmproxy\addonmanager.py", line 161, in register self.master.commands.collect_commands(a) File "e:\1_软件安装\python\lib\site-packages\mitmproxy\command.py", line 144, in collect_commands self.add(o.command_path, o) File "e:\1_软件安装\python\lib\site-packages\mitmproxy\command.py", line 151, in add self.commands[path] = Command(self, path, func) File "e:\1_软件安装\python\lib\site-packages\mitmproxy\command.py", line 51, in __init__ sig = inspect.signature(self.func) File "e:\1_软件安装\python\lib\inspect.py", line 3070, in signature return Signature.from_callable(obj, follow_wrapped=follow_wrapped) File "e:\1_软件安装\python\lib\inspect.py", line 2820, in from_callable follow_wrapper_chains=follow_wrapped) File "e:\1_软件安装\python\lib\inspect.py", line 2201, in _signature_from_callable raise TypeError('{!r} is not a callable object'.format(obj)) TypeError: MongoClient(host=['loaclhost:27017'], document_class=dict, tz_aware=False, connect=True) is not a callable object
    隐形的S先僧2019-07-25 15:45 回复