爬虫日记(75):Scrapy的Settings源码分析(二)

作者: 大坡3D软件开发  更新时间:2021-05-19 10:29:22  原文链接


由于前面学习的例子可知,scrapy程序会加载内部缺省的参数,它是定义在scrapy\settings目录下面,它的名称叫做default_settings.py,里面的参数非常多,这也是全局默认设定。可以使用下面的命令来查看:

>>> import scrapy.settings

>>> dir(scrapy.settings.default_settings)

现在我们要来分析相关的代码,明白它是怎么加载到爬虫里面,以及什么时候开始加载这些参数。

这是在scrapy\utils\project.py里的函数get_project_settings(),然后调用Settings类的构造函数,它被定义在scrapy\settings\__init__.py文件里,最后在构造函数调用setmodule(default_settings, 'default')来实现读取全局使用的参数