搜索内容

运维
  • 如何使用robots禁止各大搜索引擎爬虫爬取网站
    运维

    如何使用robots禁止各大搜索引擎爬虫爬取网站

    1、搜索引擎在爬取网站前会做什么? 一般来说搜索引擎爬取网站时都会,先读取下robots.txt文件,并依照里面所设定的规则去爬取网站(当然是指没用登录限制的页……
    applek 2天前
  • nginx禁止直接访问目录或文件
    运维

    nginx禁止直接访问目录或文件

    nginx禁止直接访问目录或文件,如果不禁止,nginx会直接去下载web目录下文件,如果有配置文件,并可以直接暴露一些配置文件源代码。 一、禁止访问某些后缀文件……
    applek 2022年1月5日