本文档介绍安全网络设备(SWA)中自定义统一资源定位器(URL)类别的结构。
Cisco 建议您了解以下主题:
Cisco 建议您:
本文档不限于特定的软件和硬件版本。
本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始(默认)配置。如果您的网络处于活动状态,请确保您了解所有命令的潜在影响。
URL过滤引擎允许您过滤访问、解密和数据安全策略中的事务。为策略组配置URL类别时,可以配置自定义URL类别(如果已定义)和预定义URL类别的操作。
您可以创建描述特定主机名和Internet协议(IP)地址的自定义和外部实时源URL类别。此外,还可以编辑和删除URL类别。
当将这些自定义URL类别包括在相同的访问、解密或思科数据安全策略组中并向每个类别分配不同的操作时,包含较高级别的自定义URL类别的操作优先。
外部实时源类别用于提取特定站点的URL列表,例如,从Microsoft获取Office 365 URL。
如果在创建和编辑自定义和外部URL类别时为“类别类型”选择“外部实时源类别”,则必须选择源格式(思科源格式或Office 365源格式),然后为相应的源文件服务器提供URL。
以下是每个源文件的预期格式:
以下是思科源格式.csv文件的摘录:
www.cisco.com,site
\.xyz,regex
ad2.*\.com,regex
www.cisco.local,site
1:1:1:11:1:1::200,site
文件中的网络地址由XML标记括起,此结构为:Products > Product > Address List > Address。在当前实现中,地址列表类型可以是IPv6、IPv4或URL [其中可以包括域和正则表达式(regex)模式]。
以下是Office 365源文件的片段:
fc00:1040:401::d:80
fc00:1040:401::a
fc00:1040:401::9
10.71.145.72
10.71.148.74
10.71.145.114
*.cisco.com
*.example.local
*.subdomain.cisco.com
*.example.local
步骤1.选择Web Security Manager > Custom and External URL Categories。
图像 — 在GUI中选择自定义类别
第2步:要创建自定义URL类别,请点击Add Category。要编辑自定义URL类别,请点击URL类别的名称。
图像 — 从GUI添加类别
步骤3.提供以下信息:
图像 — 本地自定义URL类别 |
图像 — 自定义Url类别配置源 |
| 本地自定义类别 | 外部实时订阅源类别 |
安全Web设备使用的正则表达式语法与其他Velocity模式匹配引擎实现使用的正则表达式语法略有不同。
此外,设备不支持使用反斜杠来转义正斜杠。如果需要在正则表达式中使用正斜杠,只需键入不带反斜杠的正斜杠即可。
您可以在以下位置使用正则表达式:
·访问策略的自定义URL类别。创建用于访问策略组的自定义URL类别时,可以使用正则表达式指定与输入的模式匹配的多台Web服务器。
·要阻止的自定义用户代理。编辑访问策略组要阻止的应用程序时,可以使用正则表达式输入要阻止的特定用户代理。
以下是Flex正则表达式中的字符类列表
| 字符类 | |
|---|---|
| . | 除换行符以外的任何字符 |
| \w \d \s | 单词,数字,空格 |
| \W \D \S | 不是单词、数字、空格 |
| [abc] | a、b或c中的任意一个 |
| [^abc] | 不是a、b或c |
| [a-g] | a和g之间的字符 |
| 锚点 | |
| ^abc$ | 字符串的开始/结束 |
| \b | 字边界 |
| 转义字符 | |
| \.\* \\ | 转义的特殊字符 |
| \t \n \r | 制表符,换行,回车 |
| \u00A9 | unicode转义字© |
| 组和环顾 | |
| (abc) | 捕获组 |
| \1 | 返回对组ID的引#1 |
| (?:abc) | 非捕获组 |
| (?=abc) | 积极的展望 |
| (?!abc) | 负面展望 |
| 量词和替代项 | |
| a* a+ a? | 0或以上、1或以上、0或1 |
| a{5} a{2,} | 恰好是五、两个或更多 |
| a{1,3} | 1到3之间 |
| a+?a{2,}? | 尽可能少地匹配 |
| ab|cd | match ab或cd |
可以使用命令行界面(CLI)选项advancedproxyconfig > miscellaneous > Do you want to enable URL lower case conversion for velocity regex,启用或禁用默认regex conversion to lower case for case-insensitive matches。如果存在区分大小写的问题,请使用。
如果将这些类别包括在同一策略中,并为每个类别定义不同的操作,则会应用为自定义URL类别表中列出的最高类别定义的操作。
因此,某些仅包含主机名信息的预定义URL类别和Web信誉过滤器与本地FTP请求不匹配,即使请求发往这些服务器。
如果要阻止对这些站点的访问,必须创建自定义URL类别才能使用它们的IP地址。
URL过滤引擎允许您过滤访问、解密和数据安全策略中的事务。为策略组配置URL类别时,可以配置自定义URL类别(如果已定义)和预定义URL类别的操作。
步骤1.选择Web Security Manager > Access Policies。
图像 — 从GUI选择访问策略
第2步:点击要编辑的策略组的URL Filter 列下的policies 表中的链接。
图像 — 向访问策略添加自定义类别
步骤3.(可选)在Custom URL Category Filtering部分中,可以添加在此策略中对其执行操作的自定义URL类别:
a)点击选择自定义类别。
图像选择自定义URL类别
b)选择要包含在此策略中的自定义URL类别,然后单击Apply。
映像选择要在策略中包含的自定义类别
选择URL过滤引擎必须比较客户端请求的自定义URL类别。
URL过滤引擎将客户端请求与包含的自定义URL类别进行比较,并忽略排除的自定义URL类别。
URL过滤引擎将客户端请求中的URL与预定义URL类别之前包含的自定义URL类别进行比较。
策略中包含的自定义URL类别显示在“自定义URL类别过滤”(Custom URL Category Filtering)部分。
第4步:在“自定义URL类别过滤”(Custom URL Category Filtering)部分,为每个包含的自定义URL类别选择操作。
图像 — 为自定义类别选择操作
| 操作 |
描述 |
|---|---|
| 使用全局设置 |
在全局策略组中使用此类别的操作。这是用户定义的策略组的默认操作。 仅适用于用户定义的策略组。 |
| 阻止 |
Web代理拒绝与此设置匹配的事务。 |
| 重定向 |
将最初流向此类别中URL的流量重定向到您指定的位置。选择此操作时,系统将显示Redirect To字段。输入要将所有流量重定向到的URL。 |
| 允许 |
始终允许客户端请求此类别中的网站。 允许的请求会绕过所有进一步的过滤器和恶意软件扫描。 仅对受信任的网站使用此设置。您可以将此设置用于内部站点。 |
| 监控 |
Web代理既不允许也不阻止请求。相反,它会继续根据其他策略组控制设置(例如Web信誉过滤器)评估客户端请求。 |
| 警告 |
Web代理最初会阻止请求并显示警告页面,但允许用户通过点击警告页面中的超文本链接继续操作。 |
| 基于配额 |
当单个用户接近您指定的数量或时间配额时,会显示警告。达到配额后,将显示阻止页面。. |
| 基于时间的 |
Web代理在您指定的时间范围内阻止或监控请求。 |
第5步:在预定义URL Category Filter部分,为每个类别选择以下操作之一:
使用全局设置
监控
警告
阻止
基于时间的
基于配额
图像 — 为预定义的类别选择操作
第6步:在未分类的URL部分中,选择要对不属于预定义或自定义URL类别的网站的客户端请求执行的操作。此设置还会确定由URL类别集更新生成的新类别和合并类别的默认操作。
图像 — 为未分类的URL选择操作
步骤7.提交并提交更改。
步骤1.选择Web Security Manager > Decryption Policies。
图像 — 选择解密策略
步骤2.点击要编辑的策略组的URL 过滤列下方的策略表中的链接。
图像 — 选择URL过滤器
步骤3.(可选)在Custom URL Category Filtering部分中,可以添加在此策略中对其执行操作的自定义URL类别:
图像 — 选择自定义类别
b.选择要包含在此策略中的自定义URL类别,然后单击Apply。
映像选择要在策略中包含的自定义类别
选择URL过滤引擎必须比较客户端请求的自定义URL类别。
URL过滤引擎将客户端请求与包含的自定义URL类别进行比较,并忽略排除的自定义URL类别。
URL过滤引擎将客户端请求中的URL与预定义URL类别之前包含的自定义URL类别进行比较。
策略中包含的自定义URL类别显示在“自定义URL类别过滤”(Custom URL Category Filtering)部分。
第4步:为每个自定义和预定义URL类别选择操作。
图像 — 选择解密策略的操作
| 操作 |
描述 |
|---|---|
| 使用全局设置 |
在全局解密策略组中使用此类别的操作。这是用户定义的策略组的默认操作。 仅适用于用户定义的策略组。 在全局解密策略中排除自定义URL类别时,用户定义的解密策略中包含的自定义URL类别的默认操作是Monitor而不是Use Global Settings。在全局解密策略中排除自定义URL类别时,不能选择使用全局设置(Use Global Settings)。 |
| 通过 |
通过客户端和服务器之间的连接,而不检查流量内容。 |
| 监控 |
Web代理既不允许也不阻止请求。相反,它会继续根据其他策略组控制设置(例如Web信誉过滤器)评估客户端请求。 |
| 解密 |
允许连接,但检查流量内容。设备解密流量并将访问策略应用于已解密流量,就像它是纯文本超文本传输协议(HTTP)连接一样。当连接已解密且访问策略已应用时,您可以扫描流量中的恶意软件。 |
| 丢弃 |
丢弃连接且不会将连接请求传递到服务器。设备不会通知用户它已断开连接。 |
第5步:在未分类的URL部分中,选择要对不属于预定义或自定义URL类别的网站的客户端请求执行的操作。
此设置还会确定由URL类别集更新生成的新类别和合并类别的默认操作。
图像 — 未分类的解密策略
步骤6.提交并提交更改。
步骤1.选择Web Security Manager > Cisco Data Security。
映像 — 思科数据安全
第2步:点击要编辑的策略组的URL过滤(URL Filtering)列下的策略表中的链接。
图像 — 数据安全选择URL过滤器
步骤3.(可选)在Custom URL Category Filtering部分中,可以添加在此策略中对其执行操作的自定义URL类别:
图像 — 选择自定义字段
b.选择要包含在此策略中的自定义URL类别,然后单击Apply。
映像选择要在策略中包含的自定义类别
选择URL过滤引擎必须比较客户端请求的自定义URL类别。
URL过滤引擎将客户端请求与包含的自定义URL类别进行比较,并忽略排除的自定义URL类别。
URL过滤引擎将客户端请求中的URL与预定义URL类别之前包含的自定义URL类别进行比较。
策略中包含的自定义URL类别显示在“自定义URL类别过滤”(Custom URL Category Filtering)部分。
第4步:在自定义URL类别过滤部分,为每个自定义URL类别选择一个操作。
图像 — 数据安全选择操作
| 操作 |
描述 |
|---|---|
| 使用全局设置 |
在全局策略组中使用此类别的操作。这是用户定义的策略组的默认操作。 仅适用于用户定义的策略组。 在全局思科数据安全策略中排除自定义URL类别时,用户定义的思科数据安全策略中包含的自定义URL类别的默认操作是Monitor而不是Use Global Settings。在全局思科数据安全策略中排除自定义URL类别时,不能选择使用全局设置(Use Global Settings)。 |
| 允许 |
始终允许此类别网站的上传请求。仅适用于自定义URL类别。 允许的请求会绕过所有进一步的数据安全扫描,并且会根据访问策略评估请求。 仅对受信任的网站使用此设置。您可以将此设置用于内部站点。 |
| 监控 |
Web代理既不允许也不阻止请求。相反,它会继续根据其他策略组控制设置(例如Web信誉过滤器)评估上传请求。 |
| 阻止 |
Web代理拒绝与此设置匹配的事务。 |
第5步:在预定义URL Category Filtering部分,为每个类别选择以下操作之一:
使用全局设置
监控
阻止
图像 — 数据安全预定义URL选择操作
第6步:在未分类的URL部分中,选择要对不属于预定义或自定义URL类别的网站的上传请求执行的操作。
此设置还会确定由URL类别集更新生成的新类别和合并类别的默认操作。
图像 — 未分类的数据安全性
步骤7.提交并提交更改。
每个上传请求都会分配到“出站恶意软件扫描”策略组,并继承该策略组的控制设置。
在Web代理收到上传请求报头后,它拥有决定其是否必须扫描请求正文的必要信息。
DVS引擎扫描请求并将判定返回到Web代理。如果适用,系统将为最终用户显示阻止页面。
| 步骤1: |
选择网络安全管理器>出站恶意软件扫描。 |
||||||||
| 第 2 步: |
在Destinations列中,点击要配置的策略组的链接。 |
||||||||
| 第 3 步: |
在Edit Destination Settings部分中,从下拉菜单中选择Define Destinations Scanning Custom Settings。 |
||||||||
| 第 4 步: |
在Destinations to Scan部分,选择以下选项之一:
|
||||||||
| 第 5 步: |
提交更改。 |
||||||||
| 步骤 6 |
在Anti-Malware Filtering列中,点击策略组的链接。 |
||||||||
| 第 7 步: |
在Anti-Malware Settings部分中,选择Define Anti-Malware Custom Settings。 |
||||||||
| 步骤 8 |
在Cisco DVS Anti-Malware Settings部分中,选择要为此策略组启用的防恶意软件扫描引擎。 |
||||||||
| 步骤 9 |
在恶意软件类别部分中,选择监控还是阻止各种恶意软件类别。 本节中列出的类别取决于您启用的扫描引擎。 |
||||||||
| 步骤 10 |
提交并提交更改。 |
Web代理收到上传请求报头后,即会获得必要信息,以决定该请求是否可以转至外部DLP系统进行扫描。
DLP系统扫描请求并将判定返回到Web代理,阻止或监控(根据访问策略评估请求)。
| 步骤1: |
选择Web Security Manager >外部数据丢失保护。 |
| 第 2 步: |
点击要配置的策略组的目标列下的链接。 |
| 第 3 步: |
在Edit Destination Settings部分下,选择“Define Destinations Scanning Custom Settings”。 |
| 第 4 步: |
在Destination to scan部分中,选择以下选项之一:
|
| 第 5 步: |
提交并提交更改。 |
您可以在透明代理实施中配置安全Web设备,以绕过来自特定客户端或特定目标的HTTP或HTTPS请求。
提示:您可以将直通用于需要流量通过设备的应用,而无需对目标服务器进行任何修改或证书检查
必须配置本地自定义类别,以允许流量使用此功能。
启用此功能后,它会根据域映射中配置的服务器名称修改或分配服务器名称,即使服务器名称指示(SNI)信息可用。
如果流量与域映射匹配,并且配置了相应的自定义类别、解密策略和直通操作,则此功能不会根据域名阻止流量。
身份验证无法与此直通功能配合使用。身份验证需要解密,但在此情况下,流量不会被解密。
流量不受监控。您必须将UDP流量配置为不进入Web安全设备,而是必须直接通过防火墙访问Internet,以访问WhatsApp、Telegram等应用。
WhatsApp、Telegram和Skype在透明模式下工作。但是,由于应用的限制,WhatsApp等一些应用不能在“显式”模式下工作。
确保您为需要将流量传递到特定服务器的设备定义了标识策略。具体来说,您必须:
选择Exempt from authentication/identication。
指定必须应用此标识配置文件的地址。您可以使用IP地址、无类域间路由(CIDR)块和子网。
| 步骤1: |
启用HTTPS代理。 |
| 第 2 步: |
选择网络安全管理器> 域映射。
|
| 第 3 步: |
选择网络安全管理器> 自定义和外部URL类别。 |
| 第 4 步: |
选择网络安全管理器 > 解密策略。
(可选)您可以使用%格式说明符查看访问日志信息。 |
将自定义URL类别添加到代理旁路列表后,源和目标的自定义URL类别的所有IP地址和域名都会被旁路。
| 步骤1: |
选择网络安全管理器>旁路设置。 |
| 第 2 步: |
单击编辑旁路设置。 |
| 第 3 步: |
输入要绕过Web代理的地址。 |
| 第 4 步: |
选择要添加到代理旁路列表的自定义URL类别。 |
| 第 5 步: |
提交并提交更改。 |
在“报告”(Reporting)>> URL类别(URL Categories)页面中,提供有关URL统计信息的综合显示,其中包括匹配的最大URL类别和阻止的最大URL类别的信息。
此页显示特定类别的带宽节省和Web事务数据。
| 部分 |
描述 |
|---|---|
| 时间范围(下拉列表) |
选择报表的时间范围。 |
| 按事务总数排名靠前的URL类别 |
此部分以图形格式列出站点上访问的排名靠前的URL类别。 |
| 按阻止和警告的事务数排名靠前的URL类别 |
以图形格式列出每个事务触发阻止或警告操作的顶级URL。 |
| 匹配的URL类别 |
显示指定时间范围内按URL类别划分的事务处理情况,以及每个类别中使用的带宽和花费的时间。 如果未分类URL的百分比高于15-20%,请考虑以下选项:
|
图像URL类别报告
您可以点击任何类别名称以查看与该类别相关的更多详细信息,例如匹配的域或用户列表。
图像 — 详细报告页面
预定义URL类别集可以在网络安全设备上定期自动更新。
发生这些更新时,旧的类别名称将继续在报告中显示,直到与旧类别关联的数据太旧,无法包括在报告中。
URL类别集更新后生成的报告数据使用新类别,因此您可以在同一报告中同时查看旧类别和新类别。
在来自报表的“URL类别”(URL Categories)页面上的URL统计信息中,了解如何解释以下数据非常重要:
| 数据类型 | 描述 |
| 绕过URL过滤 | 表示在URL过滤之前阻止的策略、端口和管理用户代理。 |
| 未分类的URL | 表示查询URL过滤引擎但未匹配类别的所有事务。 |
安全网络设备在访问日志中使用自定义URL类别名称的前四个字符,前面加上c_。
在本示例中,类别名称为CustomURLCategoriesBLOCKED,并且在acesslogs中可以看到C_Cust:
1685269516.853 86 10.61.108.72 TCP_DENIED_SSL/403 0 GET https://www.cisco.com:443/ - NONE/- - DROP_CUSTOMCAT_7-DefaultGroup-DefaultGroup-NONE-NONE-NONE-NONE-NONE <"C_Cust",-,-,"-",-,-,-,-,"-",-,-,-,"-",-,-,"-","-",-,-,"-",-,"-","-","-","-","-","-","-",0.00,0,-,"-","-",-,"-",-,-,"-","-",-,-,"-",-,-> - -
警告:如果使用Sawmill解析访问日志,请考虑自定义URL类别名称。如果自定义URL类别的前四个字符包含空格,Sawmill无法正确解析访问日志条目。相反,仅在前四个字符中使用支持的字符。
当Web访问策略组将自定义URL类别设置为“监控”(Monitor)时,某些其他组件(例如Web信誉过滤器或不同判定扫描(DVS)引擎)最终决定允许或阻止自定义URL类别中的URL请求,则请求的访问日志条目显示预定义的URL类别而不是自定义URL类别。
有关如何配置访问日志中的自定义字段的详细信息,请访问:配置访问日志中的性能参数 — Cisco
从访问日志中,您可以看到请求属于哪个自定义URL类别(如果选择与预期不同):
— 如果请求分类为其他自定义URL类别,请检查是否具有重复的URL或其他类别中的匹配正则表达式,或将自定义URL类别移至顶部,然后重新测试。最好仔细检查已安装的自定义URL类别。
— 如果请求分类到预定义类别,请检查现有自定义URL类别中的条件,如果所有条件都匹配,请尝试添加IP地址并进行测试,或确保使用拼写错误且正确的正则表达式(如果有)。
预定义的类别不是最新的
如果预定义类别没有最新,或者访问日志中您在URL类别部分看到“err”,请确保为更新程序启用TLSv1.2。
要更改更新程序SSL配置,请从GUI中使用以下步骤:
步骤1.从System Administration中选择SSL Configuration
映像 — ssl配置
步骤2.选择Edit Settings。
第3步:在更新服务部分,选择TLSv1.2
图像 — 更新服务TLSv1.2
步骤4.提交并提交更改
要更改更新程序SSL配置,请从CLI执行以下步骤:
步骤1.从CLI运行sslconfig。
步骤2.键入version并按Enter。
步骤3.选择Updater。
步骤4.选择TLSv1.2。
步骤5.按Enter退出向导。
步骤6.提交更改。
SWA_CLI> sslconfig
Disabling SSLv3 is recommended for best security.
Note that the SSL/TLS service on remote servers may require that the selected TLS versions be sequential. So to avoid communications errors, always select a contiguous set of versions for each service. For example, do not enable TLS 1.0 and
1.2, while leaving TLS 1.1 disabled.
Choose the operation you want to perform:
- VERSIONS - Enable or disable SSL/TLS versions
- COMPRESS - Enable or disable TLS compression for Proxy Service
- CIPHERS - Set ciphers for services in Secure Web Appliance
- FALLBACK - Enable or disable SSL/TLS fallback option
- ECDHE - Enable or disable ECDHE Authentication.
[]> versions
SSL/TLS versions may be enabled or disabled for the following services:
LDAPS - Secure LDAP Services (including Authentication, External Authentication, SaaS SSO, Secure Mobility)
Updater - Update Service
WebUI - Appliance Management Web User Interface
RADSEC - Secure RADSEC Services (including Authentication, External Authentication)
SICAP - Secure ICAP Service
Proxy - Proxy Services (including HTTPS Proxy, Credential Encryption for Secure Client)
Currently enabled SSL/TLS versions by service: (Y : Enabled, N : Disabled)
LDAPS Updater WebUI RADSEC SICAP Proxy
TLSv1.0 N N N N/A N N
TLSv1.1 Y Y N Y Y N
TLSv1.2 N N Y Y Y Y
TLSv1.3 N/A N/A N/A N/A N/A Y
Select the service for which to enable/disable SSL/TLS versions:
1. LDAPS
2. Updater
3. Proxy
4. RADSEC
5. SICAP
6. WebUI
7. All Services
[]> 2
Currently enabled protocol(s) for Updater are TLSv1.1.
To change the setting for a specific protocol, select an option below:
1. TLSv1.0
2. TLSv1.1
3. TLSv1.2
[]> 3
TLSv1.2 support for Update Service is currently disabled. Do you want to enable it? [N]> Y
Currently enabled protocol(s) for Updater are TLSv1.1, TLSv1.2.
思科安全网络设备AsyncOS 14.5用户指南 — GD(通用部署) — 连接、安装和配置[思科安全网络设备] — 思科
| 版本 | 发布日期 | 备注 |
|---|---|---|
2.0 |
23-Oct-2026
|
重新认证 — 更新的SEO、替换文本和格式。 |
1.0 |
07-Jul-2023
|
初始版本 |