菜鸟入门老鸟醍醐的好书
这篇书评可能有关键情节透露
安全领域的日志管理与分析，对菜鸟而言，告诉你安全领域的数据分析长啥样，虽然没有深度但有广度；对老鸟而言，书中那些规范和经验之谈在菜鸟看起来有些干巴巴，但对实战中受伤过的却能起到醍醐灌顶的作用。
喜欢
第六章隐蔽日志－以隐蔽方式采集日志
第九章过滤、规范化和关联（非常喜欢这章）
第十章 统计分析－喜欢如何设置基线
第十五章 日志分析和收集工具－工具大放送
第十六章 供程序员使用的日志
第二十一章 云日志— 日志分析产品化（非常喜欢这章）
读书笔记如下
https://app.yinxiang.com/l/AAKcXDYtavVAl7FsJjpLisYn5EhP3GYIOOs
第1章 木材\树木\森林
日志系统背景知识
第2章日志是什么
日志要素：
what 发生了啥
when 什么时候发生的
where 哪台主机，哪台文件系统，哪个网络接口
who
where 参与者来源
第3章日志数据来源
主机日志
网络日志
安全主机日志
syslog snmp windows事件日志
第4章 日志存储技术
文本/二进制/压缩文件
日志检索和存档
第5章 syslog-ng案例分析
第6章隐蔽日志
IDS/Honeypot
日志采集工具：以隐蔽方式采集日志
plog http://www.ranum.com/security/computer_security/code/ 嗅探syslog消息流量并转发到/dev/log
passlog http://freecode.com/projects/passlogd
http://www.honeynet.org http://www.honeynet.org/papers/sebek
第7章 分析日志的目标、规划和准备
第8章 简单的分析技术
/var/log/messages
关键日志立即处理
非关键日志提取摘要、趋势、关联（事件行为关联起来，e.g.异常时间点,登陆服务器，数据库下载）、挖掘
第9章 过滤、规范化和关联
原始日志数据 ——过滤处理－－》规范化日志数据 －－－关联分析－－－》（1）发送给分析人员（2）警报 （3）电子
｜ 邮件（4）发送到长期存储数据库
｜
｜
｜－－》未过滤日志数据－－放入例外库
关键步骤：
过滤filtering：知道需要保留哪些日志
规范化normalization：转化为通用格式，记录关键信息（日志五要素）
关联correlation：单独不重要的事件关联起来分析
如何进行关联：
1. 规则关联
If the system sees an EVENT E1 where E1.eventType=portscan
followed by
an event E2 where E2.srcip=E1.srcip and E2.dstip = E1.dstip and
E2.eventType = fw.reject then
doSomething
2. 漏洞关联：将漏洞扫描数据和实时事件数据结合起来，以便帮助减少假阳性（👍👍👍）
e.g. 如果IDS检测到了端口扫描，可以对网络进行例行的漏洞扫描，来验证问题中的主机是否真的打开了个端口，是否容易遭到攻击
3. 指纹关联
4. 反端口关联
if (event E1.dstport != (Known_Open_Ports on event E1.dstip))
then
doSomething
5.关联列表关联： 外部情报列表，例如攻击者列表
http://www.dshield.org/
6. 环境关联 e.g.如何知道公司的假期安排，可以使用这一信息，在每个人都不上班的时候发现内部资源的访问
休假时间表
业务时间
假日计划
内部资源访问权限
重复的网络“事件”例如漏洞扫描
计划的系统、数据存储备份等
维护安排，例如操作系统补丁等
简单事件关联器SEC http://simple-evcorr.sourceforge.net/
规则引擎：
（1）基于规则：Jess http://www.jessrules.com/jess/index.shtml 《Jess in Action》
（2）基于流：Complex Event Processing CEP Esper http://www.espertech.com/esper/index.php
常见的关联搜索模式：
x次登录失败后有一次登录成功
创建非管理员账户之后进行权限提升
VPN用户在工作时间内/外登录，并向网络之外传输更多的数据
网络上的一台主机开始攻击或者探查网络上的其他主机
在很接近的时间内X次尝试访问用户没有权限的共享／文件／目录等
从同一个工作站以多个用户名登录
在多个系统上有多个防病毒软件失效
攻击DMZ系统，随后有出站连接
攻击DMZ系统，随后在同一个系统上更改配置
在几分钟内有许多Web 404，401 500和其他web错误码
第10章 统计分析
1.频率
2.基线
将数据集转化为正态分布——设置置信区间（95%的置信区间）
（1）阈值：超过基线的值
（2）异常检测：将与基线窗口一端的距离除以窗口的大小
（3）开窗：将与基线窗口一端的距离除以窗口的大小
3.机器学习：
kNN用一组预先发现的模式分类未知的模式
4.结合统计分析和基于规则的关联
规范化原始数据流——》执行统计计算——》执行基于规则的关联——》在存档数据中存储事件流
｜ ｜
——执行行动———
第11章 日志数据挖掘
描述性方法
预测性方法
《Tao of Network Security Monitoring》
第12章 报告和总结
身份认证和授权报告
Mercury系统 root账户 10.1.2.3源IP 失败 SSH 989992次
变更报告
1/10/1111 Venus系统 root 添加账户 root1 失败
网络活动报告
1/11/11 VPN1 root Lapt系统 登录操作 失败 77次
资源访问报告
1/11/11 win系统 anton用户 Blank.docx文件 写 失败 37次
恶意软件活动报告
virusX病毒 隔离状态 2个
关键错误和故障报告
server1服务器 磁盘满 10/1/11
第13章 日志数据可视化
ossim事件查看器 https://www.alienvault.com/open-threat-exchange/projects
MRTG Multi Router Traffic Grapher http://oss.oetiker.ch/mrtg/
第14章 日志法则和日志错误
第15章 日志分析和收集工具
基本工具：grep，awk, Mircosoft日志解析器Log Parser, tail,head,sed, Logwatch , Lire
集中化日志分析：syslog，rsyslog, snare
日志分析专业工具：ossec ossim(集成了
arpwatch mac地址异常检测
p0f 被动OS检测和OS变更分析
Pads 服务异常检测
Nessus
Snort
Tcptrack
Ntop 构建网络信息数据库，用于异常行为检测
Negios
Osiris 主机入侵检测HIDS
Snare windows日志收集器
ossec
ossim 通用的关联引擎
）
其他：
Logsurfer 尝试将可能被看作事件的消息组合成单一逻辑事件
LogHound 用广度优先算法挖掘日志文件，找出频繁出现的行模式
Log2Timeline 从非传统数据源提取时间轴信息。
评价商业产品的组织：
Gartner
Security Scoreboard
商业化工具：
Splunk支持广泛的数据输入，可以创建自己的实时数据视图
NetIQ Sentinel 包含了异常检测和身份管理信息，smart SIEM
Loggly 云日志提供商 通过REST API编程发布数据，通过HTTP和HTTPS传递数据
第16章 日志管理规范
PCI DSS 支付卡行业数据安全标准
第17章 对日志系统的攻击
目的：
1.对机密性的攻击：收集情报
2.对完整性的攻击：重写或者插入虚假数据，删除数据
3.对可用性的攻击：拒绝服务攻击
第18章 供程序员使用的日志
常见的日志记录库
java Log4j Logback
Perl Log4Perl
C/C++ Log4C
unix/shell Logger man logger: shell interface to the syslog
性能考虑：日志分级
INFO
DEBUG
WARN
ERROR
FATAL
第19章 日志和依从性
PCI DSS
ISO 2700X
HIPAA
FISMA
第20章 规划自己的日志分析系统
第21章 云日志
服务交付模型：
SaaS软件即服务 云日志属于这种 消费者使用瘦客户端／浏览器交互并使用该软件
PaaS平台即服务 消费者将定制的应用程序或者工具部署到提供者的云
IaaS 基础设施即服务 消费者允许配置计算资源、磁盘、网络和其他相关资源
存储即服务
云部署模型：
公有云／私有云／社区云／混合云
云基础设施特性：
按需自助服务；广泛的网络访问；资源池化；快速弹性；可度量服务多租户
云日志产品选择考虑点：
日志获取方式： syslog，API最多
部署模型：
日志留存
核心功能：日志数据获取，日志数据索引，长期存储和用于搜索及审核数据的用户界面，还有关联、定制警报和定制报告等额外功能
收费模式
灾难恢复
云相关信息获取站点：
NIST云计算 http://www.nist.gov/itl/cloud/
云安全联盟CSA https://cloudsecurityalliance.org/
云日志产品——产品化算是安全人员寻取出入的最诱人方式了，“人人都要做产品经理”
Dell SecureWorks托管安全服务提供商MSSP，提供完整的日志留存和管理服务
Loggly 全LaaS提供商
SplunkStorm Splunk提供的LaaS服务
Sumo Logic LaaS服务，目标是为消费者提供实时取证和日志管理功能
LogEntries 为大型企业系统的管理、构建和测试提供IT问题根源分析工具
Papertrail 服务器、应用程序和云服务的托管日志管理服务
第22章 日志标准和未来的趋势
喜欢
第六章隐蔽日志－以隐蔽方式采集日志
第九章过滤、规范化和关联（非常喜欢这章）
第十章 统计分析－喜欢如何设置基线
第十五章 日志分析和收集工具－工具大放送
第十六章 供程序员使用的日志
第二十一章 云日志— 日志分析产品化（非常喜欢这章）
读书笔记如下
https://app.yinxiang.com/l/AAKcXDYtavVAl7FsJjpLisYn5EhP3GYIOOs
第1章 木材\树木\森林
日志系统背景知识
第2章日志是什么
日志要素：
what 发生了啥
when 什么时候发生的
where 哪台主机，哪台文件系统，哪个网络接口
who
where 参与者来源
第3章日志数据来源
主机日志
网络日志
安全主机日志
syslog snmp windows事件日志
第4章 日志存储技术
文本/二进制/压缩文件
日志检索和存档
第5章 syslog-ng案例分析
第6章隐蔽日志
IDS/Honeypot
日志采集工具：以隐蔽方式采集日志
plog http://www.ranum.com/security/computer_security/code/ 嗅探syslog消息流量并转发到/dev/log
passlog http://freecode.com/projects/passlogd
http://www.honeynet.org http://www.honeynet.org/papers/sebek
第7章 分析日志的目标、规划和准备
第8章 简单的分析技术
/var/log/messages
关键日志立即处理
非关键日志提取摘要、趋势、关联（事件行为关联起来，e.g.异常时间点,登陆服务器，数据库下载）、挖掘
第9章 过滤、规范化和关联
原始日志数据 ——过滤处理－－》规范化日志数据 －－－关联分析－－－》（1）发送给分析人员（2）警报 （3）电子
｜ 邮件（4）发送到长期存储数据库
｜
｜
｜－－》未过滤日志数据－－放入例外库
关键步骤：
过滤filtering：知道需要保留哪些日志
规范化normalization：转化为通用格式，记录关键信息（日志五要素）
关联correlation：单独不重要的事件关联起来分析
如何进行关联：
1. 规则关联
If the system sees an EVENT E1 where E1.eventType=portscan
followed by
an event E2 where E2.srcip=E1.srcip and E2.dstip = E1.dstip and
E2.eventType = fw.reject then
doSomething
2. 漏洞关联：将漏洞扫描数据和实时事件数据结合起来，以便帮助减少假阳性（👍👍👍）
e.g. 如果IDS检测到了端口扫描，可以对网络进行例行的漏洞扫描，来验证问题中的主机是否真的打开了个端口，是否容易遭到攻击
3. 指纹关联
4. 反端口关联
if (event E1.dstport != (Known_Open_Ports on event E1.dstip))
then
doSomething
5.关联列表关联： 外部情报列表，例如攻击者列表
http://www.dshield.org/
6. 环境关联 e.g.如何知道公司的假期安排，可以使用这一信息，在每个人都不上班的时候发现内部资源的访问
休假时间表
业务时间
假日计划
内部资源访问权限
重复的网络“事件”例如漏洞扫描
计划的系统、数据存储备份等
维护安排，例如操作系统补丁等
简单事件关联器SEC http://simple-evcorr.sourceforge.net/
规则引擎：
（1）基于规则：Jess http://www.jessrules.com/jess/index.shtml 《Jess in Action》
（2）基于流：Complex Event Processing CEP Esper http://www.espertech.com/esper/index.php
常见的关联搜索模式：
x次登录失败后有一次登录成功
创建非管理员账户之后进行权限提升
VPN用户在工作时间内/外登录，并向网络之外传输更多的数据
网络上的一台主机开始攻击或者探查网络上的其他主机
在很接近的时间内X次尝试访问用户没有权限的共享／文件／目录等
从同一个工作站以多个用户名登录
在多个系统上有多个防病毒软件失效
攻击DMZ系统，随后有出站连接
攻击DMZ系统，随后在同一个系统上更改配置
在几分钟内有许多Web 404，401 500和其他web错误码
第10章 统计分析
1.频率
2.基线
将数据集转化为正态分布——设置置信区间（95%的置信区间）
（1）阈值：超过基线的值
（2）异常检测：将与基线窗口一端的距离除以窗口的大小
（3）开窗：将与基线窗口一端的距离除以窗口的大小
3.机器学习：
kNN用一组预先发现的模式分类未知的模式
4.结合统计分析和基于规则的关联
规范化原始数据流——》执行统计计算——》执行基于规则的关联——》在存档数据中存储事件流
｜ ｜
——执行行动———
第11章 日志数据挖掘
描述性方法
预测性方法
《Tao of Network Security Monitoring》
第12章 报告和总结
身份认证和授权报告
Mercury系统 root账户 10.1.2.3源IP 失败 SSH 989992次
变更报告
1/10/1111 Venus系统 root 添加账户 root1 失败
网络活动报告
1/11/11 VPN1 root Lapt系统 登录操作 失败 77次
资源访问报告
1/11/11 win系统 anton用户 Blank.docx文件 写 失败 37次
恶意软件活动报告
virusX病毒 隔离状态 2个
关键错误和故障报告
server1服务器 磁盘满 10/1/11
第13章 日志数据可视化
ossim事件查看器 https://www.alienvault.com/open-threat-exchange/projects
MRTG Multi Router Traffic Grapher http://oss.oetiker.ch/mrtg/
第14章 日志法则和日志错误
第15章 日志分析和收集工具
基本工具：grep，awk, Mircosoft日志解析器Log Parser, tail,head,sed, Logwatch , Lire
集中化日志分析：syslog，rsyslog, snare
日志分析专业工具：ossec ossim(集成了
arpwatch mac地址异常检测
p0f 被动OS检测和OS变更分析
Pads 服务异常检测
Nessus
Snort
Tcptrack
Ntop 构建网络信息数据库，用于异常行为检测
Negios
Osiris 主机入侵检测HIDS
Snare windows日志收集器
ossec
ossim 通用的关联引擎
）
其他：
Logsurfer 尝试将可能被看作事件的消息组合成单一逻辑事件
LogHound 用广度优先算法挖掘日志文件，找出频繁出现的行模式
Log2Timeline 从非传统数据源提取时间轴信息。
评价商业产品的组织：
Gartner
Security Scoreboard
商业化工具：
Splunk支持广泛的数据输入，可以创建自己的实时数据视图
NetIQ Sentinel 包含了异常检测和身份管理信息，smart SIEM
Loggly 云日志提供商 通过REST API编程发布数据，通过HTTP和HTTPS传递数据
第16章 日志管理规范
PCI DSS 支付卡行业数据安全标准
第17章 对日志系统的攻击
目的：
1.对机密性的攻击：收集情报
2.对完整性的攻击：重写或者插入虚假数据，删除数据
3.对可用性的攻击：拒绝服务攻击
第18章 供程序员使用的日志
常见的日志记录库
java Log4j Logback
Perl Log4Perl
C/C++ Log4C
unix/shell Logger man logger: shell interface to the syslog
性能考虑：日志分级
INFO
DEBUG
WARN
ERROR
FATAL
第19章 日志和依从性
PCI DSS
ISO 2700X
HIPAA
FISMA
第20章 规划自己的日志分析系统
第21章 云日志
服务交付模型：
SaaS软件即服务 云日志属于这种 消费者使用瘦客户端／浏览器交互并使用该软件
PaaS平台即服务 消费者将定制的应用程序或者工具部署到提供者的云
IaaS 基础设施即服务 消费者允许配置计算资源、磁盘、网络和其他相关资源
存储即服务
云部署模型：
公有云／私有云／社区云／混合云
云基础设施特性：
按需自助服务；广泛的网络访问；资源池化；快速弹性；可度量服务多租户
云日志产品选择考虑点：
日志获取方式： syslog，API最多
部署模型：
日志留存
核心功能：日志数据获取，日志数据索引，长期存储和用于搜索及审核数据的用户界面，还有关联、定制警报和定制报告等额外功能
收费模式
灾难恢复
云相关信息获取站点：
NIST云计算 http://www.nist.gov/itl/cloud/
云安全联盟CSA https://cloudsecurityalliance.org/
云日志产品——产品化算是安全人员寻取出入的最诱人方式了，“人人都要做产品经理”
Dell SecureWorks托管安全服务提供商MSSP，提供完整的日志留存和管理服务
Loggly 全LaaS提供商
SplunkStorm Splunk提供的LaaS服务
Sumo Logic LaaS服务，目标是为消费者提供实时取证和日志管理功能
LogEntries 为大型企业系统的管理、构建和测试提供IT问题根源分析工具
Papertrail 服务器、应用程序和云服务的托管日志管理服务
第22章 日志标准和未来的趋势
- 作者: Anton A. Chuvakin / Kevin J. Schmidt / Christopher Phillips
- 出版: 机械工业出版社
- 定价: 69.00元
- 装帧: 平装
- 页数: 315
- 时间: 2014-6