增强型分析：AI驱动的数据分析、业务决策与案例实践的笔记(11)

我来写笔记

按有用程度 按页码先后 最新笔记

展开收起
RNN之VQA

曾曾·芣苢¹²¹⁷🤓🤓

#小曾曾读书笔记#《增强型分析》：VQA，即可视化问答，其实现的功能如下： ❑ 输入图片时除了像素信息外没有任何其他的信息； ❑ 所问的问题与图片内容相关； ❑ 回答的结果要简短有效。需要着重解决两个问题：基于图像生成文本；基于问题得到答案。这个考验图片与文本是否能够产生精确的关联，并基于这种关联来回答不确定的问题。因此需要诸如CNN、LSTM等模型的协同，同时也很依赖包含图像和文本的数据库的品质。
2021-06-29 19:21:53 1人喜欢
展开收起
文本分类的模型选择

曾曾·芣苢¹²¹⁷🤓🤓

#小曾曾读书笔记#《增强型分析》：文本分类是一个典型的机器学习的应用场景，人们利用文本分类技术进行情感分析（如正面情绪或负面情绪的判断）、类别划分（如微博上的发言属于哪种类型）、人机对话（判断用户问题的类别）等不同的场景。文本分类可采用的方式有传统分类模型、CNN和FastText方法。传统分类模型：特征工程抽取特征，文本向量化构建机器学习模型。 CNN：卷积神经网络，首先要对数据进行预处理，需要注意目标变量...
2021-06-28 12:57:11 1人喜欢
展开收起
卷积CNN-图像处理过程

曾曾·芣苢¹²¹⁷🤓🤓

#小曾曾读书笔记#《增强型分析》：图像处理的卷积计算过程就是首先确定卷积内核，在整个卷积的过程中，内核的取值是不变的。步骤如下： ❑ 将内核的锚点（Anchor Point，也就是中心点）与输入图像中的一个像素对齐； ❑ 计算该像素周边的像素点与内核乘积的和； ❑ 将该像素的取值更新为和； ❑ 依次移动内核到下一个像素，直至所有像素均计算完成。可以将数据看作伴随众多其他因素（如空间、时间等）的事物表象，而卷...
2021-06-27 19:49:56 1人喜欢
展开收起
马尔可夫过程和马尔可夫链

曾曾·芣苢¹²¹⁷🤓🤓

#小曾曾读书笔记#《增强型分析》：马尔科夫过程指的是t+1时刻的系统状态取决于t时刻的系统状态，马尔可夫链是指未来一系列可能状态的概率仅仅依赖于前一个状态的随机模型；而马尔可夫决策过程是指马尔可夫链的状态转换依赖于目前的状态和应用在该状态上的干预，通过不断计算收益值并通过收益最大化来选择具体的动作，作为最终的决策输出的过程。经过网上资料查阅，马尔科夫链具有四个特性： 1、不可约性：在目前状态已知情况下...
2021-06-26 16:06:59 1人喜欢
展开收起
蒙特卡洛法进行重采样

曾曾·芣苢¹²¹⁷🤓🤓

#小曾曾读书笔记#《增强型分析》：使用蒙特卡洛方法进行重采样，最常用的场景就是利用少量的数据生成大量仿真数据，进行模拟训练和验证。重采样基于的样本有可能存在样本不平衡或负样本不明确的情况，数据分析师在做任何分析之前，检查数据样本的质量，一定是首要且十分重要的。针对样本不平衡，一般通过样本方式和惩罚方式两方面进行调整：样本方式： 1、过抽样：增加少数类样本——直接方式是Copy——适用于正样本极少的情...
2021-06-25 18:22:30 1人喜欢
展开收起
规范性分析我愿称之为战略性分析

曾曾·芣苢¹²¹⁷🤓🤓

#小曾曾读书笔记#《增强型分析》：Prescriptive分析所涉及的技术，包括优化技术、模拟技术、搜索技术以及构建专家系统、构建知识管理系统等方面。实现Prescriptive分析，如同Prescriptive技术所处的分析的层次那样，需要数据、描述分析、预测分析等方面的输入，并且往往不是一个模型所能解决的。业务分析三层次：描述性分析讲述过去发生的事情，预测性分析根据过去发生的找原因或者预测未来，规范性分析是根据过去和未来输出决...
2021-06-24 20:33:31 1人喜欢
展开收起
基于之间的营销成功率远大于主动营销

曾曾·芣苢¹²¹⁷🤓🤓

#小曾曾读书笔记#《增强型分析》：基于事件的营销的成功率进行产品营销在国内银行的具体实践中比主动营销的成功率要高出10倍以上。这一点挺有趣，说明作为用户的我们，其实更多是在买了A东西后，极有可能买B东西；或者是经过一系列操作之后，那我买A东西的可能性就大大增加。如果系统能够捕捉到我这一系列的行为，智能地为我推荐商品，那我被营销的可能性就非常大。另外一方面，如果我看了A商品，最终没有下单，那么系统不应...
2021-06-23 20:29:24 1人喜欢
展开收起
Gradient Tree Boosting算法改进可着手方面

曾曾·芣苢¹²¹⁷🤓🤓

#小曾曾读书笔记#《增强型分析》：根据Gradient Tree Boosting算法的特征，即通过应用批量的弱分类器对结果进行预测，可以从以下四个方面对算法进行改进。 1⃣️弱分类器的参数 A、树的个数：决定Boosting即学习的次数； B、树的深度：树越深，拟合效果越好，应用变量越多； C、叶子节点数量：节点越多，拟合越好； D、叶子节点上样本的数量：叶子节点的权重。 2⃣️learning rate A、sk-learn中，建议从0.1开始设置； ...
2021-06-22 09:05:13 1人喜欢
展开收起
数据预处理之数据归约

曾曾·芣苢¹²¹⁷🤓🤓

#小曾曾读书笔记#《增强型分析》：数据归约（Data Reduction）是指在理解数据分析任务和数据本身内容的基础上，寻找依赖于发现目标的数据的有用特征，以缩减数据规模，从而在尽可能保持数据原貌的前提下，最大限度地精简数据量。数据归约主要通过两种途径实现：属性选择和数据采样。属性选择一方面是基于业务理解和数据分析，另一方面也是通过模型等技术手段来实现；数据采样又分为概率抽样和非概率抽样。要精简数据量，数据...
2021-06-21 20:59:30 1人喜欢
展开收起
数据预处理的重要性

曾曾·芣苢¹²¹⁷🤓🤓

#小曾曾读书笔记#《增强型分析》：处理缺失值是最为常见的数据清洗工作。在数据分析中会遵从一些规则来填补缺失值。比如： ❑ 对于连续型变量，采用均值来代替缺失值； ❑ 对于序数型分类型变量，采用中位数来代替缺失值； ❑ 对于分类型变量，采用众数来代替缺失值。对数据的探索，花的时间永远不会比模型准备、数据分析少，往往一个准确的有参考的分析，都是基于良好的数据探索和预处理上面。而预处理也是同是基于数...
2021-06-20 17:39:32 1人喜欢