标签： detection

发布于

Python中的异常值检测（Outlier Detection）：基于隔离森林与One-Class SVM的算法实现

Python中的异常值检测：基于隔离森林与One-Class SVM的算法实现 大家好！今天我们来聊聊Python中异常值检测的问题。在数据分析、机器学习等领域，异常值（Outliers）往往会对模型的训练和预测产生负面影响。因此，有效地检测和处理异常值至关重要。本次讲座将聚焦于两种常用的异常值检测算法：隔离森林（Isolation Forest）和 One-Class SVM，并结合Python代码进行详细讲解。 1. 异常值的定义与影响 在开始具体的算法介绍之前，我们先来明确一下异常值的概念。异常值是指与其他观测值显著不同的数据点。这种差异可能体现在数值大小、数据分布等方面。 异常值的存在可能会带来以下影响： 扭曲统计分析结果： 异常值会影响均值、方差等统计量的计算，导致对数据整体特征的错误估计。 降低模型预测精度： 在机器学习模型中，异常值可能会误导模型的训练过程，降低模型在新数据上的泛化能力。 隐藏潜在问题： 异常值有时反映了数据采集、处理过程中的错误，或是系统中存在的异常事件。 因此，我们需要利用合适的算法来检测和处理异常值，以提高数据质量和模型性能。 2. 隔离森林（Iso …

继续阅读“Python中的异常值检测（Outlier Detection）：基于隔离森林与One-Class SVM的算法实现”

发布于

污染检测（Contamination Detection）：利用N-Gram重叠率识别Benchmark数据泄露

污染检测：利用N-Gram重叠率识别Benchmark数据泄露 大家好，今天我们来探讨一个重要且实用的课题：污染检测，特别是利用N-Gram重叠率来识别Benchmark数据集中的数据泄露问题。在机器学习模型开发过程中，我们经常需要使用Benchmark数据集来评估模型的性能。然而，如果Benchmark数据集中包含了训练数据的信息，就会导致评估结果产生偏差，甚至出现过拟合现象，从而误导模型的选择和优化。这就是数据泄露。 什么是数据泄露？ 数据泄露（Data Leakage）是指在模型训练过程中，使用了不应该使用的信息，导致模型在评估时表现过好，但在实际应用中表现不佳。这种“不应该使用的信息”通常是指在真实场景中无法获得的未来信息、目标变量的信息，或者泄露了训练集信息的Benchmark数据集。 例如，在时间序列预测中，如果使用了未来的数据来训练模型，就会导致数据泄露。或者，如果在医学诊断中，使用了患者治疗后的结果来训练模型，也会导致数据泄露。今天我们主要关注的是Benchmark数据集中的数据泄露，更具体地说，是由于Benchmark数据集包含了训练数据集中的一部分数据而导致的数据泄 …

继续阅读“污染检测（Contamination Detection）：利用N-Gram重叠率识别Benchmark数据泄露”

发布于

CSS `Shape Detection API` (提案) 结合 `clip-path`：基于图像特征的动态布局

各位靓仔靓女，老少爷们，大家好！今天咱们来聊点新鲜的，关于CSS Shape Detection API（提案中）结合 clip-path，整点基于图像特征的动态布局的活儿。这玩意儿听起来高大上，其实没那么玄乎，说白了就是让CSS更智能，能看懂图片里的东西，然后根据图片的内容来调整布局。 Shape Detection API：CSS的“火眼金睛” 先说说这个Shape Detection API，它就像给CSS装上了一双“火眼金睛”，让它能识别图片里的形状。虽然现在还在提案阶段，但已经能让我们看到未来的可能性了。这玩意儿能干啥呢？简单来说，它可以识别图片中的人脸、条形码、文本等等。 // 注意：这是个概念性代码，具体的API实现可能会有所不同 const image = document.getElementById(‘myImage’); const shapeDetector = new ShapeDetector({ detectors: [‘face’, ‘barcode’, ‘text’] //指定要检测的类型 }); shapeDetector.detect(image) …

继续阅读“CSS `Shape Detection API` (提案) 结合 `clip-path`：基于图像特征的动态布局”