如何合理创建机器学习训练数据?
积累知识,胜过积蓄金银!毕竟在文章开发的过程中,会遇到各种各样的问题,往往都是一些细节知识点还没有掌握好而导致的,因此基础知识点的积累是很重要的。下面本文《如何合理创建机器学习训练数据?》,就带大家讲解一下知识点,若是你对本文感兴趣,或者是想搞懂其中某个知识点,就请你继续往下看吧~
合理创建机器学习训练数据
在机器学习中,构建用于训练模型的学习数据至关重要。然而,有时我们面临数据量不足的情况,需要尽可能合理地增加数据。
重采样和过采样
对于数据量不足的情况,有两种常用的处理方式:
- 重采样:直接复制现有数据,增加数据量。
-
过采样:除了重采样之外,还创造新的数据,例如:
- SMOTE算法
- 数据扩充(data augmentation)
特殊情况下的处理
您提到了具有重复特征的数据(例如 NUM1 中的三个 A)。可以考虑以下处理方式:
- 如果您要修改特征值:需要确保标签值不会改变,否则可能会损害模型的准确性。
- 如果您处理的是两组不同的数据(NUM1 和 NUM2):删除其中一个重复的特征值并创建新数据是没有必要的,因为重采样也会产生相同的结果。
要特别注意:
- 切勿对测试数据进行数据生成,因为测试集需要包含真实的数据。
- 对于处理不平衡数据集,可以参考外部资源,例如您提到的博客。
今天关于《如何合理创建机器学习训练数据?》的内容介绍就到此结束,如果有什么疑问或者建议,可以在公众号下多多回复交流;文中若有不正之处,也希望回复留言以告知!