人工参与的迭代式数据清洗方法研究
数据采集技术的进步导致了数据集规模的飞速上涨，由于数据的大规模和高复杂性引起了严重的数据质量问题，数据清洗是数据活动中必要且重要的环节。为了在保证清洗准确率的情况下有效地降低人工标注成本，提出了一种人工参与的迭代式的数据清洗方法（IDCHI）。该方法在检测模块中提出了数据选择优化方法，使分类器在初始阶段就拥有较高的准确度；并进一步提出了待人工标注数据选择方法，有效地降低人工标注的数据量。实验结果表明该方法可有效且高效地清洗错误数据。...
| Main Author: | |
|---|---|
| Format: | Article |
| Language: | zho |
| Published: |
China InfoCom Media Group
2023-07-01
|
| Series: | 大数据 |
| Subjects: | |
| Online Access: | https://www.infocomm-journal.com/bdr/CN/10.11959/j.issn.2096-0271.2023048 |