人工参与的迭代式数据清洗方法研究
数据采集技术的进步导致了数据集规模的飞速上涨，由于数据的大规模和高复杂性引起了严重的数据质量问题，数据清洗是数据活动中必要且重要的环节。为了在保证清洗准确率的情况下有效地降低人工标注成本，提出了一种人工参与的迭代式的数据清洗方法（IDCHI）。该方法在检测模块中提出了数据选择优化方法，使分类器在初始阶段就拥有较高的准确度；并进一步提出了待人工标注数据选择方法，有效地降低人工标注的数据量。实验结果表明该方法可有效且高效地清洗错误数据。...
| Main Author: | |
|---|---|
| Format: | Article |
| Language: | zho |
| Published: |
China InfoCom Media Group
2023-07-01
|
| Series: | 大数据 |
| Subjects: | |
| Online Access: | https://www.infocomm-journal.com/bdr/CN/10.11959/j.issn.2096-0271.2023048 |
| _version_ | 1797449252873437184 |
|---|---|
| author | 刘一达, 丁小欧, 王宏志, 杨东华 |
| author_facet | 刘一达, 丁小欧, 王宏志, 杨东华 |
| author_sort | 刘一达, 丁小欧, 王宏志, 杨东华 |
| collection | DOAJ |
| description | 数据采集技术的进步导致了数据集规模的飞速上涨，由于数据的大规模和高复杂性引起了严重的数据质量问题，数据清洗是数据活动中必要且重要的环节。为了在保证清洗准确率的情况下有效地降低人工标注成本，提出了一种人工参与的迭代式的数据清洗方法（IDCHI）。该方法在检测模块中提出了数据选择优化方法，使分类器在初始阶段就拥有较高的准确度；并进一步提出了待人工标注数据选择方法，有效地降低人工标注的数据量。实验结果表明该方法可有效且高效地清洗错误数据。 |
| first_indexed | 2024-03-09T14:22:11Z |
| format | Article |
| id | doaj.art-04bc2296dfb84e8ea96c3034a2b6dda5 |
| institution | Directory Open Access Journal |
| issn | 2096-0271 |
| language | zho |
| last_indexed | 2024-03-09T14:22:11Z |
| publishDate | 2023-07-01 |
| publisher | China InfoCom Media Group |
| record_format | Article |
| series | 大数据 |
| spelling | doaj.art-04bc2296dfb84e8ea96c3034a2b6dda52023-11-28T09:07:57ZzhoChina InfoCom Media Group大数据2096-02712023-07-0194596810.11959/j.issn.2096-0271.2023048人工参与的迭代式数据清洗方法研究刘一达, 丁小欧, 王宏志, 杨东华数据采集技术的进步导致了数据集规模的飞速上涨，由于数据的大规模和高复杂性引起了严重的数据质量问题，数据清洗是数据活动中必要且重要的环节。为了在保证清洗准确率的情况下有效地降低人工标注成本，提出了一种人工参与的迭代式的数据清洗方法（IDCHI）。该方法在检测模块中提出了数据选择优化方法，使分类器在初始阶段就拥有较高的准确度；并进一步提出了待人工标注数据选择方法，有效地降低人工标注的数据量。实验结果表明该方法可有效且高效地清洗错误数据。https://www.infocomm-journal.com/bdr/CN/10.11959/j.issn.2096-0271.2023048数据清洗人工参与迭代式小批量梯度下降 |
| spellingShingle | 刘一达, 丁小欧, 王宏志, 杨东华 人工参与的迭代式数据清洗方法研究 大数据 数据清洗 人工参与 迭代式 小批量梯度下降 |
| title | 人工参与的迭代式数据清洗方法研究 |
| title_full | 人工参与的迭代式数据清洗方法研究 |
| title_fullStr | 人工参与的迭代式数据清洗方法研究 |
| title_full_unstemmed | 人工参与的迭代式数据清洗方法研究 |
| title_short | 人工参与的迭代式数据清洗方法研究 |
| title_sort | 人工参与的迭代式数据清洗方法研究 |
| topic | 数据清洗 人工参与 迭代式 小批量梯度下降 |
| url | https://www.infocomm-journal.com/bdr/CN/10.11959/j.issn.2096-0271.2023048 |
| work_keys_str_mv | AT liúyīdádīngxiǎoōuwánghóngzhìyángdōnghuá réngōngcānyǔdediédàishìshùjùqīngxǐfāngfǎyánjiū |