基于多模态融合提升的文本分类方法
尽管基于多模态的文本分类技术在应用到具体场景中具有潜力，但仍存在局限性。现有多模态融合模型要求输入数据模态对齐，因此大量不完整的多模态数据被直接浪费，从而限制了推理时可用数据的规模和灵活性。为了解决这个问题，提出了一种基于多模态融合提升的文本分类模型和不充分多模态资源训练方法。与传统方法相比，提出的模型在标准数据集上的性能平均提高了约4.25%。此外，在除文本输入模态外的其他模态缺失率为50%的情况下，不充分多模态资源训练方法的性能比传统多路由策略提高了约4%。这表明所提出的模型和训练方法具有明显的优势和有效性。...
| Main Author: | |
|---|---|
| Format: | Article |
| Language: | zho |
| Published: |
China InfoCom Media Group
2024-03-01
|
| Series: | 大数据 |
| Subjects: | |
| Online Access: | https://www.infocomm-journal.com/bdr/CN/10.11959/j.issn.2096-0271.2023067 |
| _version_ | 1797229981578821632 |
|---|---|
| author | 刘德志, 何柳, 刘幼峰, 韩德纯 |
| author_facet | 刘德志, 何柳, 刘幼峰, 韩德纯 |
| author_sort | 刘德志, 何柳, 刘幼峰, 韩德纯 |
| collection | DOAJ |
| description | 尽管基于多模态的文本分类技术在应用到具体场景中具有潜力，但仍存在局限性。现有多模态融合模型要求输入数据模态对齐，因此大量不完整的多模态数据被直接浪费，从而限制了推理时可用数据的规模和灵活性。为了解决这个问题，提出了一种基于多模态融合提升的文本分类模型和不充分多模态资源训练方法。与传统方法相比，提出的模型在标准数据集上的性能平均提高了约4.25%。此外，在除文本输入模态外的其他模态缺失率为50%的情况下，不充分多模态资源训练方法的性能比传统多路由策略提高了约4%。这表明所提出的模型和训练方法具有明显的优势和有效性。 |
| first_indexed | 2024-04-24T15:21:14Z |
| format | Article |
| id | doaj.art-57a62a379cea4713beea49821e28cbb3 |
| institution | Directory Open Access Journal |
| issn | 2096-0271 |
| language | zho |
| last_indexed | 2024-04-24T15:21:14Z |
| publishDate | 2024-03-01 |
| publisher | China InfoCom Media Group |
| record_format | Article |
| series | 大数据 |
| spelling | doaj.art-57a62a379cea4713beea49821e28cbb32024-04-02T07:51:06ZzhoChina InfoCom Media Group大数据2096-02712024-03-01102809310.11959/j.issn.2096-0271.2023067基于多模态融合提升的文本分类方法刘德志, 何柳, 刘幼峰, 韩德纯尽管基于多模态的文本分类技术在应用到具体场景中具有潜力，但仍存在局限性。现有多模态融合模型要求输入数据模态对齐，因此大量不完整的多模态数据被直接浪费，从而限制了推理时可用数据的规模和灵活性。为了解决这个问题，提出了一种基于多模态融合提升的文本分类模型和不充分多模态资源训练方法。与传统方法相比，提出的模型在标准数据集上的性能平均提高了约4.25%。此外，在除文本输入模态外的其他模态缺失率为50%的情况下，不充分多模态资源训练方法的性能比传统多路由策略提高了约4%。这表明所提出的模型和训练方法具有明显的优势和有效性。https://www.infocomm-journal.com/bdr/CN/10.11959/j.issn.2096-0271.2023067文本分类交叉注意力多模态融合不充分多模态资源训练方法 |
| spellingShingle | 刘德志, 何柳, 刘幼峰, 韩德纯 基于多模态融合提升的文本分类方法 大数据 文本分类 交叉注意力 多模态融合 不充分多模态资源训练方法 |
| title | 基于多模态融合提升的文本分类方法 |
| title_full | 基于多模态融合提升的文本分类方法 |
| title_fullStr | 基于多模态融合提升的文本分类方法 |
| title_full_unstemmed | 基于多模态融合提升的文本分类方法 |
| title_short | 基于多模态融合提升的文本分类方法 |
| title_sort | 基于多模态融合提升的文本分类方法 |
| topic | 文本分类 交叉注意力 多模态融合 不充分多模态资源训练方法 |
| url | https://www.infocomm-journal.com/bdr/CN/10.11959/j.issn.2096-0271.2023067 |
| work_keys_str_mv | AT liúdézhìhéliǔliúyòufēnghándéchún jīyúduōmótàirónghétíshēngdewénběnfēnlèifāngfǎ |