长时依赖词库。包含1亿个词汇的英文词库数据,这些词汇是从Wikipedia的优质文章和标杆文章中提取得到的。每个词汇还同时保留产生该词汇的原始文章,这尤其适合当需要长时依赖(longt……
中文词库分词。是由清华大学自然语言处理与社会人文计算实验室整理推出的一套高质量的中文词库,词表来自主流网站的社会标签、搜索热词、输入法词库等。THUOCL具有以下特点: 包含词频统计信息DF值(Document Frequency),方便用户个性化选择使用。 词库经过多轮人工筛选,保证词库收录的准确性。 开放更新,将不断更新现有词表,并推出更多类别词表。该词库可以用于中文自动分词,提升中文分词效果。
最全诗词集合,唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人,21050首词。
大规模中文自然语言处理语料
医学图像数据集。MedMNIST v2 是一个大规模的 2D 和 3D 医学图像分类数据集,包含 12 个 2D 数据集和 6 个 3D 数据集,其中 2D 数据集有 708069 张图片,3D 数据集有 10214 张图片。数据集包含多种模态(X 光片、视网膜 OCT、超声、CT 等)、 多种任务(多分类、二分类、多标签、有序回归), 数据集规模从百量级到十万量级不等;
电影理解。用于电影理解的整体数据集 近年来,视觉理解取得了显着进展。然而,如何理解具有艺术风格的基于故事的长视频,例如电影,仍然具有挑战性。在本文中,我们介绍了 MovieNet——一个用于电影理解的整体数据集。 MovieNet 包含 1,100 部电影,包含大量多模态数据,例如预告片、照片、情节描述等。此外,MovieNet 提供了不同方面的手动标注,包括 110 万个带有边界框和身份的字符、42K 场景边界、 2.5K 对齐的描述句子,65K 地点和动作标签,以及 92K 电影风格标签。据我们所知,MovieNet 是最大的数据集,具有最丰富的注释,可用于全面的电影理解。基于 MovieNet,我们设置了多个基准,用于从不同角度理解电影。在这些基准上进行了广泛的实验,以展示 MovieNet 的不可估量的价值以及当前方法在全面理解电影方面的差距。我们相信这样一个整体的数据集将促进基于故事的长视频理解及其他方面的研究。
1万条中文语音。包含了1万余条语音文件,大约40小时的中文语音数据,内容以文章诗句为主,全部为女声。它是由清华大学语音与语言技术中心(CSLT)出版的开放式中文语音数据库。