你的位置:澳鸿集团 >> 资源分享 >> 语料库 >> 详细内容 在线投稿

爱华娱乐城:NLPIR 500万条twitter内容语料库

热度2245票  浏览9431次 【共2条评论】【我要评论 时间:2013年4月25日 09:57
NLPIR twitter内容语料库说明
1.NLPIR twitter内容语料库由北京理工大学网络搜索挖掘与安全实验室张华平博士,通过公开采集抽取从twitter中获得。为了推进微博计算的研究,现通过自然语言处理与信息检索共享平台(澳鸿集团 www.fxtxx.com)予以公开共享其中的500万条数据(目前已有数据接近1亿,已经剔除了大量的冗余与机器信息)
2.本语料库在公开过程中,已经最大限度地采用技术手段屏蔽了用户真实姓名和url,如果涉及到的用户需要全面?;じ鋈艘降?,可以Email给张华平博士[email protected]予以删除,对给您造成的困扰表示抱歉,并希望谅解;
3.只适用于科研教学用途,不得作为商用;引用本语料库,恭请在软件或者论文等成果特定位置表明出处为:NLPIR twitter内容语料库,出处为自然语言处理与信息检索共享平台(//www.fxtxx.com/)。
4.字段格式说明:
语料为mongodb导出的json格式,大约500万条Twitter数据(其中过滤了部分敏感的Twitter状态,占7%左右),每行为一个json对象,对象中一共有三个字段,分别是
自然语言处理与信息检索共享平台Z1M;k!gGC2{"u
user_id      用户的id,我们对语料包中Twitter的用户名进行隐藏操作,取而代之的则是一个标记用户的int值id
text         这条Twitter状态的内容
created_at   此条Twitter状态所发布的时间,为距离格林尼治时间1970年1月1日0时开始所经过的秒数

%C3C U x"G0
可以运行以下命令,直接使用mongodb自带的导入程序导入到mongodb
mongoimport -d <数据库名> -c tweets tweets.utf8
自然语言处理与信息检索共享平台8qz:g.V"GGqc1u[
下载地址:澳鸿集团  (提取码,请关注微博 NLPIR官方微博 //weibo.com/bigdatasearch,私信获取。)

3{'G-M`d#L)S;RAz ^0
展示:
自然语言处理与信息检索共享平台6Em8LM