能力中心 > 能力公社 > 新闻评论 开发者中心

新闻评论

新闻评论

1条评分 308个项目使用过

基本信息

  • 能力名称(中文): 新闻评论
  • 能力名称(英文): NewsComment
  • 版本: 0.1
  • 能力入口类名: com.hylanda.processors.crawl.comment.NewsComment
  • 开发者dog3dog2dog1
  • 供应商平台自营
  • 编程语言: JAVA
  • 授权范围: 公开
  • 工程分类: 数据抓取
  • 能力分类: 普通能力
  • 能力级别: 普通
  • 能力状态: 正常
  • 标签

收费方式

  • 收费方式: 0.002000[按条数](按能力输出的有效数据量计费)

使用说明

能力说明

功能简介

新闻评论能力可以分别选择一次性采集或周期性采集两种采集方式

(1)选择一次性时,根据新闻链接一次性采集该新闻下的所有评论

(2)选择周期性时,根据新闻链接按照设置的周期采集该新闻下的评论数据,48小时之内,根据设置的周期采集,48小时后停止采集

配置参数

参数名称 参数类型 是否必填 默认值 参数说明
任务执行编号 数字 0 0-99任意自然数,能力会根据任务编号来判断是否继续执行上一次任务,数字不变则继续执行,反之则重采
请输入链接 文本 直接部署链接时需要填写,格式为一行一个(换行操作:shift+回车),建议部署上限在10000以内;当能力接收上层数据流时可不填
选择历史还是实时任务 文本 选择是一次性任务/周期性任务,一次性任务即历史任务,采集一次终止,周期任务即实时任务,即需要设置采集周期,每隔多长时间采集一次
采集频度 数字 240 选择周期性任务时填写采集的频度(即采集周期,单位:分钟),默认240分钟,可下拉列表选择,48小时之内,根据设置的周期采集,48小时后停止采集
流入此能力的json中提取的key 文本 url 上游能力流过来的json流中提取key名称作为本能力的输入

输入简介

输入需要采集评论的新闻链接,多个以回车换行分隔

输入数据样例

http://3g.163.com/news/article/D8A0414V0519ADGM.html
http://www.sohu.com/a/216924310_120000

支持如下两种上游流入格式:

第一种字符串:["http://xxx.xxx.xxx"]
第二种json传:{"url","http://xxx.xxx.xxx"}

输出简介

输出为新闻相对应的新闻评论数据

输出数据样例

部分输出字段简介:

1.author:评论人

2.format_content:评论内容

3.release_date:评论发布时间

输出详细字段信息举例如下:

{
    "profile_url":"http://www.toutiao.com/c/user/52175184663/",
    "attitudes_count":"0",
    "source_type":"0",
    "download_date":"2018-01-18 10:54:09",
    "url":"http://www.toutiao.com/a6508906067567575556/#3322978934",
    "from_flag":"comment_info",
    "format_content":"真是的,国外上了那么久,中国才上,中国的步伐比国外慢十年",
    "author":"紫叶140143265",
    "title":"真是的,国外上了那么久,中国才上,中国的步伐比国外慢十年",
    "refer_url":"http://www.toutiao.com/a6508906067567575556/#1516244049819",
    "c_url":"http://www.toutiao.com/a6508906067567575556/",
    "rel_type":"c",
    "release_date":"2018-01-09 22:11:08"
}

相关能力

参考指标

  • 数据质量:准确率:95%

  • 处理性能:100条/min

CPU:4 内存:4G

附加说明

隐藏参数说明

最新版本

  • 最新版本: 0.1
  • 更新日志: 系统同步

用户评论