知识图谱 开发

• 数据爬取
  • 数据爬取平台
  • 知识获取
    • 实体识别
    • 概念、关系、属性抽取
    • 标签挖掘
    • 情感分析
    • 知识融合：概念层融合，数据层融合
    • 知识建模: 概念上下位关系生成、概念属性识别、规则建模、事件建模、时空建模
  • 多元异构数据
    • 非结构化文档
    • 半结构化数据
    • 结构化知识
  • 抽取模块
    • 基于规则
    • 基于模板
    • 基于模型
      • 经典模型: PCNN、BiLSTM
      • 预训练模型: BERT、摩天
  • 预/后处理
    • 先验知识库: 规则库、领域词表、模板库、黑白名单
    • 数据集构建：人工标注、远程标注、数据集管理
• 知识融合
  • Schema对齐(异构转同构)
  • 数据清洗
  • 实体对齐(去重，消岐)
  • 属性择优
• 知识关联
  • 规则推理
  • 建边模型
• 存储检索
  • 图引擎
    • 图存储引擎
    • 图学习引擎
    • 图查询引擎
  • 优化
    • KV库
    • 索引库
    • 控制和数据分离
    • Schema压缩
• 知识计算
  • 知识补全
  • 知识推理
  • 知识统计与图挖掘
• 知识图谱金字塔
  • 文本(text)→标签(label、tag)→表格(table)→图(graph)→模式(schema)→本体(ontology)→规则(rule)
• 技术
  • 计算：Spark
  • 中间存储：HIVE
  • 检索：ES
• 监控体系
  • 知识管理系统