FlagAI-Open · wangguojim · May 22, 2022 · May 22, 2022 · May 24, 2022
diff --git a/examples/t5_kbqa/RADEME.md b/examples/t5_kbqa/RADEME.md
@@ -0,0 +1,12 @@
+Knowledge Base Question Answering (KBQA) aims to answer natural language questions with
+the help of an external knowledge base. The core idea is to find the link between the internal
+knowledge behind questions and known triples of the knowledge base. Traditional KBQA task
+pipelines contain several steps, including entity recognition, entity linking, answering selection,
+etc. In this kind of pipeline methods, errors in any procedure will inevitably propagate to the
+final prediction. To address this challenge, the Corpus Generation - Retrieve
+Method (CGRM)   with Pre-training Language Model (PLM) for the KBQA task  aims to generate natural language QA pairs based on Knowledge Graph triples
+and directly solve the QA by retrieving the synthetic dataset. The new method can extract more
+information about the entities from PLM to improve accuracy and simplify the processes. 
+
+The major procedure of CGRM is to generate QA pairs, in which, it needs to do two tasks: 
+The first task is a [NER](finetune_t5_ner.py) downstream task. The second one is a downstram task for [generating natural language QA pairs based on Knowledge Graph triples](finetune_t5_triple2question.py).
diff --git a/examples/t5_kbqa/data/dev.csv b/examples/t5_kbqa/data/dev.csv
@@ -0,0 +1,100 @@
+,question,entity,triplet
+1,巫山县疾病预防控制中心的机构职能是什么?,巫山县疾病预防控制中心,巫山县疾病预防控制中心 ||| 机构职能 ||| 疾病预防控制工作
+2,我很好奇龙编站的坐标是什么啊？,龙编站,龙编站 ||| 坐标 ||| 21°2′22.9″N105°51′1.1″E
+3,rio是谁代言的？,rio,rio（BACCHUS公司推出的RIO酒） ||| 代言人 ||| 周迅2013，杨洋、郭采洁2015
+4,你知道Metasploit的开发时间是什么时候吗？,Metasploit,Metasploit ||| 开发时间 ||| 2004年8月
+5,有谁知道喜蛋如何制作吗？,喜蛋,喜蛋（庆贺喜事的馈赠食物） ||| 制作方法 ||| 水煮染色(传统)、烘焙(西点)
+6,国际先生是什么时候举行？,国际先生,国际先生 ||| 会期 ||| 12月9日
+7,元胡止痛软胶囊通常叫什么？,元胡止痛软胶囊,元胡止痛软胶囊 ||| 通用名 ||| 元胡止痛软胶囊
+8,石光荣的儿女叫什么？,石光荣,石光荣 ||| 儿女 ||| 石林、石晶、石海
+9,你知道九九式步枪是什么时间生产的吗？,九九式步枪,九九式步枪 ||| 生产时间 ||| 1939年
+10,大屏幕处理器是由什么支持的？,大屏幕处理器,大屏幕处理器 ||| 支持 ||| 高清电视（HDTV）输入、输出
+11,扬州大学化学化工学院的专职院士是多少啊？,扬州大学化学化工学院,扬州大学化学化工学院 ||| 专职院士 ||| 无人
+12,唇焦是属于什么类别的疾病？,唇焦,唇焦 ||| 疾病分类 ||| 口腔科疾病
+13,全球防卫组织又译作什么？,全球防卫组织,全球防卫组织 ||| 又译 ||| 全球防御组织
+14,股票厦门金龙汽车集团股份有限公司的代码是什么？,厦门金龙汽车集团股份有限公司,厦门金龙汽车集团股份有限公司 ||| 证券代码 ||| 600686
+15,哈药的员工有多少人啊？,哈药,哈药 ||| 职工 ||| 2.01万人
+16,请问Lphant支持哪些东西？,Lphant,Lphant ||| 支持 ||| eDonkey网络
+17,牛脑有什么气味?,牛脑,牛脑（可药用食物） ||| 气味 ||| 甘、温、微毒
+18,你知道S.I.N.从属于哪里吗？,S.I.N.,S.I.N. ||| 从属 ||| 罪恶组织Shadaloo
+19,济河的发源地是哪里？,济河,济河（豫鲁的河流） ||| 发源于 ||| 河南省济源市
+20,仁川的市鸟是什么鸟？,仁川,仁川（大韩民国六大广域市之一） ||| 市鸟 ||| 白鹤
+21,很好奇海王龙吃什么啊？,海王龙,海王龙 ||| 食物 ||| 大型鱼类及海洋爬行动物
+22,超声波测试仪是什么时候工作的？,超声波测试仪,超声波测试仪 ||| 工作时间 ||| 100小时
+23,广西壮族自治区人民政府宗教事务局属于什么辖区？,广西壮族自治区人民政府宗教事务局,广西壮族自治区人民政府宗教事务局 ||| 辖区 ||| 广西壮族自治区
+24,清水塘村有哪些资源？,清水塘村,清水塘村（湖北省武汉市新洲区旧街街清水塘村委会） ||| 资源 ||| 铁，铂金红石
+25,新华报业传媒这个应用现在是什么版本？,新华报业传媒,新华报业传媒 ||| 应用版本 ||| 1.2
+26,《出卖影子的人》是什么时候出版的？,出卖影子的人,出卖影子的人 ||| 出版年 ||| 1987
+27,马西奥·塞纳曾效力哪支队伍？,马西奥·塞纳,马西奥·塞纳 ||| 曾效力 ||| 尤文图德队
+28,红萝卜具有怎样的性味？,红萝卜,红萝卜 ||| 性味 ||| 味甘、性平
+29,熙笃会又译作什么？,熙笃会,熙笃会 ||| 又译 ||| 西多会
+30,请问叶儿粑的主要出产地是在哪里啊？,叶儿粑,叶儿粑 ||| 主要产地 ||| 川西、川南
+31,周恩来纪念馆总占地面积是多少？,周恩来纪念馆,周恩来纪念馆 ||| 总占地面积 ||| 40万平方米
+32,你知道科雷泽以前为谁工作吗？,科雷泽,科雷泽 ||| 曾效力 ||| 阿尔勒
+33,你觉得干香菇的口感如何？,干香菇,干香菇 ||| 口感 ||| 口味鲜美，口感细嫩。
+34,你知道狩猎美男之古旅总推荐什么啊？,狩猎美男之古旅,狩猎美男之古旅 ||| 总推荐 ||| 0
+35,谁知道库·丘林是哪个书里的角色呢？,库·丘林,库·丘林（凯尔特神话中的英雄） ||| 人物出处 ||| 凯尔特神话
+36,青州镇的山林有多少面积？,青州镇,青州镇（福建三明市沙县区辖镇） ||| 山林面积 ||| 144743亩
+37,你知道辛安镇东经多少度吗？,辛安镇,辛安镇（黄岛区下辖乡镇） ||| 东经 ||| 120°06′至120°12′
+38,你知道鲤鱼山的名字是怎么来的吗？,鲤鱼山,鲤鱼山（台湾台东山峰） ||| 得名 ||| 因山形似鱼而得名
+39,你知道青岛经济职业学校是哪个省的吗？,青岛经济职业学校,青岛经济职业学校 ||| 所属省份 ||| 山东省
+40,你知道西南野生动植物资源保护教育部重点实验室的批准日期是什么吗？,西南野生动植物资源保护教育部重点实验室,西南野生动植物资源保护教育部重点实验室 ||| 批准日期 ||| 2008年
+41,上海浦东香格里拉大酒店离火车站有多远？,上海浦东香格里拉大酒店,上海浦东香格里拉大酒店 ||| 火车站距离 ||| 20公里
+42,你知道斑鳍光鳃鱼是谁起的名吗？,斑鳍光鳃鱼,斑鳍光鳃鱼 ||| 命名人 ||| Temminck et Schlegel
+43,远日行星的自转周期是什么？,远日行星,远日行星 ||| 自转周期 ||| 17小时14分和15小时57分
+44,急性再障的病因是什么？,急性再障,急性再障 ||| 病因 ||| 感染（细菌、病毒）尤肝炎病毒
+45,复旦大学科学技术研究院的机构职能是什么?,复旦大学科学技术研究院,复旦大学科学技术研究院 ||| 机构职能 ||| 主管学校科学技术研究工作
+46,有谁知道天津利顺德大饭店到火车站的距离吗?,天津利顺德大饭店,天津利顺德大饭店 ||| 火车站距离 ||| 15km
+47,迪罗伯托的球衣号是几号？,迪罗伯托,迪罗伯托 ||| 球衣号 ||| 9号
+48,我想知道大专生的学制是什么？,大专生,大专生 ||| 学制 ||| 三年
+49,你知道真矢美纪组织过什么活动吗？,真矢美纪,真矢美纪 ||| 活动 ||| 1981年 – 2013年音乐演唱会
+50,心脏磁共振成像的适应症是什么？,心脏磁共振成像,心脏磁共振成像 ||| 适应症 ||| 心肌病变、心包疾病、心脏肿瘤等
+51,广播心理战具有哪些特征？,广播心理战,广播心理战 ||| 具有 ||| 跨越国界等特点
+52,科沃斯地宝适合什么人群？,科沃斯地宝,科沃斯地宝 ||| 适合人群 ||| 为事业奋斗的年轻白领，为家庭付出的美满之家，享健康晚年生活的老人，宠物之家
+53,札幌的市鸟是什么？,札幌,札幌 ||| 市鸟 ||| 杜鹃鸟
+54,5·13土耳其索玛矿难的坐标是什么？,5·13土耳其索玛矿难,5·13土耳其索玛矿难 ||| 坐标 ||| 39°4′37.90″N27°31′30.93″E
+55,你知道申克是什么时候创办的吗？,申克,申克（德国申克集团） ||| 创办 ||| 1881年
+56,你了解半坡村的平均气温吗？,半坡村,半坡村（云南省曲靖富源县后所镇半坡村） ||| 平均气温 ||| 18 ℃
+57,谁知道赵戬老师是哪里毕业的？,赵戬,赵戬（中国医科大学讲师） ||| 毕业于 ||| 中国医科大学
+58,镁带是如何储存的？,镁带,镁带 ||| 储存 ||| 密封阴凉干燥保存
+59,请问大麦哲伦星系自转一圈需要多久？,大麦哲伦星系,大麦哲伦星系 ||| 自转周期 ||| 约 250 Myr
+60,中天娱乐台是从哪天开播的？,中天娱乐台,中天娱乐台 ||| 开播日期 ||| 1997年1月30日
+61,慕容德从什么时候开始继位的？,慕容德,慕容德 ||| 在位 ||| 398年~405年
+62,直肠指检适用哪些症状？,直肠指检,直肠指检 ||| 适应症 ||| 检查肛管、直肠等肠道疾病
+63,东马格拉哨所位于我国哪个省？,东马格拉哨所,东马格拉哨所 ||| 所属省份 ||| 内蒙古
+64,国民革命军第17军什么时候改的名字啊？,国民革命军第17军,国民革命军第17军（闽军李凤翔部组成的第17军） ||| 改名时间 ||| 1926年9月
+65,请问北京大唐圣殿影视文化有限公司属于哪个集团啊？,北京大唐圣殿影视文化有限公司,北京大唐圣殿影视文化有限公司 ||| 所属集团 ||| 北京大唐圣殿影视文化有限公司
+66,有谁知道布洛夫是几号球衣吗？,布洛夫,布洛夫 ||| 球衣号 ||| 4
+67,大家了解熊本市的市鸟吗？,熊本市,熊本市 ||| 市鸟 ||| 大山雀
+68,你知道鲤鱼头怎么制作吗？,鲤鱼头,鲤鱼头 ||| 制作方法 ||| 简单
+69,请问护墙板的主要出产地是在哪里啊？,护墙板,护墙板 ||| 主要产地 ||| 欧洲 美洲 亚洲等地
+70,小官人的解释是什么？,小官人,小官人（词义典故） ||| 解释1 ||| 富贵人家子弟
+71,邹忌讽齐王纳谏的编者是谁有人知道吗？,邹忌讽齐王纳谏,邹忌讽齐王纳谏 ||| 编者 ||| 西汉刘向
+72,中国科学院长春应用化学研究所有多少个专职院士？,中国科学院长春应用化学研究所,中国科学院长春应用化学研究所 ||| 专职院士 ||| 6人
+73,谁知道金海国际社区这个项目在哪？,金海国际社区,金海国际社区 ||| 项目位置 ||| 明月路88号
+74,莲花洞的由来是什么？,莲花洞,莲花洞（龙门石窟里的洞窟） ||| 名字由来 ||| 窟顶刻有一朵巨大的莲花
+75,诺基亚Lumia 510的上市时间是什么时候？,诺基亚Lumia 510,诺基亚Lumia 510 ||| 上市日期 ||| 2013年
+76,高士村的北纬是多少？,高士村,高士村 ||| 北纬 ||| N26°0′8.81″
+77,2011年武汉亚洲男子篮球锦标赛是在哪里举办的？,2011年武汉亚洲男子篮球锦标赛,2011年武汉亚洲男子篮球锦标赛 ||| 举办城市 ||| 湖北武汉
+78,北岭是哪个省的？,北岭,北岭 ||| 所属省份 ||| 福建省
+79,请问大连市中山区春海小学是什么时候改名的？,大连市中山区春海小学,大连市中山区春海小学 ||| 改名时间 ||| 1952年
+80,我很好奇开关二极管有什么用处？,开关二极管,开关二极管 ||| 主要用于 ||| 电子计算机、脉冲和开关电路
+81,中国国际高新技术成果交易会在什么城市举办的？,中国国际高新技术成果交易会,中国国际高新技术成果交易会 ||| 举办城市 ||| 中国广东深圳市
+82,惠州亿纬锂能股份有限公司的法人代表是谁啊？,惠州亿纬锂能股份有限公司,惠州亿纬锂能股份有限公司 ||| 法人代表 ||| 刘金成
+83,你知道酞酸酯偶联剂怎么用吗？,酞酸酯偶联剂,酞酸酯偶联剂 ||| 使用方法 ||| 在填料等处理物中均匀地分散
+84,东方宾馆的证券代码是多少啊？,东方宾馆,东方宾馆 ||| 证券代码 ||| 000524
+85,我想知道贫瘠之地都包括哪些装备和训练？,贫瘠之地,贫瘠之地（魔兽世界游戏地点） ||| 资源 ||| 黄金，狩猎，木材。
+86,请问别克英朗XT的发动机是什么？,别克英朗XT,别克英朗XT ||| 发动机 ||| 1.6T涡轮增压
+87,赣州市中医院的院训是什么？,赣州市中医院,赣州市中医院 ||| 医院院训 ||| 仁心仁术 传承进取
+88,你知道中共绍兴市委宣传部是什么职能吗？,中共绍兴市委宣传部,中共绍兴市委宣传部 ||| 机构职能 ||| 负责指导全市理论学习、理论宣传
+89,放爆竹是什么日子？,放爆竹,放爆竹 ||| 节日 ||| 春节、元宵节等
+90,你知道万佛宫的开发日期吗？,万佛宫,万佛宫 ||| 开发时间 ||| 1991年5月
+91,请问完颜宗隽的儿女叫什么名字？,完颜宗隽,完颜宗隽 ||| 儿女 ||| 完颜氏、完颜师姑儿
+92,张紫淇现在住在哪？,张紫淇,张紫淇 ||| 现住地 ||| 北京
+93,你知道Act like You know是谁作词的吗？,Act like You know,Act like You know ||| 词 ||| 陈奂仁/陈冠希
+94,InterVideo坐落于什么地方？,InterVideo,InterVideo ||| 坐落于 ||| 美国加州硅谷
+95,波音737-700是哪家公司生产的？,波音737-700,波音737-700 ||| 生产公司 ||| 波音公司
+96,你知道比喻句属于什么科目吗？,比喻句,比喻句 ||| 科目 ||| 语文
+97,驭风波莫有多少攻击力？,驭风波莫,驭风波莫 ||| 攻击力 ||| 320
+98,史迹名胜天然纪念物保存法是什么时候施行的？,史迹名胜天然纪念物保存法,史迹名胜天然纪念物保存法 ||| 施行日期 ||| 1919年6月1日
+99,Sonoma是由什么支持的？,Sonoma,Sonoma（Sonoma平台） ||| 支持 ||| Azalia音频