pair case分析
Date: 2019/05/17 Categories: 工作 Tags: pair
我们用一天的querylog去测试了一下结合了ESIM模型的相似度匹配服务, 在限制tm_score>0.85而esim score>0.97的情况下有一些good case
主要的问题有
- _喜羊羊和灰太狼_和_喜羊羊和灰太狼的电影_相似度为0.95, 差了一个意图词,
- 辽宁省大连市 and 辽宁省大连市有哪些大学
- 袁莉大校的女儿 and 袁莉的大校的女儿的评分是多少
- 附近好吃的地方 and 南京有哪些好吃的地方
- 赵雅芝新白娘子传奇0.958991赵雅芝的新白娘子传奇的类别是什么
- 坦克大战坦克大战0.958824fc版的坦克大战的类别是什么
- 为什么蛇会飞0.956413蛇为什么会飞的作者是 1986年的西游记0.9558291986年的西游记的类别是什么
Good case:
- 地球上第二大的国家是哪 and 地球上第二大的国家是哪
- 蒋勤勤的电视剧0.959016演员蒋勤勤的电视剧是什么
- 唐嫣演的电视剧0.956445演员唐嫣的电视剧是什么
| query | dnn_score | question | index | tm_score |
|---|---|---|---|---|
| 世界最高的山非是什么 | 0.984322 | 世界上最高的山是什么 | level1_humanpairs_20170906 | 0.864278 |
| 厘米等于多少毫米 | 0.982182 | 1厘米等于多少毫米 | level1_humanpairs_20170906 | 0.873376 |
| 中国有几个省啊 | 0.980461 | 我国有多少个省啊 | level1_humanpairs_20170906 | 0.875742 |
| 中国最高的山是哪一个 | 0.980060 | 中国最高的山是什么 | level1_humanpairs_20170906 | 0.896388 |
| 上有多少颗星星 | 0.978869 | 一共多少颗星星 | level2_docqa | 0.893959 |
| 世界上最高的山脉是什麽山 | 0.977706 | 世界上最高山脉是哪个 | level1_humanpairs_20170906 | 0.860316 |
| 厘米等于多少米 | 0.977627 | 1厘米等于多少米 | level1_humanpairs_20170906 | 0.897721 |
| 李连杰的太极张三丰 | 0.976751 | 李连杰的太极张三丰的评分是多少 | level2_kbgen_20171011 | 0.851612 |
| 吴晓波大败局 | 0.974292 | 吴晓波的大败局的页数是多少 | level2_kbgen_20171011 | 0.850785 |
| 以彼之道还施彼身 | 0.973390 | 以彼之道还施彼身的作者是 | level2_kbgen_20171011 | 0.889094 |
| 上海城市面积多大 | 0.970604 | 上海城市规划的面积多大 | level2_kbgen_20171011 | 0.864974 |