广东龙网 | 科技 | 登录

字符级NLP优劣分析:在某些场景中比词向量更好用[五]

广东龙网 - 科技频道 | | 来源:机器之心Synced

广东龙网科技频道:【本文标题是字符级NLP优劣分析:在某些场景中比词向量更好用[五]。。】---来源是:机器之心Synced

[字符级NLP优劣分析:在某些场景中比词向量更好用[五]]

行业内的很多 NLP 用例都遵循相似的模式 , 尽管相关文本的语言是英语 , 但它们往往都有特有的词汇、缩写和标点符号 , 甚至还有挑战传统的 token 定义的表情符号 。 正如我们之前看到的那样 , 使用了标准 token 化假设的直接可用的解决方案往往无法达到预期的目标 。 但是 , 构建一个领域特定的 token 化器又可能需要非常多的时间和金钱 。

在这样的案例中 , 我们认为使用字符级模型更合理 。 它们的使用场景可能远远超出你的预料——不管是用于处理金融聊天、政治推文、生物学记录、医药处方文本 , 还是用于希伯来语或阿拉伯语等形态丰富的语言 。 通常而言 , 我们并不关心整个词汇库的 token 化或语义 。 我们只关心能否在这些文本中找到我们需要的信息 。

你会喜欢下面的文章?

月亮的背后有什么?

- 阅13

广东龙网科技频道提示您本文原始标题是:月亮的背后有什么? 撰文/古道君 出品/古道......

微盟CEO孙涛勇:与腾讯多层面合作 将探索并购整合机会

- 阅45

广东龙网科技频道提示您本文原始标题是:微盟CEO孙涛勇:与腾讯多层面合作 将探索并......

瑞幸咖啡公布2019年战略目标 回应严重亏损持续补贴等话题

- 阅30

广东龙网科技频道提示您本文原始标题是:瑞幸咖啡公布2019年战略目标 回应严重亏损持......

焊接机器人自动化生产线在汽车摩托车行业替代人工作业

- 阅15

广东龙网科技频道提示您本文原始标题是:焊接机器人自动化生产线在汽车摩托车行业替......

京东第一夫人朋友圈被爆,原来是其同学所为,章泽天退群

- 阅34

广东龙网科技频道提示您本文原始标题是:京东第一夫人朋友圈被爆 , 原来是其同学所......

小米Play隐藏水滴后的样子,网友看完:窒息了

- 阅47

广东龙网科技频道提示您本文原始标题是:小米Play隐藏水滴后的样子 , 网友看完:窒......

儿童手表行业年终盘点:小天才Z5行业最佳,亦青藤旗舰抢眼!

- 阅27

广东龙网科技频道提示您本文原始标题是:儿童手表行业年终盘点:小天才Z5行业最佳 ,......

收入破千亿,BAT底蕴助力百度寒冬狂奔

- 阅11

广东龙网科技频道提示您本文原始标题是:收入破千亿 , BAT底蕴助力百度寒冬狂奔 新......

UFO频繁光顾地球,为何从不主动攻击人类?科学家或已发现背后秘

- 阅18

广东龙网科技频道提示您本文原始标题是:UFO频繁光顾地球 , 为何从不主动攻击人类?......

海底终极大战中的三维应用

- 阅46

广东龙网科技频道提示您本文原始标题是:海底终极大战中的三维应用 近日上映的好莱坞......