中文文本纠错调研 前言 文本纠错是一项自然语言处理的基础性工作，是搜索引擎，问答/对话系统，输入法等应用中必不可少的前置模块，纠错的质量对后续的处理非常重要。本文将对中文文本纠错进行系统调研，包括错误类型整理、工业界和学术界的常用方法以及还存在哪些问题。 任务定义 系统/模型的输入为原始序列$X = (x_{1},x_{2},…,x_{n})$，输出为纠错后的序列 $Y = (y_{1},y_{2},…,y_{m 2021-05-26 NLP
基于预训练的中文seq2seq任务调研 前言目前基于BERT的预训练语言模型在中文的文本理解任务上已经有了非常完善的Benchmark、预训练模型以及工具，而基于预训练语言模型的文本生成任务，尤其是中文场景下的seq2seq预训练任务的研究相对而言还不够充分，本文将对此场景进行系统的调研和整理。 2021-05-24 NLP BERT seq2seq UniLM
ERNIE，不仅仅是更懂中文的预训练模型 前言 百度搜索相比Google的宣传语是：更懂中文的搜索引擎；而在预训练模型领域，百度最开始推出的ERNIE相比Google提出的BERT，就可以认为是更懂中文的预训练模型了。 而ERNIE也在不断的推陈出新，已经形成了一个系列，包括ERNIE1.0，ERNIE2.0，ERNIE-GEN，在NLP和NLG全面取得了SOTA的效果，所以已经不仅仅是面向中文的预训练模型了～ 2021-03-28 NLP BERT
基于FAQ的智能问答(三):精排篇 背景在上一篇<基于FAQ的智能问答(二):召回篇>中已经介绍了，给定一个用户的query如何从知识库中快速准确的召回一小批相关的问题，本篇将继续介绍如何对这一小批问题进行精排，最终构建出answer返回给用户。 2021-02-27 NLP 智能问答 BERT
基于FAQ的智能问答(二):召回篇 背景基于FAQ的智能问答本质是一个信息检索的问题，所以可以简单划分成：召回+精排 两个步骤。召回的目标是从知识库中快速的召回一小批与query相关的候选集。所以召回模型的评价方法，主要侧重于响应时间和top@n的召回率两个方面。 本文将分享我们召回模型的逐步迭代过程，从最基础的“ES字面召回”到 “ES字面召回和向量召回”的双路召回模式。 2021-02-22 NLP 智能问答 BERT
基于FAQ的智能问答(一):Elasticsearch的调教 背景对话领域是当前最热门的一个NLP的方向之一，无论在学术界还是在工业界。由此衍生出来的产品包括通用形态的苹果siri，微软小冰，小米的小爱同学等，以及各个行业领域的智能助手，智能客服等。 这些产品基本可以看成下一代人机自然语言交互的雏形。 具体而言人机对话又可以拆分为以下几种形式： (1)FAQ-Bot: 基于常见问答对的问答，也是运用最为广泛的智能问答技术，可以认为是最朴素的一种对话。抽象出来 2021-02-07 NLP 智能问答 ES
uwsgi网络积压数扩增 前言生产环境遇到了并发产生的错误：服务在被调用的过程中超时。 排查后原因是flask+uwsgi部署方案中的请求积压队列大小默认只有100，所以如果短时间服务收到大量的请求并没来得及处理，积压的队列如果超过了100，后续的请求系统就不再响应了。 Note that a “listen backlog” of 100 connections doesn’t mean that your serve 2020-11-23 运维 部署
pandas笔记速查 检查空数据查看有空数据的行 1234# 指定列df[df['描述'].isna()# 任意列df[df.isna().any(axis=1)] 选取非空的数据 1234# 指定列df = df[df['描述'].notna()]# 任意列df.dropna() 删除某些列1df = df.drop(['col1','col2 2020-06-30 Python pandas