百科

大模型 · 万物互联 · 人工智能的结构化知识库。人人可阅读、可贡献、可追溯。

学科分类

最新收录

隐马尔可夫模型 技术

隐马尔可夫模型(HMM)用隐状态序列解释观测序列的生成过程,是语音识别、词性标注与生物序列分析的经典概率模型,三大问题:评估(前向)、解码(Viterbi)、学习(EM/Baum-Welch)。

序列到序列 技术

序列到序列(Seq2Seq)用「编码器-解码器」把输入序列映射为输出序列,是机器翻译、摘要、对话等生成任务的通用框架,2014 年提出,2017 年后以 Transformer 为底座。

GloVe 技术

GloVe 是斯坦福 2014 年提出的词嵌入模型,通过分解词-词共现矩阵的全局统计学习向量,兼顾全局统计与局部预测,与 Word2Vec 并列为经典词嵌入方法。

Word2Vec 技术

Word2Vec 是 Google 2013 年提出的词嵌入方法,含 CBOW 与 Skip-gram 两种预测式模型,用「相邻词预测」学习词向量,开创了深度 NLP 时代。

词嵌入 技术

词嵌入把词映射为稠密低维向量,使语义相近的词距离相近,Word2Vec、GloVe 与 FastText 是经典方法,2013 年词嵌入引发的「神经革命」是现代 NLP 的基础。

关系抽取 技术

关系抽取识别文本中实体对之间的语义关系(如「马云创立了阿里巴巴」→(马云, 创始人, 阿里巴巴)),是知识图谱构建的核心,方法从特征/管道式到联合抽取与生成式。

信息抽取 技术

信息抽取(IE)从非结构化文本中提取结构化信息,涵盖实体识别、关系抽取、事件抽取与属性抽取,是知识图谱构建的核心环节,现代方法转向统一生成式抽取(UIE)。

阅读理解 技术

机器阅读理解(MRC)要求模型阅读文档后回答问题,是检验「理解」的核心任务,SQuAD、RACE、DuReader(中文)等基准推动模型在篇章级推理上持续进步。

语义角色标注 技术

语义角色标注(SRL)识别句子中谓词及其语义论元(施事、受事、时间、地点等),是「浅层语义理解」任务,方法从特征工程到 BiLSTM/Transformer,基准为 CoNLL-2005/2012。

语言模型 概念

语言模型建模文本序列的概率分布 P(w1..wn),核心任务是「根据上文预测下一个词」,从 N-gram 演进到神经网络与大规模预训练,是机器翻译、对话与生成系统的基础。

经验风险最小化 概念

经验风险最小化(ERM)用训练集平均损失近似期望风险并求最小,是监督学习的理论基础,梯度下降与交叉熵等即其工程实现;但 ERM 会过拟合,需正则与验证集选择。

少样本学习 概念

少样本学习研究在极少量标注样本(每类 1-5 个)下学会新任务,覆盖度量学习(原型网络)、元学习(MAML)与大模型上下文学习三种路线。

规模定律 概念

规模定律描述大模型性能随参数量、数据量与算力的幂律提升关系:损失 L∝(N^-α, D^-β, C^-γ),是「大力出奇迹」的经验依据,指导模型与数据规模的联合设计。

泛化 概念

泛化指模型对未见过数据(而非仅训练数据)的预测能力,是机器学习成功与否的最终判据,过拟合即泛化失败;理论上有 PAC 学习与 Rademacher 复杂度等分析框架。

偏差方差权衡 概念

偏差-方差权衡描述模型误差=偏差²+方差+噪声:偏差高则欠拟合,方差高则过拟合,模型复杂度选择即在此间平衡,是理解机器学习泛化的核心框架。

A

B

C

D

E

F

G

H

I

J

K

L

M

N

O

P

Q

R

S

T

U

V

W

X

Y

Z

#

0.1293s