一，Transformers 术语 1.1，token、tokenization 和 tokenizer 1.2，input IDs 1.3，attention mask 1.4，eop_token、pad_token、bos_token、eos_token 1.5，decoder models 1.6，架构与参数 ...

本文正在参加「金石计划 . 瓜分6万现金大奖」 前言 计算机读懂语言，在如今已经不是什么新鲜的事情了，不过你有没有想过计算机是如何读懂人类语言的呢？ 自然语言处理 NLP 技术在当今变成了最具...

这是 AI 大底座系列云智公开课的第三期内容。前两期我的两位同事已经向大家介绍了高性能网络和 GPU 容器虚拟化的相关内容。今天我们把目光聚焦在存储方向，一起来看看面向大模型的存储加速方案...

基于无监督训练SimCSE+In-batch Negatives策略有监督训练的语义索引召回 语义索引（可通俗理解为向量索引）技术是搜索引擎、推荐系统、广告系统在召回阶段的核心技术之一。语义索引模型的目标是...

大语言模型的预训练[2]:GPT、GPT2、GPT3、GPT3.5、GPT4相关理论知识和模型实现、模型应用以及各个版本之间的区别详解 1.GPT 模型 1.1 GPT 模型简介 在自然语言处理问题中，可从互联网上下载大量...

文本情感分析综述 文本情感法分析的一般流程 原始数据获取（取得数据集或者网络爬虫）—>数据预处理（清洗去噪、分词、过滤等）—> 特征提取（依靠不同工具获得文本的数值向量表征“词频...

大语言模型的预训练[6]：思维链(Chain-of-thought，CoT)定义原理详解、Zero-shot CoT、Few-shot CoT 以及在LLM上应用 1.思维链定义 背景 在 2017-2019 年之间，随着 Transformer 模型的提出，计...

手把手教学构建农业知识图谱：农业领域的信息检索+智能问答，命名实体识别，关系抽取，实体关系查询 1.项目介绍： 效果展示： 目录结构： . ├── MyCrawler // scrapy爬虫项目路径(已爬好) │...

大语言模型的预训练[4]：指示学习Instruction Learning：Entailment-oriented、PLM oriented、human-oriented以及和Prompt Learning,In-content Learning区别 1.指示学习的定义 Instruction Lea...

?环境：macOS or Linux ?本文代码已开源： github.com/Conqueror71… Trafilature文本提取 目的：更有效地提取网页中的有用的内容，重点关注有意义的、结构化的文本，有助于模型更好地理解和生...

我正在参加「掘金·启航计划」 导语 随着像ChatGPT之类的大语言模型的迅速发展，NLP中许多的研究领域受到冲击，之前的一篇博客看看ChatGPT对Text-to-SQL任务的冲击介绍了清华大学团队使用ChatGP...

化学蒸馏实验 Knowledge Distill 蒸馏思想 知识蒸馏是一种模型压缩方法，通过引导轻量化的学生模型“模仿”性能更好、结构更复杂的的教学模型（教师模型），在不改变学生模型结构的情况下提高其...

近期，阿里云机器学习平台PAI主导的多篇论文在ACL 2023 Industry Track上入选。ACL是人工智能自然语言处理领域的顶级国际会议，聚焦于自然语言处理技术在各个应用场景的学术研究。该会议曾推动...

本文分享自华为云社区《TextBrewer：融合并改进了NLP和CV中的多种知识蒸馏技术、提供便捷快速的知识蒸馏框架、提升模型的推理速度，减少内存占用》，作者：汀丶。 TextBrewer是一个基于PyTorch...

大语言模型的预训练[3]之Prompt Learning：Prompt Engineering、Answer engineering、Multi-prompt learning、Training strategy详解 1.Prompt Learning 1.1 Prompt Learning 的出现背景 目前学...

合集 - DecryptPrompt(11)1.解密Prompt系列8. 无需训练让LLM支持超长输入:知识库 & unlimiformer & PCW & NBCE06-132.解密Prompt系列6. lora指令微调扣细节-请冷静,1个小时真不够~0...

我正在参加「掘金·启航计划」 导语 本文介绍了一种名为 RepoCoder 的仓库级代码完成框架，它通过利用仓库级信息，结合相似度检索器和预训练的代码语言模型，提高了代码完成的准确性和效率。同...

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等 1.N-Gram N-Gram是一种基于统计语言模型的...

使用自然语言查询 SQLite DB 的一个demo 关于 此存储库包含将 SQLite 查询与 OpenAI 的 GPT-3.5-turbo 语言模型相结合的代码。该代码允许用户通过类似聊天的界面使用自然语言查询与 SQLite 数据...

基于50W携程出行攻略构建事件图谱（含码源）：交通工具子图谱、订酒店吃饭事件图谱等 项目构成 本项目由两个部分的组成,具体包括语料的获取以及基于语料的事件挖掘两个部分,具体项目目录包括: n...