上下文窗口（context window）是指语言模型在进行预测或生成文本时，所考虑的前一个词元（token）或文本片段的大小范围。 在语言模型中，上下文窗口对于理解和生成与特定上下文相关的文本至关重...

? 我的环境： 语言环境：Python3.10.11 编译器：Jupyter Notebook 深度学习框架：TensorFlow2.4.1 显卡（GPU）：NVIDIA GeForce RTX 4070 ? 相关教程： 编译器教程：【新手入门深度学习 | 1-2：...

一、 科研数据集# 下载链接： https://pytorch.org/vision/stable/index.html 本文中我们使用的是CIFAR数据集 二、CIFAR10数据集详解# 具体网站： CIFAR10 — Torchvision 0.15 documentation 1...

一、 torch.nn中Pool layers的介绍# 官网链接： https://pytorch.org/docs/stable/nn.html#pooling-layers 1. nn.MaxPool2d介绍# nn.MaxPool2d是在进行图像处理时，Pool layers最常用的函数 官...

本文为稀土掘金技术社区首发签约文章，30天内禁止转载，30天后未获授权禁止转载，侵权必究！ ?作者简介：秃头小苏，致力于用最通俗的语言描述问题 ?专栏推荐：深度学习网络原理与实战 ?近期目标...

深度学习应用篇-推荐系统[12]：经典模型-DeepFM模型、DSSM模型召回排序策略以及和其他模型对比 1.DeepFM模型 1.1.模型简介 CTR预估是目前推荐系统的核心技术，其目标是预估用户点击推荐内容的概...

开源库地址 roop 软件运行截图 效果图 安装 clone 代码到本地 git clone https://github.com/s0md3v/roop.git 创建 python 虚拟环境并激活 python -m venv .venv .venv\Scripts\activate 安装依...

本章内容包括：  超参数及其重要性  两种常见的超参数优化方法（HPO）  设计一个HPO服务  三个流行的HPO库：Hyperopt、Optuna和Ray Tune 在前两章中，我们了解了模型的训练方式：一个训...

人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised Fine-Tuning）监督微调是指...

本文为稀土掘金技术社区首发签约文章，30天内禁止转载，30天后未获授权禁止转载，侵权必究! beginning     一提到深度神经网络，大家脑海中第一个浮现的无疑是卷积神经网络（Convolutional Ne...

编者按：今年以来，大语言模型(LLM)已被广泛应用于各种自然语言处理任务，也越来越多地被用于构建复杂的语言应用。但是构建多任务的 LLM 应用仍面临一定的挑战，需要解决任务组合和调控等问题。...

深度学习应用篇-计算机视觉-图像分类[2]：LeNet、AlexNet、VGG、GoogleNet、DarkNet模型结构、实现、模型特点详细介绍 1.LeNet（1998） LeNet是最早的卷积神经网络之一[1]，其被提出用于识别手...

在GPT模型中，tokenization（词元化）指的是将用户输入的文本分割成token（词元）的过程，以让GPT能更好地理解输入文本的词义、句法和语义，以及生成更连贯的输出内容。这是非常重要的预处理操...

强化学习从基础到进阶-案例与实践[4.1]：深度Q网络-DQN项目实战CartPole-v0 1、定义算法 相比于Q learning，DQN本质上是为了适应更为复杂的环境，并且经过不断的改良迭代，到了Nature DQN（即Vo...

我正在参加「掘金·启航计划」 导语 这个工作的整体思路比较简洁，可以认为就是将之前一篇论文（WizardLM）中提出的Evol-instruct的思想应用到了Code LLM领域（之前是通用领域），整体论文方法...

论文： Going deeper with Image Transformers 代码： Deit 前言   近些天综合看CNN 领域内的文章以及VIT领域内的文章，在比对这两大类模型设计的特点时有一篇文章提醒到我了，它与CNN领域内...

本文为稀土掘金技术社区首发签约文章，30天内禁止转载，30天后未获授权禁止转载，侵权必究! beginning     之前在十二大深度神经网络中给盆友们简单介绍了GAN网络大家族。其中，CycleGAN算是...

一、正则化层中nn.BatchNorm2d简介# 主要作用：对输入函数采用正则化。正则化的主要作用是加快神经网络的训练速度。 Copyclass torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, a...