大模型的认知
一、什么是AI(Artificial Intelligence)?
1.人工智能发展史:从计算智能到生成式AI
- 1946年,第一台通用计算机诞生,奠定计算智能的硬件基础。
- 1997年,IBM深蓝战胜国际象棋世界冠军,符号主义AI打到技术巅峰。
- 2010年代,语音识别、图像识别技术成熟落地,AI全面进入大众日常生活。
- 2016年,AlphaGo战胜围棋世界冠军,深度学习技术实现里程碑式突破。
- 2022年11月,ChatGPT发布,生成式AI迎来全球范围的爆发式普及。
2.AI技术发展关键节点
1950年代:早期AI萌芽
基于模板与人工规划的AI系统诞生,仅能处理少量特定场景数据,能力完全依赖人工编写的规则边界。
1980年代:传统机器学习阶段
前深度学习时代,以支持向量机、决策树等经典机器学习算法为主,依赖人工特征工程。
2017年:Transformer架构发布
Google发表论文《Attention is All You Need》,提出Transformer架构,成为自然语言处理(NLP)领域的革命性技术底座。
2018-2020年:大模型规模化爆发
GPT系列从GPT-1迭代至GPT-3,参数规模从亿级跃升至千亿级,首次验证了大模型的少样本学习能力。
进行海量数据学习训练,人类的反馈信息成为模型学习的内容。
2022年:生成式AI全民普及
InstructGPT引入人类反馈强化学习(RLHF),ChatGPT正式发布,凭借自然流畅的对话能力引爆全球生成式AI热潮。
2023年:多模态与国产崛起
GPT-4发布,大幅强化逻辑推理与多模态能力;国内通义千问、文心一言、DeepSeek等国产大模型密集落地,产业生态快速完善。
二、大模型的定义
大模型全称大语言模型(Large Language Model,LLM),是基于深度学习与自然语言处理技术的AI模型。
它通过对海量文本数据进行预训练,学习人类语言的语法、语义、逻辑与知识规律,从而具备强大的语言理解、内容生成与逻辑推理能力。
说明: 基座大模型≠AI对话产品
GPT是模型,ChatGPT是产品。
deepseek-v4-pro、deepseek-v4-flash、deepseek-chat(于2026年07月24日弃用)、deepseek-reasoner(于2026年07月24日弃用)是模型,DeepSeek是产品。
1.大模型的完整训练流程
LLM训练与迭代流程:从数据到智能助手
阶段1:预训练(Pre-training)
使用海量文本数据(书籍、网页、文献等)进行无监督训练,学习语言的统计规律、常识知识与基础逻辑。
阶段2:监督微调(SFT,Supervised Fine Tuning)
使用高质量的人类标注对话数据、垂直领域专业数据,对基座模型进行小规模微调。
阶段3:人类反馈强化学习(RLHF)
针对同一问题让模型生成多个回答,由人类标注员进行排序打分;基于打分数据训练奖励模型,再通过强化学习算法优化大模型,让输出更贴合人类偏好。
2.大模型如何生成内容
2.1 简单来说就是靠”猜“!
大模型生成内容的核心逻辑是基于上下文预测下一个词的概率,本质是”概率填写游戏“,而非真正”理解“语义。
2.2 略深一点的通俗原理
- 大模型阅读了人类曾说过的所有的话。这就是机器学习,这个过程叫训练。
- 把一串token后面跟着的不同token的概率记下来。记下的就是参数,也叫权重。
- 当我们给他若干token,大模型就能算出概率最高的下一个token是什么。这就是生成,也叫推理。
- 用生成的token,再加上上文,就能继续生成下一个token。以此类推,生成更多文字。
2.2.1 Token是什么?
Token是大语言模型处理文本的最小信息单元,他不是固定的”一个字“或”一个词“,而是基于语料统计的最优分词结果。
2.2.2 Token对我们有哪些影响
- 上下文窗口限制:每个大模型都有最大Token数(即上下文窗口),代表一次会话中模型能记住的所有输入+输出的总长度。超出限制后,模型会遗忘更早的对话内容。
- 计费依据:大模型API通常按Token数量计费,输入与输出Token分别计价。
支持与分享
如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!












