07.大模型知识整理

大模型收费模式

• ChatGPT的计费方式 (opens new window)
• tokenizer (opens new window)

Prompot

• 提示工程 (opens new window)
• 提示工程指南 (opens new window)

引用

• 大模型实践总结 (opens new window)
• 优化故事: BLOOM 模型推理 (opens new window)
• Awesome-ChatGPT (opens new window)
• Falcon-40B：截止目前最强大的开源大语言模型，超越MetaAI的LLaMA-65B的开源大语言模型 (opens new window)
• ChatGLM-6B 部署与 P-Tuning 微调实战 (opens new window)
• 大语言模型系列—预训练数据集及其清洗框架 (opens new window)
• 得物大模型平台，业务效果提升实践 (opens new window)

Github优秀仓库

• 🌈 通往 AGI 之路 (opens new window)

大模型思考

• 关于ChatGPT的五个最重要问题 (opens new window)

几个思考点：

1. ChatGPT的范式突破是“乌鸦”能力。恕能力所限，无法更简单地无损表达这一能力的本质了。如果允许有损，我会用“理解”能力来概括它最重要的一面。作为对比，过往ML的能力模式是“鹦鹉”能力，所做的是寻找“对应关系”。
2. ChatGPT的意义是目前人类对“调用算力和数据”的究极手段，预测会在两年内有能力辅助人类，高效率完成多数可被定义为“搬砖”的工作。
3. ChatGPT的“乌鸦”能力是涌现的，工程难度是极高的。我们应该抛弃各种噪音，聚焦关注Google是否能复现这一能力，从而判定这一能力到底有多难。而现在，建议我们的默认预测是这一能力很难复现，需要别人来用强力证据说服我们他们能复现。
4. 我们对ChatGPT的使用应该观望OpenAI给我们提供的调用方式，在当下，我们应该（1）用好ChatGPT，做好ChatGPT的项目经理；（2） 学会通过自然语言调用ChatGPT；（3）寻找做好ChatGPT能力与我们所需要解决问题的的中间层的机会

• 大模型+搜索构建完整技术栈，百川智能用搜索增强给企业定制化下了一剂 (opens new window)

几个思考点

1. 自研大模型对用户意图理解进行微调。对用户输入的prompt进行微调，可以是提示词更有效
2. Self-Critique 大模型自省技术，让大模型基于 Prompt、从相关性和可用性等角度对检索回来的内容自省，进行二次查看，从中筛选出与 Prompt 最匹配、最优质的候选内容，让材料的知识密度和广度更上一个台阶，还能降低检索结果中的知识噪声。