本文分享自华为云社区《【技术分享】什么是Token?为什么GPT基于Token定价》,作者:开天aPaaS小助手Tracy。
在使用LLM大模型时,我们经常会遇到一个关键词,叫:Token。
比如:
最新版 GPT-4 Turbo 模型最高支持 128k token 上下文;
曾经 GPT 最强对手 Claude-2.1 支持最高 200K token 上下文;
在 GPT 商店创建角色时,核心 Prompt 最高支持 8000 token。
1. 什么是 Token?
GPT不是直接做的“字符”的计算,而是将字符变成一个数字,也就是变成了 token 来处理。
所以Token通常指的是:文本中可以被视为一个单独单位的元素,比如单词、数字或符号。
比如:我们文章经常用到的开篇问候,“大家好,我是运营黑客。”
其中每个词、标点“大家”、“好”、“我”、“是”、“运营黑客”,以及中间出现的“,”和“。”,都可以被视作一个 Token。
对于文本类生成式AI来说,“Token”扮演着至关重要的角色。我们跟 ChatGPT 对话时,它通常分两步走:
第一步:将输入的内容分解成一个个 Token;
第二步:结合这些 Token 生成回应。
2.GPT如何计算token数?
了解Token含义后,就很容易的明白token计费逻辑。
GPT token 的计算包含两部分。输入给 GPT 模型的 token 数和 GPT 模型生成文本的 token 数。
例如,你提问耗费了 100 token,GPT 根据你的输入,生成文本(也就是回答)了 200 token,那么一共消费的 token 数就是 300 。
在实际定价的过程中,因输入和输出token所带来的成本差异,所以会区分定价。
包含GPT在内的几乎所有的LLM的API都采用了Token计费模式:
例1:
例2:
例3:
基于Token计费模式,第一符合产品对象增量属性;第二符合边际成本的增量属性;对开发者来说是最容易接受和理解的一种模式。
参考链接:
https://www.zhihu.com/question/594159910/answer/3356500890
https://www.zhihu.com/question/594159910/answer/2972923596
https://3ms.huawei.com/km/groups/3664365/blogs/details/13643749
1.本站内容仅供参考,不作为任何法律依据。用户在使用本站内容时,应自行判断其真实性、准确性和完整性,并承担相应风险。
2.本站部分内容来源于互联网,仅用于交流学习研究知识,若侵犯了您的合法权益,请及时邮件或站内私信与本站联系,我们将尽快予以处理。
3.本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
4.根据《计算机软件保护条例》第十七条规定“为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬。”您需知晓本站所有内容资源均来源于网络,仅供用户交流学习与研究使用,版权归属原版权方所有,版权争议与本站无关,用户本人下载后不能用作商业或非法用途,需在24个小时之内从您的电脑中彻底删除上述内容,否则后果均由用户承担责任;如果您访问和下载此文件,表示您同意只将此文件用于参考、学习而非其他用途,否则一切后果请您自行承担,如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。
5.本站是非经营性个人站点,所有软件信息均来自网络,所有资源仅供学习参考研究目的,并不贩卖软件,不存在任何商业目的及用途
暂无评论内容