百度智能云技术站

其他

百度智能云向量数据库创新和应用实践分享

预处理主要的步骤是意图识别、同义词生成、专有名词生成等。召回主要就是向量数据库的工作,要支持向量检索、文本检索、多路召回能力、召回之后重排技术。最后是生成阶段。检索出来的结果在给大模型之前,还要
9月5日 下午 6:19
其他

大模型时代数据底座,百度智能云数据库 DTCC 2024 精彩汇总

极致成本与复杂查询加速技术实践随着云计算的不断深入发展,云数据库呈现云原生化的发展趋势。在「云原生数据库开发与实践」专场中,百度智能云云原生数据库负责人邱学达分享了《云原生数据库
8月28日 上午 11:52
其他

90 分钟带你玩转知识库应用

企业内部积累了大量有价值的文档,如何将这些文档中的知识精准应用到业务发展中来,充分发挥这些文档的价值?客服中心一直不懈追求能够为客户提供最及时准确的答复,如何能够紧随业务的速度发展,及时更新技术知识?百度智能云
8月15日 下午 7:05
其他

无需业务改造,一套数据库满足 OLTP 和 OLAP,GaiaDB 发布并行查询能力

并行查询技术的整体实现思想是对能够并行的查询算子(scan、gather等)进行并行化,在执行查询任务时将数据分片并启动若干个工作线程分别计算,最后将结果汇总返回给客户端。同时
7月17日 下午 5:45
其他

大模型时代数据库技术创新

预处理主要的步骤是意图识别,同义词生成,专有名词生成等。召回主要就是向量数据库的工作,要支持向量检索,文本检索,多路召回能力,召回之后重排技术。最后是生成阶段。检索出来的结果在给大模型之前,还要
6月21日 下午 3:23
其他

低代码组件扩展方案在复杂业务场景下的设计与实践

组件是爱速搭的前端页面可视化模块的核心能力之一,它将前端研发人员从无休止的页面样式微调和分辨率兼容工作中解放了出来。目前,爱速搭通过内置的上百种功能组件(120+),基本可以覆盖大部分中后台页面的可视化设计场景。组件的相关的设计理念和实现细节我们可以在前文面向复杂业务场景下的低代码平台组件设计与实践分享中看到。实际开发的过程中,前端研发人员往往会面临大量定制
6月4日 上午 11:30
其他

如何从 0 到 1 研发一款专用向量数据库产品?

体系、内存表、快照、Compaction、查询优化、异常恢复等等这些引擎层面的关键特性,这就需要我们自己在此基础上继续进行研发。面对这样的挑战,第一步,我们快速借调了一些比较懂
5月27日 下午 12:42
其他

大模型驱动的新一代 BI 平台,Sugar BI 开启智慧决策新模式

也支持数据查询完之后的二次表计算,甚至支持了特定场景下的一些特殊的计算,如留存分析、交叉透视、监控预警计算等,满足您在不同场景下各类数据计算的需求。另外,在跨越多数据源的联邦查询场景中,Sugar
5月8日 上午 11:30
其他

云原生数据库下一站:像 MySQL 一样流行,让更多人受益于新技术的发展

等。这使得用户可以保留已有的使用习惯和相关技术栈,让大量的开发者和业务可以快速迁移到云原生数据库,降低技术门槛、迁移门槛和学习门槛。简化技术栈体系可以让用户更低门槛的使用。例如通过
3月28日 下午 5:25
其他

不再等待直接上答案,百度智能云推出数据库 Copilot

Copilot:智能领航员。智能领航员基于百度文心大模型构建,内置了各类高质量的数据库知识,包括云数据库帮助文档、数据库权威官方文档、百度多年来内部积累的数据库运维知识库等,能够覆盖云上
3月22日 上午 11:19
其他

百度智能云千帆,产业创新新引擎

等渠道。这里也特别说一下百度灵境矩阵,此次与灵境矩阵的打通,应用将有机会在百度强大的搜索场景中轻松实现分发和挂载,同时也能融入百度的信息流场景,吸引更多潜在用户的目光。下面,我们就来看一个从
3月21日 下午 7:39
其他

百度智能云加速「低代码+大模型」融合,爱速搭位居 2023 年 IDC 低代码/无代码领导者象限

与爱速搭中的关键设计向量检索在大模型应用场景的技术和实践低代码平台的流程引擎设计指南低代码平台中的数据连接方式(上)低代码平台中的数据连接方式(下)
3月15日 下午 4:09
其他

数据库运维工作量直接减少 50%,基于大模型构建智能问答系统的技术分享

本文源自百度智能云数据库运维团队的实践,深入探讨了基于大模型构建「知识库智能问答系统」的设计过程和应用。全文包括了总体的技术方案选型、各个模块的设计实现、重点难点问题的突破、以及目前的落地场景应用等。该系统自从内部上线以来,整体的回答准确率达到
1月31日 上午 11:30
自由知乎 自由微博
其他

云上业务一键性能调优,应用程序性能诊断工具 Btune 上线

容器虚拟化新能力发布和全场景实践面向大模型的存储加速方案设计和实践向量检索在大模型应用场景的技术和实践大模型时代的异构计算平台高性能网络建设指南,《智算中心网络架构白皮书》开放下载
1月24日 上午 11:30
其他

如何实现一个百万亿规模的时序数据库,百度智能云 BTS 架构解析和实践分享

无人车自动训练是其中一个重要的场景。在此场景下,需要进行模型训练、仿真,按需获取多维度环境数据。这种类型的数具备如下特征:车端数据具有多源,包括位置数据、雷达数据、影像数据、红外数据等。单车单天
1月16日 上午 11:06
其他

AI 原生时代的云计算

可构建公有云延伸区域,为区域算力集群或产业基地提供强有力的架构支持,为传统行业数字化转型提供具备可信、弹性、易用特点的公有云路径。在分别介绍完云基础设施和智算基础设施后,我们再来看看上层的应用平台自
2023年12月26日
其他

大模型重构云计算

高性能网络的设计与实践高性能网络建设指南,《智算中心网络架构白皮书》开放下载面向大模型的存储加速方案设计和实践向量检索在大模型应用场景的技术和实践高性能和多级高可用,云原生数据库
2023年12月22日
其他

一站式数据库上云迁移、同步与集成平台 DTS 的设计实践

支持了该客户的数据库上云迁移和多活同步的需求。该客户的业务痛点主要包括三个方面:迁移规模大:在线服务数据库(MySQL/Redis/MongoDB)中,涉及到上百条业务线的
2023年12月12日
其他

分布式数据库 GaiaDB-X 金融应用实践

0。在具体执行上,监管的要求也越来越严格,比如同城双活,之前是只需要具备相关的技术方案即可,但现在每年人行的监管都会直接到现场,要求做机房级实战故障切换。第四是运维能力。系统下移到通用服务器并实现去
2023年12月4日
其他

高性能和多级高可用,云原生数据库 GaiaDB 架构设计解析

逐渐接入了手百、贴吧、文库等多个核心产品线,解决了业务在跨地域场景下的延迟与性能痛点。随着业务的逐渐上云,多可用区高可用的需求慢慢凸显,如何实现单机房故障不影响服务成为了很多业务上云的关注点。为此
2023年11月27日
其他

从互联网到云计算再到 AI 原生,百度智能云数据库的演进

模块的自适应就近访问策略可以感知元数据的变化,并根据这些变化及时切换访问路线。这种策略可以有效地应对各种故障和异常情况,确保数据的可靠性和可用性。第五个是使用通用硬件,对硬件要求低。GaiaDB
2023年11月20日
其他

从 MLOps 到 LMOps 的关键技术嬗变

等参数量较低,效果一般的模型会彻底沉寂。同时闭源模型会主攻多模态或更加智能的方向。行业大模型也会是一个短期繁荣的景象。未来新一代超强模型会覆盖行业大模型的能力,从而抑制其发展势头。标志性事件就是
2023年11月15日
其他

全新系列云智公开课 11 月上线,4 期数据库专题分享

作为计算机系统的三大核心基础软件之一,数据库技术的发展一直备受关注。随着云计算技术的发展,能够适合更大规模业务场景,有着高可用性、可扩展性和低成本等优势的云原生和分布式数据库逐渐成为主流。同时,AI
2023年11月9日
其他

大模型加持, SmartTerm 让服务器运维变简单

-我们相信,智能化将成为未来运维工作的重要特性,帮助运维同学从复杂的命令交互中解脱出来,提升业务全生命周期运维工作的效率。随着文心系列大模型能力的不断增强,云服务器智能管理终端工具
2023年11月2日
其他

BES 在大规模向量数据库场景的探索和实践

构图过程,每插入一个点需要检索计算,插入大量的点也是一笔很大的计算开销,因此导入数据会很慢,导致前台阻塞。因此我们将向量索引构建改造成后台异步构建的机制,数据写入落盘之后就可以直接返回;然后后台通过
2023年11月1日
其他

都说视频智能分析落地难,但是这次有了大模型!

视觉进行视频智能分析已经变得随处可见。在每一家零售门店,每一条生产流水线,每一处建筑工地,每一个港口码头……都能见到摄像头的身影。同时,每一位勇于创新的技术负责人正在尝试将更多业务引入
2023年10月25日
其他

云计算进入 AI 原生时代

写入进行异步写入。前向和反向计算阶段,可以采用跟推理阶段相同的计算优化方法,同时针对显存也有一些重计算和分组参数切片的方式来降低模型对显存容量的要求。梯度同步阶段,可以通过降低通信频率,让计算和通信
2023年10月18日
其他

《AI 大底座价值实现白皮书》开放下载,人工智能基础设施助力数字经济高质量发展

技术能力,通过实现自动化生产帮助地方经济产业释放更多劳动力。同时依托强示范效应,可以在行业内进行单点迭代,进而快速复制到整个区域产业,帮助地方经济实现整体的提质增效,提升区域的产业效力。第二,AI
2023年10月10日
其他

从研发域到量产域的自动驾驶工具链探索与实践

多个自动驾驶数据挖掘模型,完成上亿帧数据的高效处理,实现数据的价值提升和转化。第三个是数据标注。对自动驾驶的研发训练而言,高质量和大数量的数据集获取,在传统条件下一般是人工逐帧标注。百度自主研发的
2023年9月26日
其他

云智一体,构建汽车智能驾驶解决方案

倍以上。同时通过软硬一体的协同优化,能更好地发挥出集群的能力,提高模型迭代的速度。除此之外,很多车企研发模型的时候存在一些芯片在环的仿真需求和相关场景,百度智能云在云上支持了多款车载芯片的仿真方案。
2023年9月21日
其他

百度智能云千帆大模型平台 2.0 产品技术解析

年特斯拉发明了交流电发电机。交流电发电机使得电力传输的效率更高,因此能够被传输的更远,随着交流电的普及,大大加速了第二次工业革命的进程。最后一个问题,世界上第一台计算机叫什么?ENAIC,1946
2023年9月20日
其他

22H2 中国边缘公有云服务市场 Top2,百度智能云构建让智算无处不在的分布式云

云桌面服务,帮助客户将办公软件下沉到边缘云桌面,实现了工业设计的就近处理,保证并提高工业设计场景的办公效率,为客户提供弹性、高性价比的桌面资源。3.3
2023年9月18日
其他

百度智能云引领建设智能云标准生态,第十二届云计算标准和应用大会成功召开

普惠的到来。将智能云的各个参与方联合起来建立起标准生态,围绕行业发展和市场需求,研究智能云建设方法,制定相应评估标准,并推动标准化的落地。最终,通过行业共建的力量,实现智能云产业的不断进步。2
2023年9月14日
其他

大模型时代的 AI 原生云

真正走进实用时代。利用大模型的能力,百度智能云数据库发布新服务:数据库智能驾驶舱。数据库智能驾驶舱利用大模型能力实现数据库智能化的洞察、评估和优化。相比传统的机器学习的算法,在洞察、评估和
2023年9月8日
其他

大模型驱动云计算创新变革

原生云的产品全景图,大家可以看到我分享的内容只是其中一小部分,更多的产品分享会在下午的《智能计算&大模型技术》分论坛,欢迎大家到时莅临我们分论坛现场。7
2023年9月7日
其他

云磁带库存储架构的设计与实践

会周期性地,或在一个合适的时候,通知业务方所有的取回任务的进展;第八步,当业务方发现某个任务的目标数据已经完全准备好之后,就会启动一个/一批常规的从磁盘池读取数据过程;最后进入第九步,Aries
2023年9月4日
其他

百亿级向量检索的向量数据库是如何构建的?

这种就可以支持很多向量数据库类型,如果我要做数据的增删改查,单纯的向量引擎是搞不定的,但在数据库上加入向量的能力就可以搞定这个事情了。所以,单从场景和功能出发,我觉得在传统的数据库,或者是一些
2023年8月31日
其他

大规模块存储 EC 系统构建

倍。但是,纠删码也有自己缺点。多副本将数据无修改地复制到另外节点,不需要计算参与,数据恢复则是将数据重新复制一遍,方法比较简单。而纠删码则涉及到编码和解码,除了计算以外,编码和解码同样会带来额外的
2023年8月22日
其他

LMOps 工具链与千帆大模型平台

文字整理:蒋昕最近大模型特别是大语言模型引起了全社会的广泛关注,大模型到底在技术上带来了哪些变化和挑战?要掌握哪些关键的技术企业才能够驾驭大模型?百度智能云在这方面又能提供了哪些专业的产品?今天的课程内容会包含四个方面:人工智能的发展路径;LMOps
2023年8月8日
其他

千帆大模型平台最新升级:接入 Llama 2 等 33 个模型!

Tuning、LoRA)及强化学习(奖励模型学习、强化学习训练)等,同一模型可通过多种方式持续调优。此外,千帆大模型平台还支持数据回流功能,可在实际生产过程中持续微调,提升模型效果。上线国内最全
2023年8月4日
其他

高性能网络建设指南,《智算中心网络架构白皮书》开放下载

高性能网络的设计与实践⻜桨⼤模型推理部署⾼性能优化飞桨大模型分布式训练技术向量检索在大模型应用场景的技术和实践面向大模型的存储加速方案设计和实践GPU
2023年8月2日
其他

⻜桨⼤模型推理部署⾼性能优化

的空位中继续生成,从而实现生成过程中的并发度提升,实现更大的并发和吞吐。以上介绍了生成式大模型的常用推理时延、吞吐优化方法,下表是对各优化方法的优化目标和使用场景的总结。3.
2023年7月31日
其他

飞桨大模型分布式训练技术

今天我为大家介绍飞桨大模型分布式训练技术,内容分为以下几个部分:首先,我会介绍大模型训练面临的重点难题;然后,为大家介绍飞桨在大模型训练领域的特色分布式训练技术和优化方案;最后,伴随着代码示例和大模型套件,为大家展示如何使用飞桨框架训练大模型。1.
2023年7月24日
其他

Sugar BI:大模型时代的智能 BI

工程,快速应用编排等能力,为企业提供包括文心一言在内的大模型服务以及第三方大模型的完整工具链及整套环境,让企业和开发者以最简单的方式用上大模型、用好大模型。第四层是芯片层。在这一层中,百度有自研的
2023年7月21日
其他

向量检索在大模型应用场景的技术和实践

向量检索工程实践百度的大模型场景跟业界通用的大模型应用场景类似,主要也是用向量检索技术来做增强知识和提示词工程。在百度的大模型场景里,向量检索技术会面对一个实际的大规模的工程挑战。百度智能云在
2023年7月17日
其他

面向大模型的存储加速方案设计和实践

兼容性、可靠性和可共享等方面。第三是模型训练。真正做过大模型训练的朋友一定深有体会,每分每秒都是经费在燃烧。所以时间就是金钱,拒绝等待,拒绝失败。这里的主要场景,一是训练数据的读取,二是为了容错做的
2023年7月10日
其他

GPU 容器虚拟化新能力发布和全场景实践

容器虚拟化架构,采用了「用户态」和「内核态」两种引擎,以满足用户对隔离性、性能、效率等多方面不同侧重的需求。在隔离引擎之上是资源池化层,该层次主要基于远程调用实现资源的解耦和池化。在资源池化层之上是
2023年6月29日
其他

数据湖系列之三 | 打造高性能云原生数据湖,层级 namespace 对象存储加速大数据计算

对于读扩容的场景可以简单地通过增加从节点数量的方式来线性地提升服务处理读请求的能力。当发现用户的读请求数量超过一定阈值之后,就会主动扩容副本数,提升系统的读并发能力。不仅如此,我们对于每个用户的读
2023年6月27日
其他

大规模 AI 高性能网络的设计与实践

Allreduce,通信的数据量规模和模型参数规模成正比,对于千亿规模参数的大模型来说数据通信量都是很大的。第二种并行策略就是流水线并行。神经网络模型通常都是多层神经元的组合,包括大模型底层的
2023年6月21日
其他

百度智能云技术委员会主席王耀受邀担任 QCon 联席主席并将发表主题演讲

的采访,分享了百度智能云各个阶段的技术发展历程、整个产业的趋势,以及对于大模型带来的开发新范式、云智一体融合的思考,敬请期待后续的文章。值得一提的是,为向业界呈现大模型时代的
2023年6月8日