• AI编程
  • AI应用开发
  • AI大世界
  • Flink
  • Doris
  • SeaTunnel
  • 数据分析
  • Dolphinscheduler
  • StarRocks
  • 车联网
  • PowerData
  • 用户画像
  • Kafka
  • Dinky
  • Hive
  • Agile Query
  • 有趣的开源集市
  • Hadoop
  • Streampark
  • Gravitino
  • Linux
  • 数据仓库/中台
  • 数据治理
  • Paimon
  • Clickhouse
  • MySQL
  • Docker
  • 新零售
  • Spark
  • Web前端
  • Atlas
  • Kubernetes
  • Java
  • Hudi
  • Python开发
  • 嵌入式开发
  • 智能制造
  • Calcite
  • Drools
  • 物理围栏
  • 数据平台架构
  • 金融
  • 规则系统
  • Dbeaver
  • Elasticsearch
  • Nifi
  • Git
  • Linkis
  • Ambari
  • Kettle
  • Redis
  • Datart
  • Hbase
  • MongoDB
  • Zookeeper
  • SQLLineage
  • Celeborn
  • Ranger
  • 游戏
  • Datax
  • Gradle
  • Iceberg
  • Druid
  • OpenMetadata
  • 数据结构和算法
  • Canal
  • maven
  • 指标中台
  • Kyuubi
  • HiDataPlus
  • MQTT
  • Amoro
  • 数据湖
  • FineReport
  • 物流
  • Superset
  • DataHub
  • Griffin
  • Debezium
  • MinIo
  • Zabbix
  • Tidb
  • Airflow
  • 数智化
  • StreamSets
  • Flume
  • 小阳杂说
  • Azkaban
  • Kudu
  • Sqoop
  • Tez
  • Beam
  • Telegraf
  • Oracle
  • Zeppelin
  • Nmon
  • Kylin
  • Prometheus
  • Davinci
  • Maxwell
  • Sentry
  • Storm
  • 大数据启示录
  • Phoenix
  • Filebeat
  • Pulsar
  • Impala
  • Hue
  • Svn
  • Presto
  • Oozie
  • Cassandra
  • Grafana
  • Greenplum
  • 雷达视频设备应用
  • InfluxDB
  • Bigtop
  • 巨人肩膀
  • Golang
  • 提示词工程
  • 网络安全
  • 数智领航
  • 书籍共享
  • asdasd
  • 动力电池
  • d3ed4
  • 测试私密home显示
  • dasdas55555
  • SFF
无匹配社区

博客园

请选择社区

如何应对开源组件⻛险?软件成分安全分析(SCA)能力的建设与演进

随着 DevSecOps 概念的推广,以及云原生安全概念的快速普及,研发安全和操作环境安全现在已经变成了近几年非常热的词汇。目前,在系统研发的过程中,开源组件引入的比例越来越高,所以在开源软件治理层面安全部门需要投入更多的精力。但由于早期技术债的问题,很多企业内部在整个研发流程中对使用了哪些开源组件、这些开源组件可能存在哪些严重的安全隐患等相关的问题,几乎是没有任何能力去进行收敛,多年前的 SCA(Software Composition Analysis 软件成分分析)技术又重出江湖,变成该领域⻛险治理的一个“神器”。本文主要探讨如何利用 SCA 技术实现对开源组件⻛险治理相关能力的建设与落地,希望给大家以启发或者帮助。
头像
忆往昔 发布于 2024年01月03日

美团外卖广告智能算力的探索与实践(二)

在深度学习时代,算力的需求和消耗日益增长,如何降低算力成本,提高算力效率,逐渐成为一个重要的新课题。智能算力旨在对流量算力进行精细化和个性化分配,从而实现系统算力约束下的业务收益最大化。本文主要介绍了美团外卖广告智能算力从线性规划算法到进化算法的技术演进过程,给出了一种基于进化算法的多动作算力分配方案,希望能给大家带来一些帮助或者启发。
头像
忆往昔 发布于 2024年01月03日
13浏览

Linux下跨语言调用C++实践

不同的开发语言适合不同的领域,例如Python适合做数据分析,C++适合做系统的底层开发,假如它们需要用到相同功能的基础组件,组件使用多种语言分别开发的话,不仅增加了开发和维护成本,而且不能确保多种语言间在处理效果上是一致的。本文讲述在Linux系统下跨语言调用的实践总结,即开发一次C++语言的组件,其他语言通过跨语言调用技术调用C++组件。
头像
忆往昔 发布于 2024年01月03日
3浏览

基于代价的慢查询优化建议

对于数据库来说,慢查询往往意味着风险。SQL执行得越慢,消耗的CPU资源或IO资源也会越大。大量的慢查询可直接引发业务故障,关注慢查询即是关注故障本身。本文主要介绍了美团如何利用数据库的代价优化器来优化慢查询,并给出索引建议,评估跟踪建议质量,运营治理慢查询。
头像
忆往昔 发布于 2024年01月03日
5浏览

短视频内容理解与生成技术在美团的创新实践

针对视频数据,如何通过计算机视觉技术用相关数据,为用户和商家提供更好的服务,是一项重要的研发课题。本文将为大家分享短视频内容理解与生成技术在美团业务场景的落地实践。
头像
忆往昔 发布于 2024年01月03日

Linux中基于eBPF的恶意利用与检测机制

近几年云原生领域飞速发展,eBPF技术成为各厂商首选技术,在网络编排、行为观测等领域四处开花。然而收益与风险并存,不久前爆出的Bvp47后门正是利用BPF技术惊人地在世界各地潜伏了近二十年。今日BPF已演进为eBPF,黑客会如何利用,造成什么危害?我们又该如何防范?
头像
忆往昔 发布于 2024年01月03日

Java系列 | 远程热部署在美团的落地实践

Sonic是美团内部一款用于热部署的IDEA插件。本文主要讲述Sonic的实现细节以及底层原理,从IDEA插件到自动化部署,再到沉浸式开发产品闭环,全方位讲述了Sonic在美团的落地与实践经验。目前业界对标的产品并不多,希望本文能对从事联调/开发/测试等相关方向的同学有所帮助或启发。
头像
忆往昔 发布于 2024年01月03日
7浏览

美团内部讲座 | 清华大学崔鹏:因果启发的学习、推断和决策

随着人工智能的不断发展,安全及合规问题变得越来越重要。当前机器学习比较大的一个局限性在于其学习模型都是基于关联框架,这种框架存在样本选择偏差的问题,且其稳定性也较差。而因果推理模型的出现,给机器学习打开了一个新的思路。美团技术团队特别邀请到清华大学计算机学院长聘副教授崔鹏老师,请他为美团技术团队的同学分享了因果推断技术最新的发展趋势,以及现阶段取得的一些成果。
头像
忆往昔 发布于 2024年01月03日

DSTC10开放领域对话评估比赛冠军方法总结

本文介绍了国际竞赛DSTC10开放领域对话评估赛道的冠军方法MME-CRS,该方法设计了多种评估指标,并利用相关性重归一化算法来集成不同指标的打分,为对话评估领域设计更有效的评估指标提供了参考。相关方法已同步发表在AAAI 2022 Workshop上。希望能给从事该技术领域工作的同学一些启发或帮助。
头像
忆往昔 发布于 2024年01月03日
8浏览

预训练技术在美团到店搜索广告中的应用

搜索广告在优化流量变现效率等商业指标之外,也需要重点优化用户体验,降低不相关广告对用户体验的损害,这样才能保证平台生态的健康发展。本文对预训练技术在广告相关性的落地方案进行了介绍,既包括训练样本上的数据增强、预训练及微调阶段的BERT模型优化等算法探索层面的工作,也包括知识蒸馏、相关性服务链路优化等实践经验。
头像
忆往昔 发布于 2024年01月03日
9浏览

美团基于知识图谱的剧本杀标准化建设与应用

剧本杀作为爆发式增长的新兴业务,在商家上单、用户选购、供需匹配等方面存在不足,供给标准化能为用户、商家、平台三方创造价值,助力业务增长。本文介绍了美团到店综合业务数据团队从0到1快速建设剧本杀供给标准化的过程及算法方案。我们将美团到店综合知识图谱(GENE,GEneral NEeds net)覆盖至剧本杀行业,构建剧本杀知识图谱,实现供给标准化建设,包括剧本杀供给挖掘、标准剧本库构建、供给与标准剧本关联等环节,并在多个场景进行应用落地,希望给大家带来一些帮助或启发。
头像
忆往昔 发布于 2024年01月03日

ACL 2021 | 一文详解美团技术团队7篇精选论文

ACL是计算语言学和自然语言处理领域最重要的顶级国际会议,该会议由国际计算语言学协会组织,每年举办一次。据谷歌学术计算语言学刊物指标显示,ACL影响力位列第一,是CCF-A类推荐会议。美团技术团队共有7篇论文(其中6篇长文,1篇短文)被ACL 2021接收,这些论文是美团技术团队在事件抽取、实体识别、意图识别、新槽位发现、无监督句子表示、语义解析、文档检索等自然语言处理任务上的一些前沿探索及应用。
头像
忆往昔 发布于 2024年01月03日
7浏览

美团App页面视图可测性改造实践

一次编写多处运行的动态化容器技术给研发效率带来了极大的提升,但对于依旧需要多端验证的测试流程来说,在效率层面却面临着极大的挑战。本文围绕动态化容器中的动态布局技术,阐述了如何通过可测性改造来帮助达成提升测试效率的目标。希望可以给同样需要测试动态化页面的同学们带来一些启发和帮助。
头像
忆往昔 发布于 2024年01月03日

多业务建模在美团搜索排序中的实践

美团搜索排序是一个典型的多业务混合排序建模问题,这种多业务场景搜索存在很多挑战,本文聚焦于到店商家多业务场景,进行了多业务排序建模优化工作。希望能对从事相关工作的同学有所启发或者帮助。
头像
忆往昔 发布于 2024年01月03日
8浏览

ACL 2021|美团提出基于对比学习的文本表示模型,效果相比BERT-flow提升8%

尽管基于BERT的模型在NLP诸多下游任务中取得了成功,直接从BERT导出的句向量表示往往被约束在一个很小的区域内,表现出很高的相似度,因而难以直接用于文本语义匹配。为解决BERT原生句子表示这种“坍缩”现象,美团NLP中心知识图谱团队提出了基于对比学习的句子表示迁移方法——ConSERT,通过在目标领域的无监督语料上Fine-tune,使模型生成的句子表示与下游任务的数据分布更加适配。在句子语义匹配(STS)任务的实验结果显示,同等设置下ConSERT相比此前的SOTA大幅提升了8%,并且在少样本场景下仍表现出较强的性能提升。
头像
忆往昔 发布于 2024年01月03日

外卖商品的标准化建设与应用

外卖菜品命名个性化程度高,为运营分析、召回排序、后台管理等业务带来一定的困难。本文系外卖美食知识图谱系列的第二篇文章,介绍了外卖从零到一建设菜品标准化体系的过程及方案,涉及的主要技术包括NLP领域的实体抽取、文本匹配、关系分类,以及CV领域的图像匹配等。最后,通过标准名在外卖业务中的应用实践,验证了标准名体系建设的价值和意义。
头像
忆往昔 发布于 2024年01月03日

百亿规模API网关服务Shepherd的设计与实现

在微服务架构下,服务拆分会让API的规模成倍增长,使用API网关来管理API逐渐成为一种趋势。美团统一API网关服务Shepherd就是在这种背景下应运而生,适用于美团业务且完全自研,用于替换传统的Web层网关应用,业务研发人员通过配置的方式即可对外开放功能和数据。本文将介绍美团统一API网关诞生的背景、关键的技术设计和实现,以及API网关未来的规划,希望能给大家带来一些帮助或者启发。
头像
忆往昔 发布于 2024年01月03日

实践之后,我们来谈谈如何做好威胁建模

对美团安全团队来说,引入领先的安全技术设计能力,构建全方位、多维度智能防御体系,是我们不懈追求的目标。美团有众多基础设施,核心业务系统也需要以成熟的方法论进行威胁评审。本文将着重分享威胁建模是如何帮助美团安全团队评估、发现大量安全设计的风险,以及互联网企业应该如何大范围地实施威胁建模并完整地进行落地。
头像
忆往昔 发布于 2024年01月03日
7浏览

让 Flutter 在鸿蒙系统上跑起来

鸿蒙系统 (HarmonyOS)是华为推出的一款分布式操作系统,那么如何在保证开发迭代效率的前提下,以相对低的成本将移动应用快速移植到鸿蒙平台上呢?美团外卖 MTFlutter 团队近期做了一次技术探索,成功地实现了 Flutter 对于鸿蒙系统的原生支持。
头像
忆往昔 发布于 2024年01月03日
15浏览

基于SSD的Kafka应用层缓存架构设计与实现

Kafka在美团数据平台承担着统一的数据缓存和分发的角色,针对因PageCache互相污染,进而引发PageCache竞争导致实时作业被延迟作业影响的痛点,美团基于SSD自研了Kafka的应用层缓存架构。本文主要介绍了该架构的设计与实现,主要包括方案选型,与其他备选方案的比较以及方案的核心思考点等,最后介绍该方案与其他备选方案的性能对比。
头像
忆往昔 发布于 2024年01月03日
1 515253545560

微信(交流/反馈)

巨人肩膀初心:站在巨人肩膀上,避免无谓的重复劳动。 生产和汇聚行业技术、 知识经验、 工具组件 、案例产品,提供相关环境,为开发者提高生产效率提供切实有效的支持和帮助。并在这一进程中实现多方共赢。

由 深圳数智领航科技有限公司 提供动力 - 数智化领航者。

©2023-2025 - 巨人肩膀 - 粤ICP备2025395551号-1