知识铺的博客

专注于Android、Java、Go语言(golang)、移动互联网、项目管理、软件架构

包含标签 XLNet 的文章

运行机制及和的异同比较

2022年3月15日

文章作者：张俊林新浪微博 AI Lab 资深算法专家内容来源：深度学习前沿笔记@知乎专栏出品社区：DataFun 这两天，XLNet 貌似也引起了 NLP 圈的极大关注，从实验数据看，在某些场景下，确实 XLNet 相对 Bert 有很大幅度的提升。就像我们之前说的，感觉 Bert 打开两阶段模式的魔法盒开关后，在这条路上，会有越来越……

360搜索 58同城 Abtest AB测试 AdaBoost AdaDeltaW AdamW AdvancedFeaturesOfNetty AFM模型 AI AIGC AILab Airbnb AI平台 AKF架构 Alink Android ANN AnnotationFormatterFactory Announcement AOF AOP Apache ApacheFlink Apollo AQS ArchitectureDesign AresDB ASR AUC Augur Automaton AutoML Bagging Bandits Basic BERT BI BigGAN BI平台 Boosting BPR Checkpoint Clazz ClickHouse Cluster CNN Collection ConcurrentCoding ConcurrentProgramming Condition CRF Css Cto CTR CTR模型 CTR预估 CV CVPR DDD DDD实战 DeepFFM DeepFM DeepFM模型 DesignPattern Devops Dgraph DIN DKN模型 DMP平台 Docs Doris DPP DRN Druid DSP DSSM Dubbo EE问题 Elasticsearch ELK ELMo Embedding EncodingSpecification Epoll ESSM ETL Faraday Feed流 FFM FFM模型 FixedBitSet FixMatch Flink Flutter FM FM模型 Format FreeWheel FST FTRL FullGC Game GAN GBDT GBDT+LR融合 GBM GC Git Github Gitlab GNN Go Golang Google Graphql GraphScope GRU4REC Ha3 Hadoop Hbase Hologres Hystrix Iceberg IM ImageNet Impala InnoDB IntBlockPool IoC IOTechnologyBase IRGAN IT博士 IT移民 JanusGraph Java JavaScript Jdbc JDK JS Kafka KBQA Kubernetes KV存储 Lab LambdaMART LDA LearningExperience LinUCB方法 Linux LruCache LSTM LSTM网络 Lucence Lucene Message Milvus MKR模型 MLflow MMoE Mock MoE Monorepo MRR Mvc Mybatis MySQL Nacos NDCG NER Netty Netty主要组件源码分析 Netty多协议开发 Netty技术细节源码分析 Netty编解码 Nexp Nextjs Nifi NIO NIPS NLP Node2vec Nodejs Npm OCR OKR Olap One-Hot OPPO Oss PageRank Parser PersonalExperience Pinot PlaceholderResolver Printer PropertySource Pulsar Push系统 Python Pytorch Q&A Que2Search Query扩展 Query理解 Query纠错 R-Tree React Reactjs Reactor Redis Region Registry Remote RippleNet RMI ROC RocketMQ Rpc RTree Scala SD Select Sentinel Serverless SHAP Sharding SIGAI SimCLR Skleam Softmax Solr Spark SPI Spring Spring5新特性 SpringBoot SpringBootBatch SpringCloud SpringMVC SpringSecurity SpringTransaction Spring整体脉络 Spring源码故事（瞎编版） Sqllit Stable Diffusion Stage Storm Storybook SVM Tailwind TCP粘拆包 TensorFlow TFServing Tomcat Topk Trace Transformer TurboSearch TX Typora UX Vivo Vuejs Web Web3 WebRTC Wide&Deep Word2vec XDeepFM XDL XGBoost XLNet Yoo视频 YoshuaBengio ZeroSearch Zookeeper 一致性丑小鸭定理业务业务线个性化推荐个性化海报中关村中文分词中文纠错主题建模书籍事件驱动架构事务亚马逊交叉验证人工智能人机问答供应链依存句法分析信息检索信息流推荐倒排索引倒排表假设检验全文索引全民K歌全链路压测公平锁关系兴趣内容挖掘内容理解决策树冷启动出轨分层实验分布式分布式事务分布式系统分布式锁分词创业加权融合北京区块区块链协同记忆网络协同过滤协方差单元测试博士博士offer 压测原则双塔模型反作弊反欺诈反脆弱变量召回召回率可观测性可解释性合约后厂村向量召回向量检索向量索引吴恩达命名实体识别响应式编程商汤科技回归模型因果分析图像检索图像识别图数据库图灵平台图片翻译图计算在线学习坐标回归基于Netty开发服务端及客户端基础支持层增量学习多多多模态多目标优化大数据大数据开发头条奥卡姆剃刀学习学习资料学习资源学会提问实体识别实时推荐实时数仓实时数据实时日志收集实时计算实验平台容灾体系建设对比学习对话系统小城市小米小米搜索小群效应工作布隆过滤器帮帮年轻人广告广告系统序列标注建模调参开源数据集开源项目异常检测异步IO 张嘉佳强化学习归一化待分类微服务微软EXP 微软亚洲研究院思维性能优化情感分析意图识别房租技术拆分招聘拼多多持续交付持续集成损失函数排序排序模型排队推理系统推荐推荐理由推荐系统推送平台提问的智慧搜索搜索广告搜索引擎搜索排序搜索架构搜索系统支持向量支持向量机数仓体系数仓平台数据中台数据仓库数据分析数据分析平台数据同步数据平台数据指标数据挖掘数据治理数据湖数据科学数据结构数据集数据驱动文字识别文摘文本分类文本情感分类文本挖掘文本纠错文本表征新闻推荐方法论日志架构日志检索时序特征挖掘智慧物流智能合约智能客服智能物流智能语音智能问答智能预警服务机器学习机器学习爱好者机器学习面试题机器翻译机器视觉机器阅读条件随机场架构架构师标签标签平滑标签识别标签选择校招样本核心处理层检索引擎槽位识别模型剪枝模型压缩模型融合模型评估模型部署模型预估模式匹配模式识别正则化注意力机制洋码头流批一体消息队列深度深度兴趣网络深度学习深度树匹配深度树检索混排混沌工程火焰图热点挖掘熔断降级爬虫爱奇艺牛顿-莱布尼茨物流特征工程特征平台特征系统猜你喜欢用户建模用户画像电商搜索白兔百度相关系数真话矢量语义知乎架构知识图谱知识增强知识蒸馏短文本解析短视频短语抽取短语挖掘碧桂园神经网络神马搜索离线计算秒杀架构秒杀系统程序人生程序员稳定性规范空间索引窗口函数端上智能端智能算法类协同训练类目识别粗排索引线程线程池缓存网络图置信度美团美团大脑美团点评职场联邦学习腾讯技术腾讯音乐自动化测试自动驾驶自然语言处理色情识别花椒直播苞谷蚂蚁金服规则平台规则引擎视频推荐计算广告计算机视觉认知讨论区记忆建模记忆网络论文评价指标评测指标词向量词嵌入词权重语义分割语义匹配语义检索语义模型语义理解语言模型语音内容识别语音识别谷歌面试贝叶斯个性化排序贝壳找房贝壳智搜货币化起步趋势科技路径规划软实力边缘计算达摩院迁移学习过拟合逻辑回归逻辑思维采购重叠实验框架重排序重构金融银汤匙链表链表求交集阿里阿里云阿里妈妈阿里小蜜阿里达摩院陈薇陌陌降纬打击随机变量零拷贝面经面试项目管理预估引擎预训练领域设计领域驱动风控风控系统高可用高并发高斯热图高维数据索引黄峥黑盒模型