新葡京娱乐城app博彩平台爱好者

 最新皇冠足球会员手机 [[443041]]最新皇冠足球会员手机

又一年又接近尾声，还有三天咱们就要告别 2021 年了。

各个 AI 范围也迎来了年度总结和将来瞻望，今天来讲一讲 AI 圈历久大热的图机器学习（Graph ML）。

2021 年，图机器学习范围透清楚了指不胜屈篇论文，还举办了多半的学术会议和研讨会，出现了一些舛错的进展。2022 年，图机器学习范围又会在哪些方面发力呢

金沙娱app下载9570-最新地址

Mila 和麦吉尔大学博士后磋商员、专注于常识图谱和图神经蚁合（GNN）磋商的学者 Michael Galkin 在一篇博客中评释了他的不雅点。在文中，作家对图机器学习伸开了结构化分析，并重心先容了该范围的主要进展和热点趋势。作家但愿本文可以成为图机器学习范围磋商者的很好的参考。

本图由 ruDALL-E 生成。

作家主要从以下 12 个部分进行了珍爱的梳理：

www.royalbookmakerhome.com 图 Transformers + 位置特征 等变 GNNs 分子的生成模子 GNNs + 组合优化 & 算法 子图 GNN：超越 1-WL 可膨大和深度 GNN：层数 100 及以上 常识图谱 讹诈 GNN 作念很酷的磋商 新的数据集、挑战和任务 课程和竹素 库和开源 如何保抓更新 图 Transformers + 位置特征

GNN 在（频繁是疏淡的）图上运行，而 Graph Transformers (GT) 在全伙同图上运行，其中每个节点都伙同到图的其他节点。一方面，在节点数为 N 的图中，图的复杂度为 O(N^2) 。另一方面，GT 不会过度平滑，这是长程讯息传递的常见问题。全伙同图意味着你有来自原始图的真边和从全伙同变换添加的假边，你需要进行区分。 更蹙迫的是，你需要一种方法来为节点注入一些位置特征，不然 GT 不会卓越 GNN。

本年最流行的两个图 transformer 模子为 SAN 和 Graphormer。Kreuzer、Beaini 等东说念主冷落的 SAN 收受拉普拉斯算子的 top-k 特征值和特征向量。 SAN 将光谱特征与输入节点特征伙同起来，在许多分子任务上优于疏淡 GNN。

新葡京娱乐城app

Ying 等东说念主冷落的 Graphormer 收受空间特征。领先，节点特征丰富了中心编码；然后，谨防力机制有两个偏置项：节点 i 和节点 j 之间的最短旅途距离；依赖于一条可用最短旅途的旯旮特征编码。

Graphormer 达成了 2021 年 Graph ML 大满贯：OGB large Challenge 和 Open Catalyst Challenge 夺得冠军

等变 GNN

等方差有何私有之处，让 Geoffrey Hinton 如斯爱慕？

一般来说，等方差被界说在某些出动组上，举例，3D 旋编削成 SO(3) 组，额外正交以 3D 的体式组合。等变模子在 2021 年掀翻了 ML 的风暴，在图机器学习中的许多分子任务中尤其具有抨击性。应用于分子时，等变 GNN 需要一个特等的节点特征输入，即分子物理坐场合一些表征，这些表征将在 n 维空间中旋转 / 反射 / 平移。

在等变模子中，尽管变换的律例不同，但咱们都能到达疏导的最终景色。图源：Satorras, Hoogeboom, and Welling

Satorras、Hoogeboom 和 Welling 冷落了 EGNN、E(n) 等变 GNN，其与庸碌 GNN 的蹙迫区别在于向讯息传递和更新方法添加物理坐标。 等式 3 将相对正常距离与讯息 m 相加，等式 4 更新位置特征。 EGNN 在建模 n 体（n-body 系统、算作自动编码器和量子化学任务（QM9 数据集）方面炫耀出令东说念主印象久了的贬抑。

与 vanilla GNN 的主要区别：等式 3 和 4 将物理坐标添加到讯息传递和更新方法中。图源：Satorras, Hoogeboom, and Welling

另一种聘任是归拢原子之间的角度，就像 Klicpera、Becker 和 Günnemann 在 GemNet 中所作念的那样。 这可能需要将输入图出动为折线图，举例边图，其中来自原始图的边变成折线图中的节点。 这么，咱们就可以将角度算作新图中的旯旮特征。

GemNet 在包括 COLL、MD17 和 Open Catalyst20 分子能源学任务上取得了可以的收货， 彰着，等变 GNN 才刚刚起步，咱们将在 2022 年看到更多逾越！

分子的生成模子

由于几何深度学习，通盘药物发现 范围在 2021 年达成了大幅的跃进。药物发现的浩繁枢纽挑战之一是生成具有所需属性的分子（图）。这个范围很宽绰，这里只提到模子的三个分支。

归一化流

Satorras、Hoogeboom 等东说念主应用上述等变框架创建了 E(n) 等变归一化流，约略生成具有位置和特征的 3D 分子。

Shi、Luo 等东说念主磋商了在给定 2D 图形的情况下生成 3D 构象异构体（即 3D 结构）的问题。模子 ConfGF 揣度了原子坐标对数密度的梯度场。这些字段是旋转平移等变的，作家念念出了一种方法将这种等变属性归拢到揣度器中。Conformer 采样自己是通过退火朗之全能源学采样完成的。

RL 方法

该方法所以一种十分非科学的方式态状的，这些方法通过慢慢附加「构建模块」来生因素子。可以根据这些方法对构建流程的编削方式对其进行广义分类。

举例，Gao、Mercado 、 Coley 以可合成性为构建流程的要求，就是否可以在实验室中践诺创建这种分子。为此，他们领先学习了如何创建构建块的合成树（一种模板）。

前第一区（01-12）上期落号1个08，走势一般，最近两周前第一区共开出11个奖号，落号一般；本期预计一区升温，看好开出2个奖号，参考号码04、07。

想要在博彩界立足，关注博彩网站排名是非常重要的。在众多博彩网站中，皇冠体育博彩网站一直以其优秀的博彩服务和口碑良好的用户评价脱颖而出，值得信赖。

Yoshua Bengio 请示的 Mila 和斯坦福团队冷落了一个更通用的框架，他们引入了生成流蚁合（GFlowNets）。这很难用几句话来玄虚：领先，当咱们念念要对不同的候选者进行采样时，GFlowNets 可以用于主动学习案例，况且采样概率与奖励函数成正比。此外，团队最近的 NeurIPS'21 论文展示了 GFlowNets 应用于分子生成任务的用处。Emmanuel Bengio 的博客著作更珍爱地态状了该框架并提供了更多的实考字据：http://folinoid.com/w/gflownet/

GNNs + 组合优化 & 算法

2021 年，对于这个新兴的子范围来说是蹙迫的一年。

Xu et al 在 ICLR’21 的论文中磋商了神经蚁合的外推，并得出了一些亮眼的论断。基于算法对皆的见识，作家表示，GNN 与动态盘算（DP）可以很好地对皆（如下图所示）。事实上，将经典 Bellman-Ford 算法寻找最短旅途的迭代和通过 GNN 的信息的团员组合方法作念比拟，会发现许多共同点。

皇冠hg86a

此外，作家标明，在建模特定 DP 算法时，为 GNN 聘任相宜的团员函数至关蹙迫，举例，对于 Bellman-Ford，需要一个最小团员器（min-aggregator）。作家 Stefanie Jegelka 在 2021 年深度学习和组合优化研讨会上精采陈说了这项责任的主要遵守：https://www.youtube.com/watch?v=N67CAjI3Axw

为了更全面的先容这个范围，还需要重心先容 Cappart et al 在 IJCAI’21 上的一项磋商，该拜谒涵盖了 GNN 中的组合优化。这篇著作初次出现了神经算法推理蓝图，自后 Veličković 和 Blundell 的 Patterns 中的态度文献也对此进行了态状。

这个蓝图解释了神经蚁合如安在镶嵌空间中师法和授权一般碎裂算法的推论流程。在编码 - 处理 - 解码方式中，抽象输入（从当然输入取得）由神经蚁合（处理器）进行处理，其输出被解码为抽象输出，然后可以映射到更当然的任务特定输出。

举例，若是抽象输入和输出可以表示为图形，那么 GNN 可以即可成为处理器蚁合。碎裂算法的一个常见的预处理方法是将咱们对这个问题的任何所知内容挫折为像「距离」或「旯旮容量」这么的标量，并在这些标量上运行算法。相悖，向量表征和神经推论可以削弱启用高维输入而不是浅薄的标量，并附加反向传播以优化处理器。

乐鱼体育

目下，该蓝图还是得到越来越多的收受，NeurIPS'21 上出现了一些很酷的作品。Xhonneux et al 磋商了搬动学习是否可用于将学习到的神经推论器泛化到新任务；Deac et al 发现了强化学习中算法推理和隐式盘算之间的磋议。肯定在 2022 年还会出现更多关联磋商。

赌场筹码 子图 GNN：超越 1-WL

若是 2020 年是初次尝试离开 GNN 弘扬力的 1-WL-landia 的一年，那么 2021 年则是超越 1WL-landia 的一年。这些磋议已被诠释很有效，咱们当今领有一些刚劲且更具弘扬力的 GNN 架构，这些架构将讯息传递膨大到更高阶的结构，如单纯复形（举例 Bodnar、Frasca、Wang 等东说念主的 MPSN 蚁合、胞腔复形（Bodnar、Frasca 等东说念主的 CW Networks ））或子图。

可膨大性和深度 GNN

若是你在使用 2-4 层 GNN 时宝贵深度 ResNet 或 100 多层的大型 Transformer，那么 2021 年有两篇论文为咱们带来了福音，一篇是对于卤莽测验 100-1000 层 GNN 的论文，另一篇是对于实在恒定大小的邻域采样。

Li 等东说念主冷落了两种新机制，可以在测验极深的超参数化蚁合时减少 GPU 内存耗尽：将 L 层蚁合的 O(L) 缩小到 O(1)。作家展示了如安在 CV 或高效 Transformer 架构（举例 Reformer）中使用可逆层，并在层之间分享权重（权重绑定），以测验多达 1000 层的 GNN。下图展示了根据 GPU 需求进行的层数膨大。

图源：Li 等东说念主的论文《 Training Graph Neural Networks with 1000 Layers 》

皇冠比分

Godwin 等东说念主冷落了一种讹诈轮回学习深度 GNN 的方法——在块（Block）中组织讯息传递方法，每个块可有 M 个讯息传递层。然后轮回应用 N 个块，这意味着有多个块分享权重。若是有 10 个讯息传递层和 10 个块，你将得到一个 100 层的 GNN。其中一个蹙迫的构成部分是 Noisy Nodes 正则化技艺，它会侵犯节点和边的特征并计较特等的去噪亏欠。该架构能更好地适用于分子任务，磋商团队还在 QM9 和 OpenCatalyst20 数据集上进行了评估。

终末，若是念念将苟且 GNN 膨大成十分大的图，那么唯有一个聘任——采样式图。频繁，对 k-hop 子图进行采样会导致指数级内存老本和计较图大小

皇冠客服飞机：@seo3687

PyG 的作家 Matthias Fey 等东说念主创建了一个在恒定时刻内讹诈历史镶嵌和图聚类膨大 GNN 的框架 GNNAutoScale。该方法在预处理时期将图分手为 B 个集群（小批量），以便最小化集群之间的连通性；然后在这些集群上运行讯息传递与全批量成立雷同好，并显耀缩小了内存要求（小了约 50 倍），这使得在商等级 GPU 上安设深度 GNN 和大型图成为可能。

常识图谱（KG）

在 2021 年之前，模子根据归纳偏置、架构和测验机制被明确分为转导和归纳两类。换句话说，转导模子莫得契机妥贴未见过的实体，而归纳模子在中大型图上测验老本太高。 2021 年有两种新架构在转导和归纳环境中均可使用。这两种架构不需要节点特征，可以在归纳模式中以与转导模式疏导的方式进行测验，并可膨大到现实寰球的 KG 大小。

一种是 Zhu 等东说念主的神经 Bellman-Ford 蚁合，其中将经典的 Bellman-Ford 推论到了更高档别的框架，并展示了如何通过使用特定运算符实例化框架来取得其他经典方法（如 Katz 运筹帷幄、PPR 、最宽旅途等）。更蹙迫的是，该磋商标明泛化的 Bellman-Ford 内容上是一种关系 GNN 架构。 NBFNet 不学习实体镶嵌，这使得模子通过泛化到未见过的图而取得了归纳性。该模子在关系图和非关系图上的伙同预测任务上都弘扬出色。在 KG 的应用上，NBFNet 给 FB15k-237 和 WN18RR 两个数据集带来了自 2019 年以来最大的性能晋升，同期参数减少了 100 倍。

另一种是 Galkin 等东说念主受 NLP 中标志化算法启发的新方法。在 KG 上应用时，NodePiece 将每个节点表征为一组 top-k 个最近的锚节点和节点周围的 m 个独一关系类型。锚点和关系类型被编码为可用于任何卑鄙任务（分类、伙同预测、关系预测等）和任何归纳 / 转导成立的节点表征。 NodePiece 特征可以成功被 RotatE 等非参数解码器使用，也可以发送到 GNN 进行讯息传递。该模子在归纳伙同预测数据集上的性能可与 NBFNet 比好意思，并在大型图上弘扬出较高的参数遵守——OGB WikiKG 2 上的 NodePiece 模子所需参数仅为浅的仅转导模子的一百分之一。

讹诈 GNN 作念很酷的磋商

Huang, He 等东说念主在 ICLR’21 上展示了 Correct & Smooth — 一个通过标签传播校正模子预测的浅薄规律。 仅与 MLP 配对，该方法在不使用任何 GNN 且参数少得多的情况下以最高分冲击 OGB 名次榜！ 今天，实在整个 OGB 节点分类赛说念中的顶级模子都使用 Correct & Smooth 来压缩更多的点。

图源： Huang, He 等东说念主

Knyazev 等东说念主在前向传递中预测各式神经蚁合架构参数的责任震恐了 ML 社区。 他们莫得收受立时启动化模子，而是收受预测好的参数，这么会优于立时模子。

参数预测践诺上是一个图学习任务——任何神经蚁合架构（ResNet、ViT、Transformers）都可以表示为一个计较图，其中节点是具有可学习参数的模块，节点特征是那些参数，蚁合有 一堆节点类型（比如，线性层、卷积层等，作家使用了约莫 15 种节点类型）。 参数预测则是一个节点转头任务。 计较图使用 GatedGNN 进行编码，并将其新表示发送到解码器模块。 为了测验，作家蚁合了一个包含 1M 个架构（图）的新数据集。 该方法适用于任何神经蚁合架构，以致适用于其他 GNN。

预测未知模子的参数的 pipeline。图源：Knyazev 等东说念主

DeepMind 和谷歌通过将说念路蚁合建模为超分段图并在其上应用 GNN，极地面提高了谷歌舆图中 ETA 的质地。 在 Pinion 等东说念主的论文中，该任务被界说为节点级和图级转头。 除此以外，作家还态状了许多需要科罚的工程挑战，以便在谷歌舆图范畴上部署系统。 应用 GNN 科罚数百万用户靠近的践诺问题。

论文地址：https://arxiv.org/pdf/2108.11482.pdf

图源: Pinion 等东说念主

一些贵府总结

著作终末，作家先容了一些相关贵府，包括数据集、课程和竹素、一些实用的库等内容。

若是你不民风使用 Cora、Citeseer、Pubmed 数据集，可以筹商以下：

OGB 数据集包含 3 个十分大的图，可分别用于节点分类（240M 节点）、伙同预测（通盘 Wikidata，90M 节点）和图转头（4M 分子）任务。 在 KDD Cup 中，大多数见效团队使用了 10-20 个模子组合； 由 Meta AI 发起的公开催化剂挑战赛（ Open Catalyst NeurIPS’21 Challenge ），提供了一项大型分子任务——给出具有原子位置的启动结构，预测其浮松景色能。这个数据集十分宽绰，需要多半的计较，但组织者表示将发布一个更小的版块，这将对 GPU 预算有限的袖珍实验室更友好。事实上，Graphormer 在 OGB LSC 和 OpenCatalyst ' 21 中都取得了第又名，并在 2021 年取得了 Graph ML 的大满贯； GLB 2021 带来了一组新的数据集，包括 Lim 等东说念主冷落的 non-homophilous graphs ，Tsitsulin 等东说念主冷落的 graph simulations，以及 Rozemberczki 等东说念主冷落的 spatiotemporal graphs 等； NeurIPS’21 数据和基准赛说念带来了新数据集，MalNet 可用于图分类，该数据集的平均图大小是 15k 节点以及 35k 边；ATOM3D 可用于 3D 分子任务；RadGraph 可用于从辐射学报恩中索取信息。

由 Michael Bronstein、Joan Bruna、Taco Cohen 和 Petar Veličković 编写的几何深度学习原型书和课程，包含 12 个讲座和实践教程和研讨会。

竹素地址：https://arxiv.org/pdf/2104.13478.pdf 课程地址：https://geometricdeeplearning.com/lectures/

此外，比拟有价值的竹素和课程还包括

由 18 位学者参与撰写的常识图谱新书：https://kgbook.org/ William Hamilton 的图表示学习手册：https://www.cs.mcgill.ca/~wlh/grl_book/

2021 年发布的库包含 TensorFlow GNN 、TorchDrug。

博彩平台爱好者 TensorFlow GNN 地址：https://github.com/tensorflow/gnn TorchDrug 地址：https://torchdrug.ai/

在 2021 年抓续更新的库包括：

皇冠的盘口准吗 PyG 2.0 — 当今接济异构图、GraphGym 以及一系列校正和新模子； DGL 0.7 — 在 GPU 上进行图采样，更快的内核，更多的模子； PyKEEN 1.6 — 更多的模子、数据集、运筹帷幄和 NodePiece 接济；