月亮链 月亮链
Ctrl+D收藏月亮链

Web3 职场: 如何成为 Web3 数据分析师?

作者:

时间:1900/1/1 0:00:00

假设您是 web3 新手,开始建立 web3 分析团队,或者刚刚对 web3 数据感兴趣。无论哪种方式,您都应该已经大致熟悉了 API、数据库、转换和模型在 web2 中的工作方式。

对于这本就职指南,我将尽量保持简洁,并突出我对以下三个重要的想法:

1. 思考:为什么开放数据管道会重塑数据工作的完成方式

2. 工具:web3 数据堆栈中工具的概述,以及如何利用它们

3. 团队:在 web3 数据团队中应具备的基本注意事项和技能

关于数据思维

让我们首先总结一下在 web2 中如何构建、查询和访问数据(即访问 Twitter 的 API)。

对于简化的数据管道,我们有四个步骤:

事件 API 触发(发送了一些推文)

摄取到数据库(连接到现有用户模型/状态更改)

特定产品/分析用例的数据转换(随时间增加回复/参与度指标)

模型训练和部署(用于管理您的 Twitter 提要)

数据有时是开源的唯一步骤是在转换完成之后。Kaggle(1000 个数据科学/特征工程竞赛)和Hugging Face(26,000 个一流 NLP 模型)等社区使用暴露数据的一部分来帮助企业构建更好的模型。有一些特定领域的案例,例如在前三个步骤中打开数据的开放街道地图,但这些仍然有写权限的限制。

香港财政司司长陈茂波:现在是Web3发展的黄金机遇,也是惊心动魄的时刻:4月12日消息,在“2023 香港Web3嘉年华”主会场上,香港特别行政区政府财政司司长陈茂波在发表开幕演讲时表示,要以科技变革的历史视角看待 Web3 的发展,科技的变革引领着商业的创新,而商业行为也会驱动更好科技的变革,互联网就属于这一类变革的力量,区块链技术的兴起,让互联网已经进入 Web3 时代。香港将推动虚拟资产市场可持续和负责地发展,适当的监管是必须的,这样才能营造可持续的发展空间。现在是 Web3 发展的黄金机遇,也是惊心动魄的时刻,回顾历史,Web3 的发展在经历震荡后将会再次快速发展。[2023/4/12 13:58:11]

并不是说 web2 根本没有任何开源。与大多数其他工程角色一样,web2 数据拥有大量用于构建其管道的开源工具( dbt、apache、TensorFlow)。我们仍然在 web3 中使用所有这些工具。总之,他们的工具是开放的,但他们的数据是封闭的。

Web3 也将数据开源——这意味着它不再只是数据科学家在开源中工作,分析工程师和数据工程师也是如此!每个人都参与到一个更连续的工作流程中,而不是一个黑盒数据循环。

“WebAssembly”公司Dylibso完成660万美元种子轮融资:金色财经报道,“WebAssembly”公司Dylibso宣布,完成660万美元种子轮融资,Felicis领投,boldstart ventures、Pebblebed和Crew Capital 跟投。WebAssembly(简称wasm)是一个虚拟指令集体系架构(virtual ISA),整体架构包括核心的ISA定义、二进制编码、程序语义的定义与执行,以及面向不同的嵌入环境(如Web)的应用编程接口(WebAssembly API)。据悉,Dylibso公司推出的首款产品Modsurfer目前已经上市,将专注于Web3/区块链、浏览器、插件和去服务器四个核心领域。(finsmes)[2023/3/25 13:25:47]

工作的形式已经从 web2 数据大坝转变为 web3 数据的河流、三角洲和海洋。同样重要的是要注意,这个新周期会同时影响生态系统中的所有产品/协议。

让我们看一个 web3 分析师如何协同工作的示例。有几十个DEX使用不同的交换机制和费用,允许你将通证A换成通证B。如果这些是典型的交易所,比如纳斯达克,每个交易所都会以 10k 或一些 API 报告自己的数据,并且然后像 capIQ 之类的其他服务会将所有交换数据放在一起,并收取费用让您访问他们的 API。也许偶尔,他们会举办一场创新比赛,这样他们就可以在未来拥有额外的数据/图表功能来收费。

香港财政司司长:将拨款5000万元加速Web3生态发展:金色财经报道,2月22日,香港特区政府财政司司长陈茂波在发表2023-2024年度特区政府财政预算案时表示,数码港在今年初已成立Web3基地。我会拨款五千万元加速推动 Web3 生态圈的发展,包括举办国际大型研讨会,让业界和企业更掌握前沿发展,推动跨界别业务合作,并举办更多青年工作坊。虚拟资产是Web3生态圈的重要一环,去年十月发表的虚拟资产政策宣言,阐明政府对相关行业的政策立场和方针。

市场对此反应踊跃,在过去数月,已有大批具潜质的新型企业考虑落户香港。下一步我将成立并领导一个虚拟资产发展专责小组,成员包括相关决策局、金融监管机构,以及市场人士,就行业的可持续和负责任发展,向政府提交建议。[2023/2/22 12:21:33]

使用 web3 交换,我们有这个数据流:

dex.trades是Dune 上的一张表(由许多社区分析工程师随时间整理而成),其中汇总了所有 DEX 交换数据 - 因此您可以非常轻松地搜索所有交易所中单个代币的交换量之类的东西。

一位数据分析师出现并使用一堆社区开源查询创建了一个仪表板,现在我们对整个 DEX 行业有了一个公开的了解。即使所有的查询看起来都是一个人写的,你可以打,在某个不和谐的地方有大量的讨论可以准确地拼凑起来。

欧易Web3钱包支持通过iCloud和GoogleDrive备份钱包:据官方公告,欧易Web3钱包已于2月15日正式支持通过iCloud和Google Drive备份钱包。用户在创建新钱包时只需要登录iCloud和GoogleDrive,并为钱包设置备份密码,即可轻松完成备份。

据了解,该功能已同步上线iOS和安卓手机应用,用户可升级欧易App至v6.1.60版本,即可开始体验。[2023/2/16 12:10:28]

一位 DAO 科学家查看仪表板并开始在他们自己的查询中分割数据,查看特定的配对,例如稳定通证。他们研究用户行为和商业模式,并开始建立假设。

由于科学家可以看到哪个 DEX 占据了更大的交易量份额,因此他们将提出一个新模型并提出对治理参数的更改,以在链上进行投票和执行(s/o Alex Kroeger的提案这里的例子)。

之后,我们可以随时查看仪表板,了解该提案如何创造出更具竞争力的产品。

未来,如果有另一个 DEX 出来(或升级到新版本),这个过程会提升产品的功能。有人会创建插入查询来更新此表。这将反过来反映在所有仪表板和模型中(无需任何人返回并手动修复/更改任何内容)。任何其他分析师/科学家都可以在 Alex 已经完成的工作的基础上再接再厉。

BNB Chain为拉丁美洲开发者推出Web3开发课程:8月17日消息,据外媒报道,BNB Chain和拉丁美洲教育平台Platzi宣布其将联合为该地区推出Web3开发课程。到今年年底,该课程的目标是为3万名学生提供服务。

BNB Chain投资总监Gwendolyn Regina表示:“我们将使用BNB Chain为Web2开发者提供Web3上的主要西班牙语教育资源。”(Cointelegraph)[2022/8/17 12:31:04]

由于共享生态系统,讨论、协作和学习发生在更紧密的反馈循环中。这有时会变得非常压倒性,而且我认识的分析师基本上都在轮换数据时表现得倦怠。然而,只要我们中的一个人不断推动数据前进(即有人创建了插入 DEX 查询),那么其他所有人都会受益。

它也不一定总是复杂的抽象视图,有时它只是实用功能,例如可以轻松搜索 ENS 反向解析器或改进工具,例如使用单个 CLI 命令自动生成大部分 graphQL 映射!所有这些都可以被每个人重用,并且可以适应某些产品前端或您自己的个人交易模型中的 API 使用。

虽然这里解锁的可能性是惊人的,但是程序还没有那么顺利地运行。与数据工程相比,数据分析师/科学方面的生态系统仍然非常不成熟。我认为这有几个原因:

数据工程多年来一直是 web3 的核心焦点,从客户端 RPC API 改进到基本的 SQL/graphQL 聚合。在 theGraph 和 Dune 等产品上的工作确实体现了他们为此付出的努力。

对于分析师来说,理解 web3 独特的跨协议关系表是一个艰难的过程。例如,分析师可以理解如何仅分析 Uniswap,但随后难以将聚合器、其他 DEX 和不同的代币类型添加到组合中。最重要的是,完成所有这些工作的工具直到去年才真正意义上出现。

数据科学家基本上习惯于进入原始数据转储并独自完成所有工作(建立自己的工作风格)。我认为他们不习惯在项目早期与分析师和工程师如此密切和公开地合作。这需要一段时间才能适应这样的环境。

除了学习合作之外,web3 数据社区还在学习如何在这个新的数据堆栈中工作。您不再需要控制基础架构或从 excel 中慢慢构建到数据湖或数据仓库 - 只要您的产品上线,那么您的数据就会无处不在。您的团队基本上进入了数据基础架构的精华部分。

关于数据工具

这就是你们大多数人来这里的目的:?

这些工具并不全面——它们只是我发现自己或其他人在以太坊生态系统中一直使用和引用的工具(其中一些还涵盖了其他链)。

“去中心化”标签意味着有一个基础设施网络或指导框架来阻止单方面发生的变化。我喜欢将其视为解耦基础设施与云基础设施,但这需要有自己的文章。

让我们来看看您何时需要使用每个图层/类别:

交互+数据源:这主要用于前端、钱包和数据摄取到较低层。客户端:虽然以太坊的底层实现是相同的(使用 Geth 作为规范的 repo),但每个客户端都有不同的额外功能。例如,Erigon 针对数据存储/同步进行了大量优化,Quorum 支持启动隐私链。

节点即服务:您无法选择它们运行的客户端,但使用这些服务将为您省去自己维护节点和 API 正常运行时间的麻烦。节点有很多复杂性,具体取决于您要捕获多少数据(轻→完整→存档)。

查询 + 数据映射:该层中的数据要么在合约中作为 URI 引用,要么来自使用合约 ABI将交易数据从字节映射到表模式。合约 ABI 告诉我们合约中包含哪些功能和事件,否则我们只能看到已部署的字节码(如果没有此 ABI,您将无法对合约交易进行逆向工程/解码)。交易数据:这些是最常用的,主要用于仪表板和报告。theGraph 和 Flipside API 也用于前端。有些表是合约的 1:1 映射,有些表允许在模式中进行额外的转换。

元数据“协议”:这些不是真正的数据产品,但存在用于存储 DID 或文件存储。大多数 NFT 将使用其中的一个或多个,我认为今年我们将开始越来越多地使用这些数据源来增强我们的查询功能。

专业提供商:其中一些是非常强大的数据流产品,用于内存池数据的Blocknative和用于链上交易数据的 Parsec。其他人聚合链上和链下数据,例如 DAO 治理或财务数据。

高频数据提供者:您无法查询/转换他们的数据,但他们已经为您完成了所有繁重的工作。“企业”服务:如果您是 VC、调查员或记者,您会经常使用这些服务。您可以使用Nansen 的钱包分析器或Chainanalysis 的 KYT深入了解钱包和钱包关系。或者使用 Tolken 终端在大量项目/链上获得漂亮的开箱即用图表。

增强的那些API:这些产品将许多查询捆绑到一个中,例如 ERC20 代币的所有代币余额或为给定地址提取合约 ABI。

数据团队

不言而喻,您希望在这些社区中寻找可以雇用到您团队的人。让我们进一步分解重要的 web3 数据技能和经验,以便您真正知道自己在搜索什么。如果您想被录用,请将其视为您追求的技能和经验!

分析师至少应该是使用Etherscan的高手,并且知道如何阅读 Dune 仪表板。这可能需要 1 个月的时间才能慢慢升级,如果您真的预订并狂欢学习,则需要 2 周。

您还应该考虑更多背景信息,特别是关于时间分配和技能可转移性的内容。

在 web3 中,数据分析师大约 30-40% 的时间将用于跟上整个生态系统中的其他分析师和协议。请确保您没有窒息他们,否则,它将成为对每个人的长期损害。与更大的数据社区一起学习、贡献和构建是绝对必要的。

关于可转移性:技能和领域在这个领域都是高度可转移的。如果我使用不同的协议,那么加速时间可能会很短,因为链上数据的表模式都是相同的。如果有的话,我可能在加入之前就已经使用过该协议的数据了!

了解如何使用这些工具并不重要——每个分析师都应该或多或少地能够编写 SQL 或创建仪表板。这一切都是关于知道如何为社区做出贡献和与社区合作。

标签:WEBWEB3APIDEXWEB3.0web3域名怎么使用Network Capital TokenDexfin

以太坊最新价格热门资讯
UST:UST陷入死亡螺旋后再聊算法稳定币_Lung Protocol

一度跻身全球第三大稳定币的TerraUSD(UST)在近日迅速崩盘了,此事不仅搅动了币圈,还吸引到了美国财政部长耶伦的关注。5月10日的听证会上,耶伦强调了稳定币监管框架的必要性.

1900/1/1 0:00:00
ORD:Web3防指南:Discord用户、运营者、开发者都应了解的安全技能_SCO

原文标题:《全面解析 Discord 安全问题》?最近看到 Discord 的安全问题频发,近期本人也从 Discord 的普通用户,转变到 Discord 社区的运营者.

1900/1/1 0:00:00
区块链:《最高人民法院关于加强区块链司法应用的意见》发布_CHA

最高人民法院微信公众号消息,2022年5月25日,最高人民法院发布《最高人民法院关于加强区块链司法应用的意见》(下称《意见》).

1900/1/1 0:00:00
DAO:不可忽视的DAO 中三个重要的微时刻_ISC

这是一个关于个体在 DAO 中积极做出有意义贡献的过程中所经历的特定时间点的讨论。The strength of a DAO comes from many contributors.积极的贡献.

1900/1/1 0:00:00
区块链:达沃斯 Crypto 手记:加密幽灵 在欧洲游荡_bitcoin2network

注:2022 年 5 月 23 日,世界经济论坛的在瑞士山区度假胜地达沃斯举办,因此会议又被称为达沃斯论坛,此次会议汇聚了 2500 名全球政商精英,其中不乏加密世界的新贵.

1900/1/1 0:00:00
金色数藏 | 参与“情人眼里有____” 赢数字藏品

亲爱的金色财经用户:由金色财经孵化的「金色数藏」数藏平台,将于2022年5月17日-27日开展「520,来金色Pick你的数藏女神」活动,参与即有机会获得神秘数字藏品.

1900/1/1 0:00:00