月亮链 月亮链
Ctrl+D收藏月亮链

比特币:「AI白身境」入行AI需要什么数学基础:左手矩阵论,右手微积分_比特币最新价格行情走势GAN币

作者:

时间:1900/1/1 0:00:00

今天是新专栏《AI白身境》的第九篇,所谓白身,就是什么都不会,还没有进入角色。

咱们这个系列接近尾声了,今天来讲一个非常重要的话题,也是很多的小伙伴们关心的问题。要从事AI行业,吃这碗饭,至少应该先储备一些什么样的数学基础再开始。

下面从线性代数,概率论与统计学,微积分和最优化3个方向说起,配合简单案例,希望给大家做一个抛砖引玉,看完之后能够真正花时间去系统性补全各个方向的知识,笔者也还在努力。

作者|言有三

编辑|言有三

01线性代数

1.1向量

什么是数学?顾名思义,一门研究“数”的学问。学术点说,线性代数是一个数学分支,来源于希腊语μαθηματικ,意思是“学问的基础”。

数学不好,就不要谈学问了,只能算知识。

按照维基百科定义:数学是利用符号语言研究数量、结构、变化以及空间等概念的一门学科,从某种角度看属于形式科学的一种。所以一看见数学,我们就想起符号,方程式,简单点比如这个。

复杂的比如这个

代数是数学的一个分支,它的研究对象是向量,涵盖线、面和子空间,起源于对二维和三维直角坐标系的研究。

我们都知道欧式空间,任何一个向量(x,y,z)可以由三个方向的基组成

(x,y,z)=x(1,0,0)+y(0,1,0)+z(0,0,1)

它的维度是3,拓展至n就成为n维空间,这N维,相互是独立的,也就是任何一个都不能由其他的几维生成,这叫线性无关,很重要。

美国财长耶伦:美国通胀仍然过高 但在过去6个月有所缓和:金色财经报道,美国财长耶伦表示,鉴于俄乌冲突和最近银行系统受到的压力,美国政府仍然对下行风险保持警惕。美国银行体系依然稳健,资本和流动性状况强劲,全球金融体系具有弹性。耶伦还表示,美国通胀仍然过高,但在过去6个月有所缓和。[2023/4/11 13:57:17]

2.2线性回归问题

用向量表示问题有什么用呢?

假如基友今天约你去吃饭,没有说好谁买单,而根据之前的惯例你们从来不AA,今天你刚交了房租,没钱了,那么该不该去呢?我们可以先回归一下他主动买单的概率,先看一下和哪些变量有关,把它串成向量。

X=(刚发工资,刚交女朋友,刚分手,要离开北京,有事要我帮忙,无聊了,过生日,就是想请我吃饭,炒比特币赚了,炒比特币亏了,想蹭饭吃),共11维,结果用Y表示

Y=1,表示朋友付款,Y=-1,表示不付款

好,我们再来分析下:

和Y=1正相关的维度:要离开北京,有事要我帮忙,过生日,就是想请我吃饭,炒比特币赚了

和Y=-1正相关的维度:想蹭饭吃

暂时关系不明朗的维度:刚发工资,刚交女朋友,刚分手,无聊了,炒比特币亏了

好,拿出纸笔,今天是2019年1月22日,据我所知,这货就是一个典型的死宅摩羯工作狂

刚发工资=0,时候没到

刚交女朋友=0,不可能

刚分手=0,没得选

要离开北京=0,不像

有事要我帮忙=0,我能帮上什么忙

无聊了=1,估计是

过生日=0,不对

就是想请我吃饭=0,不可能

炒比特币赚了=?,不知道

炒比特币亏了=?,不知道

想蹭饭吃=?,不知道

IMF:比特币在萨尔瓦多的使用“可能会增加”:金色财经报道,国际货币基金组织(IMF)表示,比特币在萨尔瓦多的使用“可能会增加”。[2023/2/20 12:16:27]

这下麻烦了,有这么多选项未知,假如我们用一个权重矩阵来分析,即y=WX,W是行向量,X是列向量

X1到xn就是前面那些维度。现在等于

假如我们不学习参数,令所有的wi与y=1正相关的系数为1,与y=-1正相关为-1,关系不明的随机置为0.001和-0.001,那么就有下面的式子

还是3个未知数,问题并没有得到解决。

不过我们还是可以得到一些东西:

我们的模型还没有得到训练,现在的权重是手工设定的,这是不合理的,应该先抓比如1万个样本来填一下报告,把X和Y都填上。当然,要保证准确性,不能在报告中填了说自己会请客,实际吃起来就呵呵呵。这样就是标签打错了,肯定学不到东西。从X来看,这个朋友还是可以的,与y=1正相关的变量更多,但是,未必!因为现在X的维度太低了,比如这个朋友是不是本来就是小气鬼或者本来就喜欢请人吃饭,比如是来我家附近吃还是他家附近吃,比如他吃饭带不带女孩等等。上面提到了一些随机性,比如权重W的随机性,0.001或者-0.001,X本身的噪声α,β,γ。是不是很复杂,现实问题本来就很复杂嘛。不过如果你没有经济问题,那就可以简单点,不管这个模型,只问你今天想不想吃饭,是就去,不想吃就不去。

元宇宙平台开发商Mars Labs获DWF Labs 100万美元投资:12月16日消息,基于区块链的元宇宙平台开发商 Mars Labs 获 DWF Labs 100 万美元投资,并与 DWF Labs 建立战略合作伙伴关系。Mars Labs 计划于 2024 年推出以火星为背景的元宇宙 P2E 游戏,DWF Labs 将在营销方面协助 Mars Labs。[2022/12/16 21:49:05]

线性代数就说这么多,后面想好好学,一定要好好修行线性代数和矩阵分析,咱们以后再说,书单如下。

以下是一些关键词,如果都熟练了解了第一阶段也就OK了。

标量,向量,特征向量,张量,点积,叉积,线性回归,矩阵,秩,线性无关与线性相关,范数,奇异值分解,行列式,主成分分析,欧氏空间,希尔伯特空间。

02概率论与统计学

2.1概率论

概率大家都知道吧,研究的是随机性事件。大家应该都曾经饱受贝叶斯公式的折磨。

概率论中有以下几个概念,还是以之前的吃饭问题,朋友主动叫我吃饭为事件X,也叫观测数据,他请客了事件为Y,有以下几个概率,其中P(A|B)是指在事件B发生的情况下事件A发生的概率。

(1)X的先验概率,即朋友主动喊我吃饭的概率p(X),与Y无关。

(2)Y的先验概率p(Y):即单纯的统计以往所有吃饭时朋友请客的概率p(Y),与X无关。

数据:7,995枚BTC从Bitfinex转移到未知钱包:金色财经报道,WhaleAlert数据显示,7,995枚BTC(159,337,917美元)从Bitfinex转移到未知钱包。[2022/10/1 18:36:40]

(3)后验概率p(Y|X):就是给出观测数据X所得到的条件概率,即朋友喊我吃饭,并且会请客的概率。

anyway,饭我们吃完了,现在回家,结果未来的女朋友打来电话问去干嘛了,气氛有点严肃,原来是吹牛皮过程中没有看微信漏掉了很多信息。只好说去应酬了,妹子不满意问你还有钱吃饭,谁请客。我说不吃白不吃啊,朋友请。

妹子又问,谁主动提出吃饭的!

正好,那不就是要算后验概率p(X|Y)吗?也就是饭吃了,谁提议的。

于是故作聪明让妹子猜,还给了一个提示可以用贝叶斯公式,并且已知p(Y)=0.2,p(X)=0.8,再加上上面算出来的p(Y|X)

好了又回到了这个问题,3个未知变量。

不过没关系,我们可以先用它们的数学期望来替换掉,数学期望就是一个平均统计。

这说明什么?说明这一次吃饭,是朋友先动的嘴的概率p(X|Y)=0.002,那么今天99.8%是自己跑出去蹭吃吹牛皮了。

接下来的问题就是搓衣板是跪还是不跪,贝叶斯公式解决不了。

事情结束后,要想好好搞下去,肯定是要学好概率论和统计学习的。

芯片制造商英伟达的加密采矿芯片收入继续下降:金色财经报道,芯片巨头英伟达(Nvidia)表示,截至7月31日的2023财年第二季度,其加密货币采矿处理器(CMP)的销售额“很少”,低于一年前的2.66亿美元。英伟达曾用同样的术语来描述上一季度的CMP销售额,它当时指出CMP拖累了其“OEM和其他”业务部门的收入。

英伟达首席财务官称,“OEM和其他”业务部门第二季度的整体收入比去年同期下降了66%,至1.4亿美元,主要是受笔记本OEM销售下降的影响。“OEM和其他”业务部门只贡献了第二季度总收入的约2%。

根据FactSet的数据,Nvidia第二季度总收入为67亿美元,符合市场平均预期。8月初,Nvidia称其预计收入为67亿美元,远低于之前81亿美元的预期,主要原因是游戏收入减少。(CoinDesk)[2022/8/25 12:46:48]

同样,有一些关键词要掌握。

不确定性,随机变量,大数定律,联合分布,边缘分布,条件概率,贝叶斯公式,概率密度,墒与交叉墒,期望,最大似然估计,正态分布/高斯分布,伯努利分布,泊松分布,概率论与统计推断,马尔可夫链,判别模型,生成模型。

有意思的是:概率论还有一些东西是有点违背认知的,比如生日悖论。

一个班上如果有23个人,那么至少有两个人的生日是在同一天的概率要大于50%,对于60或者更多的人,这种概率要大于99%。大家都是上过学的少年,你在班上遇到过同一天生日的吗?

2.2传统机器学习算法基础

传统机器学习算法本来不应该放在这里说,但是因为其中有一部分算法用到了概率论,所以也提一句。

有很多人在知乎上问,搞深度学习还需要传统机器学习基础吗?当然要!且不说这个传统机器学习算法仍然在大量使用,光是因为它经典,就值得学习一下,依旧推荐一本书。

机器学习完成的任务就是一个模式识别任务,机器学习和模式识别这两个概念实际上等价,只是历史原因说法不同。

一个模式识别任务就是类似于识别这个图是不是猫,这封邮件是不是垃圾邮件,这个人脸是不是你本人之类的高级的任务。

传统的机器学习算法有两大模型,一个是判别模型,一个是生成模型,我们以前讲过,大家可以去看。

有三说GANs

传统机器学习算法就不展开了,太多。

03微积分与最优化

3.1导数

机器学习就是要学出一个模型,得到参数嘛,本质上就是优化一个数学方程,而且通常是离散的问题,这个时候大杀器就是微积分了。

微积分是什么,根据维基百科:

微积分学曾经指无穷小的计算,就是一门研究变化的学问,更学术点说就是研究函数的局部变化率,如下。

可知,在不同的X处它的导数是不相等的。如果遇到了一个导数为0的点,它很有可能就是最大值或者最小值,如下面的x=0点取得最小值y=0。

导数反映了y的变化趋势,比如这个方程x>0时,导数大于0,则y随着x的增加而增加。x<0时,导数小于0,则y随着x的增加而减小。

所以看导数,我们就得到了目标y的变化趋势,而深度学习或者说机器学习中需要优化的目标就是一个Y,也称之为目标函数,价值函数,损失函数等等。通常我们定义好一个目标函数,当它达到极大值或者极小值就实现了我们的期望。

不过还有个问题,就是导数等于0,一定是极值点吗?未必,比如鞍点。

上面的小红点就是鞍点,在这个曲面上,它在某些方向的导数等于0,但是显然它不是极值点,不是极大也不是极小,正因如此,给后面的优化埋下了一个坑。

如果你真的微积分也忘了,就需要补了。

3.2数值微分

前面说了,机器学习就是要求解目标的极值,极大值极小值是等价的不需要纠结,通常我们求极小值。

上面的函数我们轻轻松松就求解出了导数,从而得到了唯一的极值,这叫做解析解,答案很唯一,用数学方程就能手算出来。

但是实际要优化的神经网络上百万个参数,是不可能求出解析解的,只能求数值近似解,就是用数值微分的方法去逼近。

数值微分的核心思想就是用离散方法近似计算函数的导数值或偏导数值,相信同学们在课程中都学过。

向前差商公式:

向后差商公式:

中心差商公式:

有了感觉咱们接着说

那么,一般情况下要求解任意函数极值的方法是什么呢?在深度学习中就是梯度下降法。

梯度下降法可以说是最广泛使用的最优化方法,在目标函数是凸函数的时候可以得到全局解。虽然神经网络的优化函数通常都不会是凸函数,但是它仍然可以取得不错的结果。

梯度下降法的核心思想就是(公式比较多,就截图了):

这一套对所有的函数f(x)都通用,所以以导数的反方向进行搜索,就能够减小f(x),而且这个方向还是减小f(x)的最快的方向,这就是所谓的梯度下降法,也被称为“最速下降法”,参数更新方法如下。

关于微积分和最优化,咱们就点到为止了,不然就超出了白身境系列的要求。要补这方面的知识,就比较多了,建议先找花书中的对应章节看看,找找感觉再说。

最优化的方法还有很多,目前在神经网络优化中常用的是一阶优化方法,不过二阶优化方法也慢慢被研究起来,最后还是给出一些关键词去掌握。

导数,偏导数,线性规划,二次规划,动态规划,Hessianmatrix,损失函数,正则项,一阶优化方法(梯度下降法),二阶优化方法(牛顿法)等等。

好嘞,掌握了这些,就大胆往前走,不用怕了。

总结

数学这种东西,学习就是三步曲,一看书,二做题,三应用,其他学习方法比如看视频听课基本都是扯淡。

另外,数学怎么好都不过分。希望小白看完还能爱数学,毕竟这才刚刚开始一点点。

下期预告:下一期我们讲AI在当前各大研究方向。

标签:比特币GAN比特币中国官网联系方式40亿比特币能提现吗比特币最新价格行情走势GAN币GAN价格

以太坊交易所热门资讯
区块链:区块链是局?区块链是?脑补一下区块链的常识有好处_数字货币

区块链,这个词相信绝大多数人都听过。 区块链是什么? “是” “是局” “是庞氏局” “就是炒币的” 估计这些答案应该是最常听到的。也难怪,当大家都这么说的时候,也许它就变成这个了.

1900/1/1 0:00:00
ADF:时间序列该如何权衡平稳性和记忆力?_比特币最新价格行情走势

许多预测模型都要求时间序列具有一定的一致性,即“平稳性”。平常的转换,即整数阶差分(譬如,在金融学中表现为建模收益而不是绝对价格),消除了数据中的记忆,从而影响了建模的预测能力.

1900/1/1 0:00:00
:想了解新版第五套人民币?速看这里!_

新华社北京4月29日电题:想了解新版第五套人民币?速看这里! 新华社记者吴雨、张千千 作为新版“国家名片”,2019年版第五套人民币即将发行的消息一出,立即引发社会广泛关注.

1900/1/1 0:00:00
APP:严控、开白……学习类APP进校路径如何生变?_IPAD

导语 正在展出的致敬新中国教育70年“播撒希望”主题图片展上,展出影像的内容从建国初期的“扫盲热潮”到1977年恢复高考,到了2013年,“教育信息化”就成为了第一热词.

1900/1/1 0:00:00
区块链:罗玫:“脸书”的数字货币Libra项目——中国绝地反击的思考_区块链存证怎么弄

作者:罗玫,美国加州伯克利大学博士,清华大学经济管理学院会计系副教授、美国会计协会会员、美国金融协会会员.

1900/1/1 0:00:00
比特币:Blockstream CEO:比特币时代的发展速度快于互联网时代_区块链存证怎么弄

来源:巴比特 Blockstream首席执行官AdamBack日前出席活动时表示,比特币的发展速度远远超出人们的预期。在互联网早期有一句关于“互联网时代”的说法,而比特币时代似乎发展的更快.

1900/1/1 0:00:00