深度学习革命的笔记(38)

我来写笔记

按有用程度 按页码先后 最新笔记

展开收起
P292

shumi2 (Post tenebras spero lucem)

“自信的力量非常强大。我认识的最成功的人对自己的信任几乎到了妄想的地步，。。。如果你不相信自己，你就很难对未来有逆向的想法，而这正是创造大部分价值的地方。”（萨姆奥特曼）
2024-01-22 15:30:40 3人喜欢
展开收起
230 Joy Buolamwini 谁来决定？| 数据分析公司

豆友 (凭什么？做什么？为什么？)

人脸分析技术——评估我们如何确定进步？谁来决定进步意味着什么？我看到的主要问题是，我们用来决定进步情况的标准和衡量方式可能具有误导性，而且其误导性是因为抽样不足，大多数人严重缺乏代表性。 This was not just about facial analysis technology but about the evaluation of facial analysis technology,” she says. “How do we establish progress? Who gets to decide what progress means? The major issue th...
2024-03-23 16:59:36 1人喜欢
展开收起
139 谷歌大脑与词嵌入

豆友 (凭什么？做什么？为什么？)

Google Brain had already explored a technology called “word embeddings”: Tomas Mikolov, Ilya Sutskever, Kai Chen et al., “Distributed Representations of Words and Phrases and their Compositionality,” 2013, https://arxiv.org/abs/1301.3781 .
2024-03-23 14:18:06 1人喜欢
展开收起
P290

shumi2 (Post tenebras spero lucem)

（马斯克）解释说，人类的受限在于无法足够快地使用自己的应用程序，大脑和机器之间没有足够的“带宽”。人们仍然用“肉棒”------手指------在手机上打字。“我们必须通过与神经皮质的高速带宽连接来突破这个限制。”
2024-01-22 15:25:59 1人喜欢
展开收起
人的进步，而非进化

BWV八核 (我是伪君子，伪读书人)

AlphaGo认为没有人会走第78手。它计算，这一手出现的概率是万分之一——这是一个非常熟悉的数字。就跟面前的AlphaGo一样，李世石已经达到了一个新的水平，他在比赛的最后一天与哈萨比斯私下会面时也说了同样的话。这位韩国人说，与机器对弈，不仅重新点燃了他对围棋的热情，还拓展了他的思维，给了他新的灵感。“我已经进步了。”他告诉哈萨比斯，同时也回应了范辉几天前所说的话。在接下来的9场比赛中，李世石都战胜了顶尖的人...
2023-02-26 18:42:45
展开收起
08炒作

顾文 (Wo ich bin, ist Deutschland.)

这种情况经常发生在大型科技公司或小公司内部：大多数人看不到自己正在做的事情之外的东西。阿兰·尤斯塔斯认为，诀窍在于让自己处在一些特定人群周围，这些人能够将新的专业知识应用到旧技术似乎无法解决的问题上。“大多数人是以特定的方式、特定的视角和特定的历史来看待特定问题的，”他说，“他们无法看到那些能改变格局的专业知识的交会点。”
2025-02-12 10:01:33
展开收起
第一章第四节微软的尝试与谷歌的新突破

顾文 (Wo ich bin, ist Deutschland.)

“在多伦多大学，辛顿采用了一种非常特殊的计算机芯片，叫GPU。”
2025-02-08 08:19:50
展开收起
人类语言是怎样工作的？ | 辛顿谈语义学

豆友 (凭什么？做什么？为什么？)

大语言模型的工作原理：所有知识都体现在给一个词分配哪些特征以及不同词的特征应该怎样相互作用。这个模型不存储任何句子，却可以重构句子，也就是通过反复预测下一个词来生成句子。这也是大语言模型的工作原理。它实际上不存储任何文本，而是学习从文本中提取特征，把它分配给各个单词，并提取这些特征之间的相互作用，这样就可以预测下一个词的特征。 …… 那些说这种模型和我们人类不同的人,实际上并没有什么模型,来说明人...
2024-10-25 22:09:30
展开收起
全书

47

深度学习70年代就有了，曾经在某几个节点有一些引人注目的表现，但是长达几十年大多数时候都是不被认可的，学术主流都是符号主义。辛顿这个学术世家不被认同的孩子，在探究大脑运行原理的过程中，发现了深度学习这个方向。一直坚守到2010年左右有一系列的突破表现。图像识别，语音识别，翻译…这让大公司意识到了其重要性，google meta 微软等等都是这个时候开始争抢人才。几个关键的技术。杨立昆卷积神经网络，伊恩本吉奥的...
2024-08-04 17:35:34
展开收起
All

peach (我在看百年孤独~~~)

《深度学习革命》凯德·梅茨 167个笔记 ◆ 推荐序一场影响深远的秘密竞拍——深度学习推动全球科技产业变革的“发令枪” >> 一种非监督的卷积深度学习算法，来提取图像特征，然后用浅层的监督学习方法来做识别。当时，我们也试过监督学习的卷积神经网络，但是训练很难收敛。所以，我应该是世界上最了解辛顿团队用卷积神经网络赢得ImageNet竞赛这件事的重要意义的人。 >> 另外一名学生伊利亚·萨特斯基弗后来与埃隆·马斯克等...
2024-07-02 13:53:25