• Either w a y , the goal is to mak e sure that 2 the expected total input to a unit at test time is roughly the same as the exp ected total input to that unit at train time, ev en though half the units at train time are missing on a verage. F or many classes of mo dels that do not ha v e nonlinear hidden units, the weigh t scaling inference rule is exact. F or a simple example, consider a softmax regression classifier with input v ariables represented b y the vector : n v P y ( = y | v ) = softmax  W  v + b  y . (7.56) W e can index in to the family of sub-mo dels b y elemen t-wise m ultiplication of the input with a binary v ector : d P y ( = y | v ; ) = d softmax  W  ( ) + d  v b  y . (7.57) The ensem ble predictor is defined b y re-normalizing the geometric mean o ver all ensem ble mem b ers’ predictions: P ensemb le ( = ) = y y | v ˜ P ensemb le ( = ) y y | v  y  ˜ P ensemb le ( = y y  | v ) (7.58) where ˜ P ensemb le ( = ) = y y | v 2 n   d ∈{ } 0 1 , n P y . ( = y | v ; ) d (7.59) 263 --- Page Break --- CHAPTER 7. REGULARI ZA TION FOR DEEP LEARNING T o see that the w eight scaling rule is exact, we can simplify ˜ P ensemb le : ˜ P ensemb le ( = ) = y y | v 2 n   d ∈{ } 0 1 , n P y ( = y | v ; ) d (7.60) = 2 n   d ∈{ } 0 1 , n softmax ( W  ( ) + ) d  v b y (7.61) = 2 n      d ∈{ } 0 1 , n exp  W  y , : ( ) + d  v b   y  exp  W  y  , : ( ) + d  v b  (7.62) = 2 n   d ∈{ } 0 1 , n exp  W  y , : ( ) + d  v b  2 n   d ∈{ } 0 1 , n  y  exp  W  y  , : ( ) + d  v b  (7.63) Because ˜ P will b e normalized, w e can safely ignore multiplication by factors that are constan t with respect to : y ˜ P ensemb le ( = ) y y | v ∝ 2 n   d ∈{ } 0 1 , n exp  W  y , : ( ) + d  v b  (7.64) = exp   1 2 n  d ∈{ } 0 1 , n W  y , : ( ) + d  v b   (7.65) = exp  1 2 W  y , : v + b  (7.66) Substituting this bac k in to Eq. w e obtain a softmax classifier with weigh ts 7.58 1 2 W . The weigh t scaling rule is also exact in other settings, including regression net w orks with conditionally normal outputs, and deep netw orks that hav e hidden la y ers without nonlinearities. Ho w ev er, the w eight scaling rule is only an appro xi- mation for deep models that hav e nonlinearities. Though the appro ximation has not been theoretically characterized, it often w orks w ell, empirically . Go o dfellow et al. ( ) found exp erimentally that the w eight scaling appro ximation can work 2013a b etter (in terms of classification accuracy) than Monte Carlo approximations to the ensem ble predictor. This held true ev en when the Mon te Carlo appro ximation was allo w ed to sample up to 1,000 sub-net w orks. ( ) found Gal and Ghahramani 2015 that some models obtain b etter classification accuracy using t wen ty samples and 264 --- Page Break --- CHAPTER 7. REGULARI ZA TION FOR DEEP LEARNING the Mon te Carlo appro ximation. It appears that the optimal choice of inference appro ximation is problem-depende nt. Sriv asta v a 2014 et al. ( ) show ed that drop out is more effective than other standard computationally inexp ensive regularizers, suc h as w eigh t decay , filter norm constraints and sparse activit y regularization. Drop out ma y also be com bined with other forms of regularization to yield a further improv ement. One adv antage of drop out is that it is very computationally cheap. Using drop out during training requires only O ( n ) computation p er example p er update, to generate n random binary n um b ers and multiply them b y the state. Dep ending on the implemen tation, it may also require O ( n ) memory to store these binary n um b ers un til the bac k-propagation stage. Running inference in the trained mo del has the same cost p er-example as if drop out w ere not used, though we m ust pay the cost of dividing the weigh ts by 2 once b efore b eginning to run inference on examples. Another significan t adv an tage of drop out is that it do es not significantly limit the t yp e of mo del or training pro cedure that can be used. It works w ell with nearly an y mo del that uses a distributed represen tation and can b e trained with sto chastic gradien t descen t. This includes feedforw ard neural net w orks, probabilistic mo dels suc h as restricted Boltzmann mac hines ( Sriv astav a 2014 et al. , ), and recurren t neural net w orks ( Ba y er and Osendorfer 2014 P ascan u 2014a , ; et al. , ). Many other regularization strategies of comparable p ow er imp ose more sev ere restrictions on the arc hitecture of the model. Though the cost p er-step of applying drop out to a specific mo del is negligible, the cost of using drop out in a complete system can be significan t. Because dropout is a regularization tec hnique, it reduces the effectiv e capacity of a model. T o offset this effect, we m ust increase the size of the model. Typically the optimal v alidation set error is m uc h lo w er when using drop out, but this comes at the cost of a m uc h larger model and many more iterations of the training algorithm. F or very large datasets, regularization confers little reduction in generalization error. In these cases, the computational cost of using dropout and larger models may outw eigh the b enefit of regularization. When extremely few labeled training examples are av ailable, drop out is less effectiv e. Ba y esian neural net works ( , ) outp erform dropout o n the Neal 1996 Alternativ e Splicing Dataset ( , ) where few er than 5,000 examples Xiong et al. 2011 are a v ailable ( Sriv asta v a 2014 et al. , ). When additional unlabeled data is a v ailable, unsup ervised feature learning can gain an adv antage ov er drop out. W ager 2013 et al. ( ) show ed that, when applied to linear regression, drop out is equiv alen t to L 2 w eigh t deca y , with a different weigh t decay co efficient for 265 --- Page Break --- CHAPTER 7. REGULARI ZA TION FOR DEEP LEARNING eac h input feature. The magnitude of eac h feature’s w eigh t deca y co efficien t is determined b y its v ariance. Similar results hold for other linear mo dels. F or deep mo dels, drop out is not equiv alent to w eight decay . The sto chasticit y used while training with drop out is not necessary for the approac h’s success. It is just a means of approximating the sum ov er all sub- mo dels.
  • Either way, the goal is to make sure that the expected total input to a unit at test time is roughly the same as the expected total input to that unit at train time, even though half the units at train time are missing on average.
    • 固定搭配:“either way”意为“不管怎样”；“make sure”意为“确保”；“on average”意为“平均”。
    • 句子分析:这是一个复合句，“the goal is to make sure...”为主句，“that the expected total input...at train time”是宾语从句，“even though...”引导让步状语从句。句子主要表达不管怎样，目标是确保测试时一个单元的预期总输入大致和训练时该单元的预期总输入相同，即便训练时有一半单元平均缺失。
    • 翻译:不管怎样，目标是确保测试时一个单元的预期总输入大致与训练时该单元的预期总输入相同，即使训练时平均有一半的单元缺失。
    • 单词分析:
      • roughly:副词，词源来自形容词“rough”（粗糙的），词义：大致地；粗略地。
        • 记忆方法:“rough”（粗糙）+“ly”（副词后缀），可联想做事粗糙所以是大致地做。
        • 形近词:roughly/roughen（使粗糙）、rouge（口红）。
        • 发音解析:
          • 音节分解:rough + ly /ˈrʌfli/，重音在第一音节
          • 规则:rough → /rʌf/， “rough” 发 /rʌf/ 音，其中 “r” 发 /r/ 音，“ou” 发短元音 /ʌ/，“gh” 发 /f/ 音。
          • 规则:ly → /li/， “ly” 发 /li/ 音，其中 “l” 发 /l/ 音，“y” 发 /i/ 音。
  • For many classes of models that do not have nonlinear hidden units, the weight scaling inference rule is exact.
    • 固定搭配:无。
    • 句子分析:这是一个主从复合句，“For many classes of models...”是状语，其中“that do not have nonlinear hidden units”是定语从句修饰“models”，主句是“the weight scaling inference rule is exact”。句子表明对于很多没有非线性隐藏单元的模型类别，权重缩放推理规则是精确的。
    • 翻译:对于许多没有非线性隐藏单元的模型类别，权重缩放推理规则是精确的。
    • 单词分析:
      • nonlinear:形容词，由“non-”（非）和“linear”（线性的）构成，词义：非线性的。
        • 记忆方法:“non-”表示否定，“linear”是线性，合起来就是非线性。
        • 形近词:nonlinear/linear（线性的）、nonstop（不停的）。
        • 发音解析:
          • 音节分解:non + lin + ear /ˌnɒnˈlɪniə(r)/，重音在第二音节
          • 规则:non → /nɒn/， “non” 发 /nɒn/ 音，其中 “n” 发 /n/ 音，“o” 发短元音 /ɒ/。
          • 规则:lin → /lɪn/， “lin” 发 /lɪn/ 音，其中 “l” 发 /l/ 音，“i” 发短元音 /ɪ/，“n” 发 /n/ 音。
          • 规则:ear → /iə(r)/， “ear” 发 /iə(r)/ 音，其中 “e” 发长元音 /iː/，“a” 不发音，“r” 发 /r/ 音。
    • inference:名词，词源来自动词“infer”（推断），词义：推理；推断。
      • 记忆方法:“infer”（推断）+“ence”（名词后缀），表示推断的行为或结果。
      • 形近词:inference/infer（推断）、reference（参考）。
      • 发音解析:
        • 音节分解:in + fer + ence /ˈɪnfərəns/，重音在第一音节
        • 规则:in → /ɪn/， “in” 发 /ɪn/ 音，其中 “i” 发短元音 /ɪ/，“n” 发 /n/ 音。
        • 规则:fer → /fɜː(r)/， “fer” 发 /fɜː(r)/ 音，其中 “f” 发 /f/ 音，“e” 发长元音 /ɜː/，“r” 发 /r/ 音。
        • 规则:ence → /əns/， “ence” 发 /əns/ 音，其中 “e” 发短元音 /ə/，“n” 发 /n/ 音，“c” 发 /s/ 音。
  • For a simple example, consider a softmax regression classifier with input variables represented by the vector: n v P y ( = y | v ) = softmax  W  v + b  y. (7.56)
    • 固定搭配:无。
    • 句子分析:这是一个祈使句，“consider...”为核心，“with input variables represented by the vector”是后置定语修饰“classifier”。句子是让考虑一个用向量表示输入变量的softmax回归分类器。
    • 翻译:举个简单的例子，考虑一个输入变量由向量表示的softmax回归分类器：n v P y ( = y | v ) = softmax  W  v + b  y。(7.56)
    • 单词分析:
      • softmax:名词，是一个专业术语，由“soft”（软的）和“max”（最大）组合，词义：softmax函数（一种常用的激活函数）。
        • 记忆方法:联想“soft”和“max”组合，可理解为将最大值进行软化处理的函数。
        • 形近词:softmax/soften（使变软）、maximum（最大值）。
        • 发音解析:
          • 音节分解:soft + max /ˈsɒftmæks/，重音在第一音节
          • 规则:soft → /sɒft/， “soft” 发 /sɒft/ 音，其中 “s” 发 /s/ 音，“o” 发短元音 /ɒ/，“f” 发 /f/ 音，“t” 发 /t/ 音。
          • 规则:max → /mæks/， “max” 发 /mæks/ 音，其中 “m” 发 /m/ 音，“a” 发短元音 /æ/，“x” 发 /ks/ 音。
    • regression:名词，词源来自拉丁语“regressus”（退回），词义：回归（统计学概念）。
      • 记忆方法:“re-”（回）+“gress”（走）+“ion”（名词后缀），可联想往回走，在统计学里就是回归。
      • 形近词:regression/regress（退回）、progress（进步）。
      • 发音解析:
        • 音节分解:re + gress + ion /rɪˈɡreʃn/，重音在第二音节
        • 规则:re → /rɪ/， “re” 发 /rɪ/ 音，其中 “r” 发 /r/ 音，“e” 发短元音 /ɪ/。
        • 规则:gress → /ɡres/， “gress” 发 /ɡres/ 音，其中 “g” 发 /ɡ/ 音，“re” 发短元音 /e/，“ss” 发 /s/ 音。
        • 规则:ion → /ʃn/， “ion” 发 /ʃn/ 音，其中 “i” 不发音，“o” 发短元音 /ə/，“n” 发 /n/ 音。
    • classifier:名词，由“classify”（分类）+“-er”（表示人或物的后缀），词义：分类器。
      • 记忆方法:“classify”是分类，加“-er”就是做分类的东西，即分类器。
      • 形近词:classifier/classify（分类）、clarify（澄清）。
      • 发音解析:
        • 音节分解:class + i + fy + er /ˈklæsɪfaɪə(r)/，重音在第一音节
        • 规则:class → /klɑːs/， “class” 发 /klɑːs/ 音，其中 “c” 发 /k/ 音，“l” 发 /l/ 音，“a” 发长元音 /ɑː/，“ss” 发 /s/ 音。
        • 规则:i → /ɪ/， “i” 发 /ɪ/ 音，短元音。
        • 规则:fy → /faɪ/， “fy” 发 /faɪ/ 音，其中 “f” 发 /f/ 音，“y” 发长元音 /aɪ/。
        • 规则:er → /ə(r)/， “er” 发 /ə(r)/ 音，其中 “e” 发短元音 /ə/，“r” 发 /r/ 音。
  • We can index into the family of sub - models by element - wise multiplication of the input with a binary vector: d P y ( = y | v ; ) = d softmax  W  ( ) + d  v b  y. (7.57)
    • 固定搭配:“index into”意为“索引到”；“element - wise multiplication”意为“逐元素相乘”。
    • 句子分析:这是一个简单句，“We”是主语，“can index into”是谓语，“the family of sub - models”是宾语，“by...”是方式状语。句子说我们可以通过输入与二进制向量逐元素相乘来索引子模型族。
    • 翻译:我们可以通过输入与二进制向量逐元素相乘来索引子模型族：d P y ( = y | v ; ) = d softmax  W  ( ) + d  v b  y。(7.57)
    • 单词分析:
      • index:动词，词源来自拉丁语“index”（指示），词义：索引；指示。
        • 记忆方法:可联想字典的索引，能指示内容位置。
        • 形近词:index/indicate（指示）、indigo（靛蓝色）。
        • 发音解析:
          • 音节分解:in + dex /ˈɪndeks/，重音在第一音节
          • 规则:in → /ɪn/， “in” 发 /ɪn/ 音，其中 “i” 发短元音 /ɪ/，“n” 发 /n/ 音。
          • 规则:dex → /deks/， “dex” 发 /deks/ 音，其中 “d” 发 /d/ 音，“e” 发短元音 /e/，“x” 发 /ks/ 音。
    • binary:形容词，词源来自拉丁语“binarius”（由两个组成），词义：二进制的。
      • 记忆方法:“bi-”表示“二”，所以是二进制的。
      • 形近词:binary/bicycle（自行车）、biweekly（双周的）。
      • 发音解析:
        • 音节分解:bi + na + ry /ˈbaɪnəri/，重音在第一音节
        • 规则:bi → /baɪ/， “bi” 发 /baɪ/ 音，其中 “b” 发 /b/ 音，“i” 发长元音 /aɪ/。
        • 规则:na → /nə/， “na” 发 /nə/ 音，其中 “n” 发 /n/ 音，“a” 发短元音 /ə/。
        • 规则:ry → /ri/， “ry” 发 /ri/ 音，其中 “r” 发 /r/ 音，“y” 发 /i/ 音。
  • The ensemble predictor is defined by re - normalizing the geometric mean over all ensemble members’ predictions: P ensemble ( = ) = y y | v ˜ P ensemble ( = ) y y | v  y  ˜ P ensemble ( = y y  | v ) (7.58)
    • 固定搭配:“be defined by”意为“由……定义”；“geometric mean”意为“几何平均数”。
    • 句子分析:这是一个被动句，“The ensemble predictor”是主语，“is defined by...”是谓语部分，“re - normalizing...”是方式。句子说明集成预测器是通过对所有集成成员的预测进行重新归一化几何平均数来定义的。
    • 翻译:集成预测器是通过对所有集成成员的预测进行重新归一化几何平均数来定义的：P ensemble ( = ) = y y | v ˜ P ensemble ( = ) y y | v  y  ˜ P ensemble ( = y y  | v ) (7.58)
    • 单词分析:
      • ensemble:名词，词源来自法语“ensemble”（一起），词义：集成；全体。
        • 记忆方法:联想一群人一起做事，就是一个集成。
        • 形近词:ensemble/resemble（相似）、assemble（集合）。
        • 发音解析:
          • 音节分解:en + sem + ble /ɒ̃sɑ̃bl/，重音在第一音节（法语发音）
          • 规则:en → /ɒ̃/， “en” 发 /ɒ̃/ 音，鼻化元音。
          • 规则:sem → /sɑ̃/， “sem” 发 /sɑ̃/ 音，鼻化元音。
          • 规则:ble → /bl/， “ble” 发 /bl/ 音，其中 “b” 发 /b/ 音，“l” 发 /l/ 音。
    • predictor:名词，由“predict”（预测）+“-or”（表示人或物的后缀），词义：预测器。
      • 记忆方法:“predict”是预测，加“-or”就是做预测的东西，即预测器。
      • 形近词:predictor/predict（预测）、dictator（独裁者）。
      • 发音解析:
        • 音节分解:pre + dict + or /prɪˈdɪktə(r)/，重音在第二音节
        • 规则:pre → /prɪ/， “pre” 发 /prɪ/ 音，其中 “p” 发 /p/ 音，“r” 发 /r/ 音，“e” 发短元音 /ɪ/。
        • 规则:dict → /dɪkt/， “dict” 发 /dɪkt/ 音，其中 “d” 发 /d/ 音，“i” 发短元音 /ɪ/，“c” 发 /k/ 音，“t” 发 /t/ 音。
        • 规则:or → /ə(r)/， “or” 发 /ə(r)/ 音，其中 “o” 发短元音 /ə/，“r” 发 /r/ 音。
    • re - normalize:动词，“re-”表示“再；重新”，“normalize”是“归一化”，词义：重新归一化。
      • 记忆方法:“re-”加“normalize”，很直观就是重新归一化。
      • 形近词:re - normalize/normalize（归一化）、regularize（正则化）。
      • 发音解析:
        • 音节分解:re + nor + mal + ize /riːˈnɔːrmaɪz/，重音在第二音节
        • 规则:re → /riː/， “re” 发 /riː/ 音，长元音。
        • 规则:nor → /nɔː(r)/， “nor” 发 /nɔː(r)/ 音，其中 “n” 发 /n/ 音，“o” 发长元音 /ɔː/，“r” 发 /r/ 音。
        • 规则:mal → /mæl/， “mal” 发 /mæl/ 音，其中 “m” 发 /m/ 音，“a” 发短元音 /æ/，“l” 发 /l/ 音。
        • 规则:ize → /aɪz/， “ize” 发 /aɪz/ 音，其中 “i” 发长元音 /aɪ/，“z” 发 /z/ 音。
  • where ˜ P ensemble ( = ) = y y | v 2 n   d ∈{ } 0 1, n P y. ( = y | v ; ) d (7.59)
    • 固定搭配:无。
    • 句子分析:这是一个解释说明的句子，“where”引导的从句对前面的公式进行解释。
    • 翻译:其中 ˜ P ensemble ( = ) = y y | v 2 n   d ∈{ } 0 1, n P y. ( = y | v ; ) d (7.59)
    • 单词分析:无。
  • To see that the weight scaling rule is exact, we can simplify ˜ P ensemble: ˜ P ensemble ( = ) = y y | v 2 n   d ∈{ } 0 1, n P y ( = y | v ; ) d (7.60)
    • 固定搭配:无。
    • 句子分析:“To see that...”是目的状语，“we”是主语，“can simplify”是谓语，“˜ P ensemble”是宾语。句子是说为了证明权重缩放规则是精确的，我们可以简化 ˜ P ensemble。
    • 翻译:为了证明权重缩放规则是精确的，我们可以简化 ˜ P ensemble：˜ P ensemble ( = ) = y y | v 2 n   d ∈{ } 0 1, n P y ( = y | v ; ) d (7.60)
    • 单词分析:无。
  • = 2 n   d ∈{ } 0 1, n softmax ( W  ( ) + ) d  v b y (7.61)
    • 固定搭配:无。
    • 句子分析:这是公式的进一步推导过程，是对上一步公式的展开。
    • 翻译: = 2 n   d ∈{ } 0 1, n softmax ( W  ( ) + ) d  v b y (7.61)
    • 单词分析:无。
  • = 2 n      d ∈{ } 0 1, n exp  W  y, : ( ) + d  v b   y  exp  W  y , : ( ) + d  v b  (7.62)
    • 固定搭配:无。
    • 句子分析:继续公式推导。
    • 翻译: = 2 n      d ∈{ } 0 1, n exp  W  y, : ( ) + d  v b   y  exp  W  y , : ( ) + d  v b  (7.62)
    • 单词分析:
      • exp:缩写词，是“exponential”（指数的）的缩写，词义：指数函数。
        • 记忆方法:记住它是指数函数的常用缩写。
        • 形近词:exp/explore（探索）、expand（扩展）。
        • 发音解析:
          • 音节分解:exp /eksˈpiː/，重音在第一音节
          • 规则:ex → /eks/， “ex” 发 /eks/ 音，其中 “e” 发短元音 /e/，“x” 发 /ks/ 音。
          • 规则:p → /p/， “p” 发 /p/ 音。
  • = 2 n   d ∈{ } 0 1, n exp  W  y, : ( ) + d  v b  2 n   d ∈{ } 0 1, n  y  exp  W  y , : ( ) + d  v b  (7.63)
    • 固定搭配:无。
    • 句子分析:继续公式推导。
    • 翻译: = 2 n   d ∈{ } 0 1, n exp  W  y, : ( ) + d  v b  2 n   d ∈{ } 0 1, n  y  exp  W  y , : ( ) + d  v b  (7.63)
    • 单词分析:无。
  • Because ˜ P will be normalized, we can safely ignore multiplication by factors that are constant with respect to : y ˜ P ensemble ( = ) y y | v ∝ 2 n   d ∈{ } 0 1, n exp  W  y, : ( ) + d  v b  (7.64)
    • 固定搭配:“with respect to”意为“关于；至于”。
    • 句子分析:“Because...”引导原因状语从句，主句是“we can safely ignore...”，“that are constant with respect to : y”是定语从句修饰“factors”。句子是说因为 ˜ P 会被归一化，所以我们可以安全地忽略与 y 相关的常量因子的乘法。
    • 翻译:因为 ˜ P 会被归一化，所以我们可以安全地忽略与 y 相关的常量因子的乘法：˜ P ensemble ( = ) y y | v ∝ 2 n   d ∈{ } 0 1, n exp  W  y, : ( ) + d  v b  (7.64)
    • 单词分析:
      • normalize:动词，词源来自“normal”（正常的），词义：归一化；使正常化。
        • 记忆方法:“normal”（正常）+“-ize”（使……化），就是使变得正常，在数学里就是归一化。
        • 形近词:normalize/normal（正常的）、formalize（使正式化）。
        • 发音解析:
          • 音节分解:nor + mal + ize /ˈnɔːrmaɪz/，重音在第一音节
          • 规则:nor → /nɔː(r)/， “nor” 发 /nɔː(r)/ 音，其中 “n” 发 /n/ 音，“o” 发长元音 /ɔː/，“r” 发 /r/ 音。
          • 规则:mal → /mæl/， “mal” 发 /mæl/ 音，其中 “m” 发 /m/ 音，“a” 发短元音 /æ/，“l” 发 /l/ 音。
          • 规则:ize → /aɪz/， “ize” 发 /aɪz/ 音，其中 “i” 发长元音 /aɪ/，“z” 发 /z/ 音。
    • constant:形容词，词源来自拉丁语“constans”（坚定的），词义：常量的；恒定的。
      • 记忆方法:“con-”（一起）+“stant”（站），站在一起不动，就是恒定的。
      • 形近词:constant/instant（立刻的）、distance（距离）。
      • 发音解析:
        • 音节分解:con + stant /ˈkɒnstənt/，重音在第一音节
        • 规则:con → /kɒn/， “con” 发 /kɒn/ 音，其中 “c” 发 /k/ 音，“o” 发短元音 /ɒ/，“n” 发 /n/ 音。
        • 规则:stant → /stənt/， “stant” 发 /stənt/ 音，其中 “s” 发 /s/ 音，“t” 发 /t/ 音，“a” 发短元音 /ə/，“n” 发 /n/ 音。
  • = exp   1 2 n  d ∈{ } 0 1, n W  y, : ( ) + d  v b   (7.65)
    • 固定搭配:无。
    • 句子分析:公式推导。
    • 翻译: = exp   1 2 n  d ∈{ } 0 1, n W  y, : ( ) + d  v b   (7.65)
    • 单词分析:无。
  • = exp  1 2 W  y, : v + b  (7.66)
    • 固定搭配:无。
    • 句子分析:公式推导。
    • 翻译: = exp  1 2 W  y, : v + b  (7.66)
    • 单词分析:无。
  • Substituting this back into Eq. we obtain a softmax classifier with weights 7.58 1 2 W.
    • 固定搭配:“substitute...into...”意为“将……代入……”。
    • 句子分析:“Substituting this back into Eq.”是现在分词短语作状语，“we”是主语，“obtain”是谓语。句子是说将这个代回方程7.58，我们得到一个权重为 1 2 W 的softmax分类器。
    • 翻译:将这个代回方程7.58，我们得到一个权重为 1 2 W 的softmax分类器。
    • 单词分析:
      • substitute:动词，词源来自拉丁语“substituere”（替代），词义：替代；代入。
        • 记忆方法:“sub-”（下面）+“stitute”（站），站在下面准备替代。
        • 形近词:substitute/substance（物质）、institute（机构）。
        • 发音解析:
          • 音节分解:sub + sti + tute /ˈsʌbstɪtjuːt/，重音在第一音节
          • 规则:sub → /sʌb/， “sub” 发 /sʌb/ 音，其中 “s” 发 /s/ 音，“u” 发短元音 /ʌ/，“b” 发 /b/ 音。
          • 规则:sti → /stɪ/， “sti” 发 /stɪ/ 音，其中 “s” 发 /s/ 音，“t” 发 /t/ 音，“i” 发短元音 /ɪ/。
          • 规则:tute → /tjuːt/， “tute” 发 /tjuːt/ 音，其中 “t” 发 /t/ 音，“u” 发长元音 /juː/，“e” 不发音。
  • The weight scaling rule is also exact in other settings, including regression networks with conditionally normal outputs, and deep networks that have hidden layers without nonlinearities.
    • 固定搭配:无。
    • 句子分析:这是一个简单句，“The weight scaling rule”是主语，“is”是谓语，“exact”是表语，“including...”是对“other settings”的举例说明。句子表明权重缩放规则在其他设置中也是精确的，包括有条件正态输出的回归网络和没有非线性的深层网络。
    • 翻译:权重缩放规则在其他设置中也是精确的，包括具有条件正态输出的回归网络和没有非线性的深层网络。
    • 单词分析:
      • conditionally:副词，由“conditional”（有条件的）+“-ly”（副词后缀），词义：有条件地。
        • 记忆方法:“conditional”加“-ly”变成副词。
        • 形近词:conditionally/conditional（有条件的）、condition（条件）。
        • 发音解析:
          • 音节分解:con + di + tion + al + ly /kənˌdɪʃənəli/，重音在第二音节
          • 规则:con → /kən/， “con” 发 /kən/ 音，其中 “c” 发 /k/ 音，“o” 发短元音 /ə/，“n” 发 /n/ 音。
          • 规则:di → /dɪ/， “di” 发 /dɪ/ 音，其中 “d” 发 /d/ 音，“i” 发短元音 /ɪ/。
          • 规则:tion → /ʃn/， “tion” 发 /ʃn/ 音，其中 “t” 发 /ʃ/ 音，“i” 不发音，“o” 发短元音 /ə/，“n” 发 /n/ 音。
          • 规则:al → /əl/， “al” 发 /əl/ 音，其中 “a” 发短元音 /ə/，“l” 发 /l/ 音。
          • 规则:ly → /li/， “ly” 发 /li/ 音，其中 “l” 发 /l/ 音，“y” 发 /i/ 音。
    • nonlinearities:名词复数，由“non-”（非）+“linear”（线性的）+“-ity”（名词后缀），词义：非线性。
      • 记忆方法:“non-”否定“linear”，再加“-ity”表示名词。
      • 形近词:nonlinearities/nonlinear（非线性的）、linearity（线性）。
      • 发音解析:
        • 音节分解:non + lin + ear + i + ties /ˌnɒnˌlɪniˈærɪtiz/，重音在第三音节
        • 规则:non → /nɒn/， “non” 发 /nɒn/ 音，其中 “n” 发 /n/ 音，“o” 发短元音 /ɒ/。
        • 规则:lin → /lɪn/， “lin” 发 /lɪn/ 音，其中 “l” 发 /l/ 音，“i” 发短元音 /ɪ/，“n” 发 /n/ 音。
        • 规则:ear → /iə(r)/， “ear” 发 /iə(r)/ 音，其中 “e” 发长元音 /iː/，“a” 不发音，“r” 发 /r/ 音。
        • 规则:i → /ɪ/， “i” 发 /ɪ/ 音，短元音。
        • 规则:ties → /tiz/， “ties” 发 /tiz/ 音，其中 “t” 发 /t/ 音，“i” 发长元音 /iː/，“e” 不发音，“s” 发 /z/ 音。
  • However, the weight scaling rule is only an approximation for deep models that have nonlinearities.
    • 固定搭配:无。
    • 句子分析:“However”表示转折，主句是“the weight scaling rule is only an approximation”，“that have nonlinearities”是定语从句修饰“deep models”。句子说然而，权重缩放规则对于有非线性的深层模型只是一个近似。
    • 翻译:然而，对于具有非线性的深度模型，权重缩放规则只是一种近似。
    • 单词分析:
      • approximation:名词，词源来自拉丁语“approximare”（接近），词义：近似；近似值。
        • 记忆方法:“approximate”（近似）+“-ion”（名词后缀）。
        • 形近词:approximation/approximate（近似的）、proximation（接近）。
        • 发音解析:
          • 音节分解:ap + prox + i + ma + tion /əˌprɒksɪˈmeɪʃn/，重音在第三音节
          • 规则:ap → /əp/， “ap” 发 /əp/ 音，其中 “a” 发短元音 /ə/，“p” 发 /p/ 音。
          • 规则:prox → /prɒks/， “prox” 发 /prɒks/ 音，其中 “p” 发 /p/ 音，“r” 发 /r/ 音，“o” 发短元音 /ɒ/，“x” 发 /ks/ 音。
          • 规则:i → /ɪ/， “i” 发 /ɪ/ 音，短元音。
          • 规则:ma → /meɪ/， “ma” 发 /meɪ/ 音，其中 “m” 发 /m/ 音，“a” 发长元音 /eɪ/。
          • 规则:tion → /ʃn/， “tion” 发 /ʃn/ 音，其中 “t” 发 /ʃ/ 音，“i” 不发音，“o” 发短元音 /ə/，“n” 发 /n/ 音。
  • Though the approximation has not been theoretically characterized, it often works well, empirically.
    • 固定搭配:无。
    • 句子分析:“Though...”引导让步状语从句，主句是“it often works well”。句子是说虽然这种近似还没有在理论上被描述，但在经验上它通常效果很好。
    • 翻译:尽管这种近似方法尚未在理论上得到明确的特征描述，但在实践中它往往效果良好。
    • 单词分析:
      • theoretically:副词，由“theoretical”（理论的）+“-ly”（副词后缀），词义：理论上。
        • 记忆方法:“theoretical”加“-ly”变成副词。
        • 形近词:theoretically/theoretical（理论的）、theory（理论）。
        • 发音解析:
          • 音节分解:theo + ret + i + cal + ly /ˌθɪəˈretɪkli/，重音在第三音节
          • 规则:theo → /θiːəʊ/， “theo” 发 /θiːəʊ/ 音，其中 “th” 发 /θ/ 音，“e” 发长元音 /iː/，“o” 发长元音 /əʊ/。
          • 规则:ret → /ret/， “ret” 发 /ret/ 音，其中 “r” 发 /r/ 音，“e” 发短元音 /e/，“t” 发 /t/ 音。
          • 规则:i → /ɪ/， “i” 发 /ɪ/ 音，短元音。
          • 规则:cal → /kəl/， “cal” 发 /kəl/ 音，其中 “c” 发 /k/ 音，“a” 发短元音 /ə/，“l” 发 /l/ 音。
          • 规则:ly → /li/， “ly” 发 /li/ 音，其中 “l” 发 /l/ 音，“y” 发 /i/ 音。
    • empirically:副词，由“empirical”（经验的）+“-ly”（副词后缀），词义：经验上；凭经验地。
      • 记忆方法:“empirical”加“-ly”变成副词。
      • 形近词:empirically/empirical（经验的）、empire（帝国）。
      • 发音解析:
        • 音节分解:em + pir + i + cal + ly /ɪmˈpɪrɪkli/，重音在第二音节
        • 规则:em → /ɪm/， “em” 发 /ɪm/ 音，其中 “e” 发短元音 /ɪ/，“m” 发 /m/ 音。
        • 规则:pir → /pɪr/， “pir” 发 /pɪr/ 音，其中 “p” 发 /p/ 音，“i” 发短元音 /ɪ/，“r” 发 /r/ 音。
        • 规则:i → /ɪ/， “i” 发 /ɪ/ 音，短元音。
        • 规则:cal → /kəl/， “cal” 发 /kəl/ 音，其中 “c” 发 /k/ 音，“a” 发短元音 /ə/，“l” 发 /l/ 音。
        • 规则:ly → /li/， “ly” 发 /li/ 音，其中 “l” 发 /l/ 音，“y” 发 /i/ 音。
  • Goodfellow et al. ( ) found experimentally that the weight scaling approximation can work 2013a better (in terms of classification accuracy) than Monte Carlo approximations to the ensemble predictor.
    • 固定搭配:“in terms of”意为“就……而言”。
    • 句子分析:“Goodfellow et al. ( )”是主语，“found”是谓语，“that...”是宾语从句。句子是说Goodfellow等人在2013a年通过实验发现权重缩放近似在分类准确率方面比蒙特卡罗集成预测器近似效果更好。
    • 翻译:Goodfellow等人（2013a）通过实验发现，权重缩放近似方法在分类准确率方面比蒙特卡罗集成预测器近似方法表现更好。
    • 单词分析:
      • experimentally:副词，由“experimental”（实验的）+“-ly”（副词后缀），词义：实验上地。
        • 记忆方法:“experimental”加“-ly”变成副词。
        • 形近词:experimentally/experimental（实验的）、experiment（实验）。
        • 发音解析:
          • 音节分解:ex + per + i + ment + al + ly /ɪkˌsperɪˈmentəli/，重音在第三音节
          • 规则:ex → /ɪkˈs/， “ex” 发 /ɪkˈs/ 音，其中 “e” 发短元音 /ɪ/，“x” 发 /z/ 音。
          • 规则:per → /pɜː(r)/， “per” 发 /pɜː(r)/ 音，其中 “p” 发 /p/ 音，“e” 发长元音 /ɜː/，“r” 发 /r/ 音。
          • 规则:i → /ɪ/， “i” 发 /ɪ/ 音，短元音。
          • 规则:ment → /ment/， “ment” 发 /ment/ 音，其中 “m” 发 /m/ 音，“e” 发短元音 /e/，“n” 发 /n/ 音，“t” 发 /t/ 音。
          • 规则:al → /əl/， “al” 发 /əl/ 音，其中 “a” 发短元音 /ə/，“l” 发 /l/ 音。
          • 规则:ly → /li/， “ly” 发 /li/ 音，其中 “l” 发 /l/ 音，“y” 发 /i/ 音。
    • Monte Carlo:名词，是一个专有名词，指蒙特卡罗方法（一种统计模拟方法）。
      • 记忆方法:记住这是一种特定的方法名称。
      • 形近词:Monte Carlo/Monte（山）、Carlo（男子名）。
      • 发音解析:
        • 音节分解:Mon + te + Car + lo /ˈmɒnti kɑːləʊ/，重音在第一音节
        • 规则:Mon → /mɒn/， “Mon” 发 /mɒn/ 音，其中 “M” 发 /m/ 音，“o” 发短元音 /ɒ/，“n” 发 /n/ 音。
        • 规则:te → /ti/， “te” 发 /ti/ 音，其中 “t” 发 /t/ 音，“e” 发长元音 /i/。
        • 规则:Car → /kɑː(r)/， “Car” 发 /kɑː(r)/ 音，其中 “C” 发 /k/ 音，“a” 发长元音 /ɑː/，“r” 发 /r/ 音。
        • 规则:lo → /ləʊ/， “lo” 发 /ləʊ/ 音，其中 “l” 发 /l/ 音，“o” 发长元音 /əʊ/。
  • This held true even when the Monte Carlo approximation was allowed to sample up to 1,000 sub - networks.
    • 固定搭配:“hold true”意为“适用；有效”；“up to”意为“多达”。
    • 句子分析:“This”是主语，“held true”是谓语，“even when...”引导时间状语从句。句子是说即使蒙特卡罗近似被允许对多达1000个子网络进行采样，这一点仍然成立。
    • 翻译:即使蒙特卡罗近似方法被允许对多达1000个子网络进行采样，这一结论仍然成立。
    • 单词分析:
      • sub - network:名词，“sub-”表示“子；次”，“network”是“网络”，词义：子网络。
        • 记忆方法:“sub-”加“network”，就是子网络。
        • 形近词:sub - network/network（网络）、submarine（潜艇）。
        • 发音解析:
          • 音节分解:sub + net + work /ˈsʌbnetwɜːk/，重音在第一音节
          • 规则:sub → /sʌb/， “sub” 发 /sʌb/ 音，其中 “s” 发 /s/ 音，“u” 发短元音 /ʌ/，“b” 发 /b/ 音。
          • 规则:net → /net/， “net” 发 /net/ 音，其中 “n” 发 /n/ 音，“e” 发短元音 /e/，“t” 发 /t/ 音。
          • 规则:work → /wɜːk/， “work” 发 /wɜːk/ 音，其中 “w” 发 /w/ 音，“o” 发长元音 /ɜː/，“r” 发 /r/ 音，“k” 发 /k/ 音。
  • ( ) found Gal and Ghahramani 2015 that some models obtain better classification accuracy using twenty samples and
    • 固定搭配:无。
    • 句子分析:这是一个主谓宾宾补结构的句子，“Gal and Ghahramani 2015”是主语，“found”是谓语，“that...”是宾语从句。句子是说Gal和Ghahramani在2015年发现一些模型使用20个样本能获得更好的分类准确率。
    • 翻译:Gal和Ghahramani（2015）发现，一些模型使用20个样本可以获得更好的分类准确率。
    • 单词分析:
      • obtain:动词，词源来自拉丁语“obtinere”（获得），词义：获得；得到。
        • 记忆方法:“ob-”（朝向）+“tain”（拿），朝着目标拿，就是获得。
        • 形近词:obtain/attain（达到）、contain（包含）。
        • 发音解析:
          • 音节分解:ob + tain /əbˈteɪn/，重音在第二音节
          • 规则:ob → /əb/， “ob” 发 /əb/ 音，其中 “o” 发短元音 /ə/，“b” 发 /b/ 音。
          • 规则:tain → /teɪn/， “tain” 发 /teɪn/ 音，其中 “t” 发 /t/ 音，“a” 发长元音 /eɪ/，“n” 发 /n/ 音。

  • CHAPTER 7. REGULARI ZA TION FOR DEEP LEARNING the Mon te Carlo appro ximation.
    • 句子分析:此句可能为标题类内容，存在拼写不规范情况，推测想表达“第7章：深度学习的正则化——蒙特卡罗近似”。“Monte Carlo approximation”是固定的专业术语，指“蒙特卡罗近似”。
    • 翻译:第7章：深度学习的正则化——蒙特卡罗近似
    • 单词分析:
      • regularization:名词，词源来自 “regularize”（使有规则，使规范化），词义：正则化；规则化。
        • 记忆方法:“regular”（规则的）+ “-ization”（名词后缀），表示使……规则化的行为或结果。
        • 形近词:regular/irregular（不规则的），regularity（规律性）。
        • 发音解析:
          • 音节分解:reg + u + lar + i + za + tion /ˌreɡjələˈzeɪʃn/，重音在倒数第二个音节。
          • 规则:reg → /reɡ/， “re” 发 /re/ 音，“g” 发 /ɡ/ 音。
          • 规则:u → /jə/， “u” 发 /jə/ 音。
          • 规则:lar → /lɑːr/， “la” 发 /lɑː/ 音，“r” 发 /r/ 音。
          • 规则:i → /ɪ/， “i” 发 /ɪ/ 音。
          • 规则:za → /zeɪ/， “za” 发 /zeɪ/ 音。
          • 规则:tion → /ʃn/， “tion” 发 /ʃn/ 音。
    • approximation:名词，词源来自拉丁语 “approximare”（接近），词义：近似；近似值。
      • 记忆方法:“approximate”（近似的，接近）+ “-ion”（名词后缀），表示接近的结果。
      • 形近词:approximate/approx（缩写形式），proximity（接近，临近）。
      • 发音解析:
        • 音节分解:ap + prox + i + ma + tion /əˌprɒksɪˈmeɪʃn/，重音在倒数第二个音节。
        • 规则:ap → /əp/， “ap” 发 /əp/ 音。
        • 规则:prox → /prɒks/， “prox” 发 /prɒks/ 音。
        • 规则:i → /ɪ/， “i” 发 /ɪ/ 音。
        • 规则:ma → /meɪ/， “ma” 发 /meɪ/ 音。
        • 规则:tion → /ʃn/， “tion” 发 /ʃn/ 音。

  • It appears that the optimal choice of inference appro ximation is problem-depende nt.
    • 固定搭配:“it appears that”意为“似乎，看来”。
    • 句子分析:这是一个主语从句，“it”是形式主语，真正的主语是“that the optimal choice of inference approximation is problem-dependent”。句子表达似乎推理近似的最优选择是依赖于问题的。
    • 翻译:似乎推理近似的最优选择依赖于具体问题。
    • 单词分析:
      • optimal:形容词，词源来自拉丁语 “optimus”（最好的），词义：最佳的，最优的。
        • 记忆方法:联想 “optimist”（乐观主义者），乐观的人总追求最好的，所以 “optimal” 是最佳的。
        • 形近词:optimal/optimize（使优化），optimism（乐观主义）。
        • 发音解析:
          • 音节分解:op + ti + mal /ˈɒptɪməl/，重音在第一音节。
          • 规则:op → /ɒp/， “op” 发 /ɒp/ 音。
          • 规则:ti → /tɪ/， “ti” 发 /tɪ/ 音。
          • 规则:mal → /məl/， “mal” 发 /məl/ 音。
    • inference:名词，词源来自 “infer”（推断，推理），词义：推理，推断；推论。
      • 记忆方法:“infer”（推断）+ “-ence”（名词后缀），表示推断的行为或结果。
      • 形近词:inference/infer（动词），refer（参考，涉及）。
      • 发音解析:
        • 音节分解:in + fer + ence /ˈɪnfərəns/，重音在第一音节。
        • 规则:in → /ɪn/， “in” 发 /ɪn/ 音。
        • 规则:fer → /fɜːr/， “fer” 发 /fɜːr/ 音。
        • 规则:ence → /əns/， “ence” 发 /əns/ 音。
    • problem-dependent:形容词，由 “problem” 和 “dependent” 合成，词义：依赖于问题的。
      • 记忆方法:直接理解为与问题相关、依赖问题的。
      • 形近词:dependent/independent（独立的）。
      • 发音解析:
        • 音节分解:prob + lem + de + pend + ent /ˌprɒbləm dɪˈpendənt/，重音在 “dependent” 的倒数第二个音节。
        • 规则:prob → /prɒb/， “prob” 发 /prɒb/ 音。
        • 规则:lem → /ləm/， “lem” 发 /ləm/ 音。
        • 规则:de → /dɪ/， “de” 发 /dɪ/ 音。
        • 规则:pend → /pend/， “pend” 发 /pend/ 音。
        • 规则:ent → /ənt/， “ent” 发 /ənt/ 音。
  • Sriv asta v a 2014 et al. ( ) show ed that drop out is more effective than other standard computationally inexp ensive regularizers, suc h as w eigh t decay , filter norm constraints and sparse activit y regularization.
    • 固定搭配:“et al.”意为“等人”；“such as”意为“例如”。
    • 句子分析:这是一个主从复合句，主句是“Srivasta va et al. showed”，从句是“that dropout is more effective...”，比较了 “dropout” 和其他正则化方法的有效性。
    • 翻译:斯里瓦斯塔瓦等人（2014 年）表明，随机失活比其他标准的、计算成本低的正则化方法更有效，如权重衰减、滤波器范数约束和稀疏活动正则化。
    • 单词分析:
      • dropout:名词，由 “drop” 和 “out” 合成，词义：随机失活（深度学习中的一种技术）。
        • 记忆方法:“drop”（丢弃）+ “out”（出去），表示随机丢弃一些神经元。
        • 形近词:dropout/drop（掉落），output（输出）。
        • 发音解析:
          • 音节分解:drop + out /ˈdrɒpaʊt/，重音在第一音节。
          • 规则:drop → /drɒp/， “drop” 发 /drɒp/ 音。
          • 规则:out → /aʊt/， “out” 发 /aʊt/ 音。
    • computationally:副词，由 “computational” 加 “-ly” 构成，词源来自 “compute”（计算），词义：从计算角度；在计算方面。
      • 记忆方法:“computation”（计算）+ “-al”（形容词后缀）+ “-ly”（副词后缀）。
      • 形近词:computationally/compute（计算），computer（计算机）。
      • 发音解析:
        • 音节分解:com + pu + ta + tion + al + ly /ˌkɒmpjuːˈteɪʃənəli/，重音在倒数第三个音节。
        • 规则:com → /kɒm/， “com” 发 /kɒm/ 音。
        • 规则:pu → /pjuː/， “pu” 发 /pjuː/ 音。
        • 规则:ta → /teɪ/， “ta” 发 /teɪ/ 音。
        • 规则:tion → /ʃn/， “tion” 发 /ʃn/ 音。
        • 规则:al → /əl/， “al” 发 /əl/ 音。
        • 规则:ly → /li/， “ly” 发 /li/ 音。
    • inexpensive:形容词，“in-”（否定前缀）+ “expensive”（昂贵的），词义：廉价的，低成本的。
      • 记忆方法:通过否定 “expensive” 来记忆。
      • 形近词:inexpensive/expensive（昂贵的），inefficient（效率低的）。
      • 发音解析:
        • 音节分解:in + ex + pen + sive /ˌɪnɪkˈspensɪv/，重音在倒数第二个音节。
        • 规则:in → /ɪn/， “in” 发 /ɪn/ 音。
        • 规则:ex → /ɪkˈs/， “ex” 发 /ɪkˈs/ 音。
        • 规则:pen → /pen/， “pen” 发 /pen/ 音。
        • 规则:sive → /sɪv/， “sive” 发 /sɪv/ 音。
    • regularizer:名词，由 “regularize” 加 “-er” 构成，词义：正则化器。
      • 记忆方法:“regularize”（使规则化）+ “-er”（表示人或物的后缀）。
      • 形近词:regularizer/regularize（使规则化），regulator（调节器）。
      • 发音解析:
        • 音节分解:reg + u + lar + i + ze + r /ˈreɡjəlaɪzə(r)/，重音在第一音节。
        • 规则:reg → /reɡ/， “reg” 发 /reɡ/ 音。
        • 规则:u → /jə/， “u” 发 /jə/ 音。
        • 规则:lar → /lɑːr/， “lar” 发 /lɑːr/ 音。
        • 规则:i → /ɪ/， “i” 发 /ɪ/ 音。
        • 规则:ze → /zaɪ/， “ze” 发 /zaɪ/
        • 音。
        • 规则:r → /r/， “r” 发 /r/ 音。
    • weight decay:名词短语，专业术语，词义：权重衰减。
      • 记忆方法:直接记忆该专业术语。
      • 形近词:weight/height（高度），decay/deceive（欺骗）。
      • 发音解析:
        • 音节分解:weight + decay /ˈweɪt dɪˈkeɪ/，重音分别在 “weight” 和 “decay” 的第一音节。
        • 规则:weight → /weɪt/， “weight” 发 /weɪt/ 音。
        • 规则:de → /dɪ/， “de” 发 /dɪ/ 音。
        • 规则:cay → /keɪ/， “cay” 发 /keɪ/ 音。
    • constraint:名词，词源来自拉丁语 “constringere”（束缚），词义：约束；限制。
      • 记忆方法:“con-”（一起）+ “strain”（拉紧）→ 一起拉紧，即约束。
      • 形近词:constraint/constrain（动词，约束），restraint（克制，约束）。
      • 发音解析:
        • 音节分解:con + strain + t /kənˈstreɪnt/，重音在第二音节。
        • 规则:con → /kən/， “con” 发 /kən/ 音。
        • 规则:strain → /streɪn/， “strain” 发 /streɪn/ 音。
        • 规则:t → /t/， “t” 发 /t/ 音。
    • sparse:形容词，词源来自拉丁语 “sparsus”（分散的），词义：稀疏的；稀少的。
      • 记忆方法:联想 “spark”（火花），火花是稀疏的。
      • 形近词:sparse/spark（火花），parse（分析）。
      • 发音解析:
        • 音节分解:spar + se /spɑːs/，重音在第一音节。
        • 规则:spar → /spɑː/， “spar” 发 /spɑː/ 音。
        • 规则:se → /s/， “se” 发 /s/ 音。
  • Drop out ma y also be com bined with other forms of regularization to yield a further improv ement.
    • 固定搭配:“be combined with”意为“与……结合”。
    • 句子分析:简单句，表达 “dropout” 可以和其他正则化形式结合以取得进一步改进。
    • 翻译:随机失活也可以与其他形式的正则化结合，以实现进一步的改进。
    • 单词分析:
      • yield:动词，词源来自古英语 “gieldan”（支付，给予），词义：产生；带来；屈服。
        • 记忆方法:联想农民种地 “yield”（产出）粮食。
        • 形近词:yield/field（田地），shield（盾牌）。
        • 发音解析:
          • 音节分解:yiel + d /jiːld/，重音在第一音节。
          • 规则:yiel → /jiːl/， “yiel” 发 /jiːl/ 音。
          • 规则:d → /d/， “d” 发 /d/ 音。
  • One adv antage of drop out is that it is very computationally cheap.
    • 句子分析:主从复合句，“is” 后面是表语从句，说明 “dropout” 的一个优点是计算成本低。
    • 翻译:随机失活的一个优点是它的计算成本非常低。
    • 单词分析:
      • advantage:名词，词源来自古法语 “avantage”，词义：优势；优点。
        • 记忆方法:“ad-”（朝向）+ “vant”（前面）+ “-age”（名词后缀），朝着前面走，有优势。
        • 形近词:advantage/disadvantage（劣势），avant-garde（先锋派）。
        • 发音解析:
          • 音节分解:ad + van + tage /ədˈvæntɪdʒ/，重音在第二音节。
          • 规则:ad → /əd/， “ad” 发 /əd/ 音。
          • 规则:van → /væn/， “van” 发 /væn/ 音。
          • 规则:tage → /tɪdʒ/， “tage” 发 /tɪdʒ/ 音。
  • Using drop out during training requires only O ( n ) computation p er example p er update, to generate n random binary n um b ers and multiply them b y the state.
    • 句子分析:简单句，“Using dropout during training” 是动名词短语作主语，说明训练时使用 “dropout” 的计算量情况。
    • 翻译:在训练过程中使用随机失活，每个样本每次更新仅需要 O(n) 的计算量，用于生成 n 个随机二进制数并将它们与状态相乘。
    • 单词分析:
      • binary:形容词，词源来自拉丁语 “binarius”，词义：二进制的；二元的。
        • 记忆方法:“bi-”（二）+ “nary”，表示二的相关概念。
        • 形近词:binary/unary（一元的），bicycle（自行车）。
        • 发音解析:
          • 音节分解:bi + na + ry /ˈbaɪnəri/，重音在第一音节。
          • 规则:bi → /baɪ/， “bi” 发 /baɪ/ 音。
          • 规则:na → /nə/， “na” 发 /nə/ 音。
          • 规则:ry → /ri/， “ry” 发 /ri/ 音。
  • Dep ending on the implemen tation, it may also require O ( n ) memory to store these binary n um b ers un til the bac k-propagation stage.
    • 固定搭配:“depend on”意为“取决于”；“back-propagation”意为“反向传播”（专业术语）。
    • 句子分析:简单句，说明根据实现方式，存储二进制数可能需要的内存情况。
    • 翻译:根据具体实现方式，在反向传播阶段之前，可能还需要 O(n) 的内存来存储这些二进制数。
    • 单词分析:
      • implementation:名词，由 “implement” 加 “-ation” 构成，词源来自拉丁语 “implere”（填满，完成），词义：实施；实现。
        • 记忆方法:“implement”（实施，执行）+ “-ation”（名词后缀）。
        • 形近词:implementation/implement（动词，实施），compliment（赞美）。
        • 发音解析:
          • 音节分解:im + ple + men + ta + tion /ˌɪmplɪˈmenʃn/，重音在倒数第二个音节。
          • 规则:im → /ɪm/， “im” 发 /ɪm/ 音。
          • 规则:ple → /pl/， “ple” 发 /pl/ 音。
          • 规则:men → /men/， “men” 发 /men/ 音。
          • 规则:ta → /teɪ/， “ta” 发 /teɪ/ 音。
          • 规则:tion → /ʃn/， “tion” 发 /ʃn/ 音。
  • Running inference in the trained mo del has the same cost p er-example as if drop out w ere not used, though we m ust pay the cost of dividing the weigh ts by 2 once b efore b eginning to run inference on examples.
    • 句子分析:主从复合句，“as if dropout were not used” 是虚拟语气，“though” 引导让步状语从句，说明训练好的模型进行推理时的成本情况。
    • 翻译:在训练好的模型中进行推理，每个样本的成本与不使用随机失活时相同，不过在开始对样本进行推理之前，我们必须先承担将权重除以 2 的成本。
    • 单词分析:
      • inference:前面已分析，此处不再赘述。
      • divide:动词，词源来自拉丁语 “dividere”（分开），词义：划分；除。
        • 记忆方法:联想 “di-”（分开）+ “vide”（看），分开来看，即划分。
        • 形近词:divide/division（划分，部门），provide（提供）。
        • 发音解析:
          • 音节分解:di + vide /dɪˈvaɪd/，重音在第二音节。
          • 规则:di → /dɪ/， “di” 发 /dɪ/ 音。
          • 规则:vide → /vaɪd/， “vide” 发 /vaɪd/ 音。
  • Another significan t adv an tage of drop out is that it do es not significantly limit the t yp e of mo del or training pro cedure that can be used.
    • 句子分析:主从复合句，“is” 后面是表语从句，“that can be used” 是定语从句修饰先行词 “model or training procedure”，说明 “dropout” 的另一个优点。
    • 翻译:随机失活的另一个显著优点是，它不会显著限制可使用的模型类型或训练过程。
    • 单词分析:
      • significant:形容词，词源来自拉丁语 “significare”（表明，意味着），词义：显著的；重要的。
        • 记忆方法:“sign”（标记）+ “-ify”（使……化）+ “-ant”（形容词后缀），有标记的，即显著的。
        • 形近词:significant/signify（表明，意味着），insignificant（不重要的）。
        • 发音解析:
          • 音节分解:sig + ni + fi + cant /sɪɡˈnɪfɪkənt/，重音在第二音节。
          • 规则:sig → /sɪɡ/， “sig” 发 /sɪɡ/ 音。
          • 规则:ni → /nɪ/， “ni” 发 /nɪ/ 音。
          • 规则:fi → /faɪ/， “fi” 发 /faɪ/ 音。
          • 规则:cant → /kənt/， “cant” 发 /kənt/ 音。
  • It works w ell with nearly an y mo del that uses a distributed represen tation and can be trained with sto chastic gradien t descen t.
    • 固定搭配:“stochastic gradient descent”意为“随机梯度下降”（专业术语）。
    • 句子分析:主从复合句，“that uses a distributed representation and can be trained with stochastic gradient descent” 是定语从句修饰 “model”，说明 “dropout” 适用的模型情况。
    • 翻译:它几乎可以与任何使用分布式表示且可以通过随机梯度下降进行训练的模型很好地配合使用。
    • 单词分析:
      • distributed:形容词，由 “distribute” 加 “-ed” 构成，词源来自拉丁语 “distribuere”（分配，分发），词义：分布式的。
        • 记忆方法:“distribute”（分配）+ “-ed”（形容词后缀）。
        • 形近词:distributed/distribute（动词，分配），contribute（贡献）。
        • 发音解析:
          • 音节分解:dis + tri + bute + d /dɪˈstrɪbjuːtɪd/，重音在第二音节。
          • 规则:dis → /dɪs/， “dis” 发 /dɪs/ 音。
          • 规则:tri → /trɪ/， “tri” 发 /trɪ/ 音。
          • 规则:bute → /bjuːt/， “bute” 发 /bjuːt/ 音。
          • 规则:d → /d/， “d” 发 /d/ 音。
    • representation:名词，由 “represent” 加 “-ation” 构成，词源来自拉丁语 “repraesentare”（代表，表现），词义：表示；代表；表现。
      • 记忆方法:“represent”（代表）+ “-ation”（名词后缀）。
      • 形近词:representation/represent（动词，代表），presentation（展示）。
      • 发音解析:
        • 音节分解:re + pre + sent + a + tion /ˌreprɪˈzentʃn/，重音在倒数第二个音节。
        • 规则:re → /rɪ/， “re” 发 /rɪ/ 音。
        • 规则:pre → /prɪ/， “pre” 发 /prɪ/ 音。
        • 规则:sent → /sent/， “sent” 发 /sent/ 音。
        • 规则:a → /ə/， “a” 发 /ə/ 音。
        • 规则:tion → /ʃn/， “tion” 发 /ʃn/ 音。
    • stochastic:形容词，词源来自希腊语 “stokhazesthai”（猜测），词义：随机的；随机过程的。
      • 记忆方法:联想 “stoch” 发音像 “猜测” 的谐音，随机的事情需要猜测。
      • 形近词:stochastic/stock（股票），stomach（胃）。
      • 发音解析:
        • 音节分解:sto + chas + tic /stəˈkæstɪk/，重音在第二音节。
        • 规则:sto → /stə/， “sto” 发 /stə/ 音。
        • 规则:chas → /kæs/， “chas” 发 /kæs/ 音。
        • 规则:tic → /tɪk/， “tic” 发 /tɪk/ 音。
    • gradient:名词，词源来自拉丁语 “gradus”（步，级），词义：梯度；坡度。
      • 记忆方法:联想 “grade”（等级），“gradient” 与等级变化有关，即梯度。
      • 形近词:gradient/grade（等级），gratitude（感激）。
      • 发音解析:
        • 音节分解:gra + di + ent /ˈɡreɪdiənt/，重音在第一音节。
        • 规则:gra → /ɡreɪ/， “gra” 发 /ɡreɪ/ 音。
        • 规则:di → /di/， “di” 发 /di/ 音。
        • 规则:ent → /ənt/， “ent” 发 /ənt/ 音。
    • descent:名词，词源来自拉丁语 “descendere”（下降），词义：下降；下坡；血统。
      • 记忆方法:“de-”（向下）+ “scent”（走），向下走，即下降。
      • 形近词:descent/ascend（上升），scent（气味）。
      • 发音解析:
        • 音节分解:de + scent /dɪˈsent/，重音在第二音节。
        • 规则:de → /dɪ/， “de” 发 /dɪ/ 音。
        • 规则:scent → /sent/， “scent” 发 /sent/ 音。
  • This includes feedforw ard neural net w orks, probabilistic mo dels suc h as restricted Boltzmann mac hines ( Sriv astav a 2014 et al. , ), and recurren t neural net w orks ( Ba y er and Osendorfer 2014 P ascan u 2014a , ; et al. , ).
    • 句子分析:简单句，列举了 “dropout” 适用的模型类型。
    • 翻译:这包括前馈神经网络、概率模型（如受限玻尔兹曼机，斯里瓦斯塔瓦等人，2014 年）以及循环神经网络（拜尔和奥森多费尔，2014 年；帕斯卡努等人，2014a 年）。
    • 单词分析:
      • feedforward:形容词，由 “feed” 和 “forward” 合成，词义：前馈的。
        • 记忆方法:“feed”（输入）+ “forward”（向前），表示向前输入。
        • 形近词:feedforward/feedback（反馈），forward（向前）。
        • 发音解析:
          • 音节分解:feed + for + ward /ˈfiːdfɔːwəd/，重音在第一音节。
          • 规则:feed → /fiːd/， “feed” 发 /fiːd/ 音。
          • 规则:for → /fɔː/， “for” 发 /fɔː/ 音。
          • 规则:ward → /wəd/， “ward” 发 /wəd/ 音。
    • probabilistic:形容词，由 “probability” 加 “-istic” 构成，词源来自拉丁语 “probabilis”（可能的），词义：概率的；或然的。
      • 记忆方法:“probability”（概率）+ “-istic”（形容词后缀）。
      • 形近词:probabilistic/probability（概率），probable（可能的）。
      • 发音解析:
        • 音节分解:pro + ba + bil + i + stic /ˌprəʊbəˈlɪstɪk/，重音在倒数第二个音节。
        • 规则:pro → /prəʊ/， “pro” 发 /prəʊ/ 音。
        • 规则:ba → /bə/， “ba” 发 /bə/ 音。
        • 规则:bil → /bɪl/， “bil” 发 /bɪl/ 音。
        • 规则:i → /ɪ/， “i” 发 /ɪ/ 音。
        • 规则:stic → /stɪk/， “stic” 发 /stɪk/ 音。
    • recurrent:形容词，由 “recur” 加 “-ent” 构成，词源来自拉丁语 “recurrere”（返回，再发生），词义：循环的；递归的。
      • 记忆方法:“recur”（再发生）+ “-ent”（形容词后缀）。
      • 形近词:recurrent/recur（动词，再发生），current（当前的）。
      • 发音解析:
        • 音节分解:re + cur + rent /rɪˈkʌrənt/，重音在第二音节。
        • 规则:re → /rɪ/， “re” 发 /rɪ/ 音。
        • 规则:cur → /kʌr/， “cur” 发 /kʌr/ 音。
        • 规则:rent → /rənt/， “rent” 发 /rənt/ 音。

  • Many other regularization strategies of comparable power impose more severe restrictions on the architecture of the model.
    • 固定搭配:“impose...on...”，含义：“把……强加于……”。
    • 句子分析:简单句，主语是“Many other regularization strategies of comparable power”，谓语是“impose”，宾语是“more severe restrictions”，“on the architecture of the model”是状语。此句描述了其他正则化策略对模型架构的影响。
    • 翻译:“许多其他具有相当效力的正则化策略会对模型的架构施加更严格的限制。”
    • 单词分析:
      • regularization:名词，词源来自“regularize”（使有规则，使规范化），词义：正则化。
        • 记忆方法:“regular”（规则的）加上后缀“-ization”表示“……化”，即“正则化”。
        • 形近词:regularize/regulation（规则，规章）。
        • 发音解析:
          • 音节分解:reg + u + lar + i + za + tion /ˌreɡjələˈzeɪʃn/，重音在第四音节
          • 规则:reg → /reɡ/， “reg” 发 /reɡ/ 音，其中 “r” 发 /r/ 音，“e” 发短元音 /ɛ/，“g” 发 /ɡ/ 音。
          • 规则:u → /juː/， “u” 发长元音 /juː/。
          • 规则:lar → /lɑːr/， “lar” 发 /lɑːr/ 音，其中 “l” 发 /l/ 音，“a” 发长元音 /ɑː/。
          • 规则:i → /ɪ/， “i” 发短元音 /ɪ/。
          • 规则:za → /zeɪ/， “za” 发 /zeɪ/ 音，其中 “z” 发 /z/ 音，“a” 发长元音 /eɪ/。
          • 规则:tion → /ʃn/， “tion” 发 /ʃn/ 音。
    • comparable:形容词，词源来自“compare”（比较），词义：可比较的，相当的。
      • 记忆方法:“compare”加上后缀“-able”表示“可……的”，即“可比较的”。
      • 形近词:compare/comparison（比较）。
      • 发音解析:
        • 音节分解:com + pa + ra + ble /ˈkɒmpərəbl/，重音在第一音节
        • 规则:com → /kɒm/， “com” 发 /kɒm/ 音，其中 “c” 发 /k/ 音，“o” 发短元音 /ɒ/。
        • 规则:pa → /pə/， “pa” 发 /pə/ 音，其中 “p” 发 /p/ 音，“a” 发短元音 /ə/。
        • 规则:ra → /rə/， “ra” 发 /rə/ 音，其中 “r” 发 /r/ 音，“a” 发短元音 /ə/。
        • 规则:ble → /bl/， “ble” 发 /bl/ 音。
    • severe:形容词，词源来自拉丁语“severus”（严格的，严厉的），词义：严重的，严格的。
      • 记忆方法:联想“s”像蛇，“ever”（永远），蛇永远在旁边很“严重”。
      • 形近词:severe/sever（切断，断绝）。
      • 发音解析:
        • 音节分解:se + vere /sɪˈvɪə(r)/，重音在第二音节
        • 规则:se → /sɪ/， “se” 发 /sɪ/ 音，其中 “s” 发 /s/ 音，“e” 发短元音 /ɪ/。
        • 规则:vere → /vɪə(r)/， “vere” 发 /vɪə(r)/ 音，其中 “v” 发 /v/ 音，“e” 发长元音 /ɪə(r)/。
    • architecture:名词，词源来自希腊语“arkhitekton”（建筑师），词义：架构，建筑风格。
      • 记忆方法:“archi-”（主要的）+“tect”（建造）+“-ure”（名词后缀），即“主要的建造方式”→架构。
      • 形近词:architect（建筑师）。
      • 发音解析:
        • 音节分解:ar + chi + tec + ture /ˈɑːkɪtektʃə(r)/，重音在第一音节
        • 规则:ar → /ɑː/， “ar” 发 /ɑː/ 音，其中 “a” 发长元音 /ɑː/。
        • 规则:chi → /kɪ/， “chi” 发 /kɪ/ 音，其中 “ch” 发 /k/ 音，“i” 发短元音 /ɪ/。
        • 规则:tec → /tek/， “tec” 发 /tek/ 音，其中 “t” 发 /t/ 音，“e” 发短元音 /e/，“c” 发 /k/ 音。
        • 规则:ture → /tʃə(r)/， “ture” 发 /tʃə(r)/ 音。

  • Though the cost per - step of applying dropout to a specific model is negligible, the cost of using dropout in a complete system can be significant.
    • 固定搭配:无。
    • 句子分析:这是一个让步状语从句，“Though...”引导让步部分，主句描述在完整系统中使用dropout的成本情况。
    • 翻译:“尽管对特定模型应用dropout的每一步成本可以忽略不计，但在完整系统中使用dropout的成本可能会很显著。”
    • 单词分析:
      • negligible:形容词，词源来自拉丁语“neglegere”（忽视），词义：可忽略不计的。
        • 记忆方法:“neg-”（否定）+“lig”（选择）+“-ible”（可……的），即“可以不被选择的”→可忽略不计的。
        • 形近词:neglect（忽视）。
        • 发音解析:
          • 音节分解:neg + li + gi + ble /ˈneɡlɪdʒəbl/，重音在第一音节
          • 规则:neg → /neɡ/， “neg” 发 /neɡ/ 音，其中 “n” 发 /n/ 音，“e” 发短元音 /e/，“g” 发 /ɡ/ 音。
          • 规则:li → /lɪ/， “li” 发 /lɪ/ 音，其中 “l” 发 /l/ 音，“i” 发短元音 /ɪ/。
          • 规则:gi → /dʒɪ/， “gi” 发 /dʒɪ/ 音，其中 “g” 发 /dʒ/ 音，“i” 发短元音 /ɪ/。
          • 规则:ble → /bl/， “ble” 发 /bl/ 音。
    • significant:形容词，词源来自拉丁语“significare”（表明，意味着），词义：显著的，重要的。
      • 记忆方法:“sign”（标志）+“-ify”（使……化）+“-ant”（形容词后缀），即“使有标志的”→显著的。
      • 形近词:signify（表明，意味着）。
      • 发音解析:
        • 音节分解:sig + ni + fi + cant /sɪɡˈnɪfɪkənt/，重音在第二音节
        • 规则:sig → /sɪɡ/， “sig” 发 /sɪɡ/ 音，其中 “s” 发 /s/ 音，“i” 发短元音 /ɪ/，“g” 发 /ɡ/ 音。
        • 规则:ni → /nɪ/， “ni” 发 /nɪ/ 音，其中 “n” 发 /n/ 音，“i” 发短元音 /ɪ/。
        • 规则:fi → /faɪ/， “fi” 发 /faɪ/ 音，其中 “f” 发 /f/ 音，“i” 发长元音 /aɪ/。
        • 规则:cant → /kənt/， “cant” 发 /kənt/ 音，其中 “c” 发 /k/ 音，“a” 发短元音 /ə/，“n” 发 /n/ 音，“t” 发 /t/ 音。
  • Because dropout is a regularization technique, it reduces the effective capacity of a model.
    • 固定搭配:无。
    • 句子分析:这是一个原因状语从句，“Because...”引导原因，主句说明dropout对模型有效容量的影响。
    • 翻译:“因为dropout是一种正则化技术，所以它会降低模型的有效容量。”
    • 单词分析:
      • effective:形容词，词源来自拉丁语“effectus”（结果，效果），词义：有效的，实际的。
        • 记忆方法:“effect”（效果）加上后缀“-ive”表示“具有……性质的”，即“具有效果的”→有效的。
        • 形近词:effect（效果）。
        • 发音解析:
          • 音节分解:ef + fec + tive /ɪˈfektɪv/，重音在第二音节
          • 规则:ef → /ɪf/， “ef” 发 /ɪf/ 音，其中 “e” 发短元音 /ɪ/，“f” 发 /f/ 音。
          • 规则:fec → /fek/， “fec” 发 /fek/ 音，其中 “f” 发 /f/ 音，“e” 发短元音 /e/，“c” 发 /k/ 音。
          • 规则:tive → /tɪv/， “tive” 发 /tɪv/ 音，其中 “t” 发 /t/ 音，“i” 发短元音 /ɪ/，“v” 发 /v/ 音。
  • To offset this effect, we must increase the size of the model.
    • 固定搭配:“offset”，含义：“抵消，弥补”。
    • 句子分析:“To offset this effect”是目的状语，主句说明为了抵消影响要采取的措施。
    • 翻译:“为了抵消这种影响，我们必须增加模型的规模。”
    • 单词分析:
      • offset:动词，词源可能与“set off”（出发，抵消）有关，词义：抵消，弥补。
        • 记忆方法:“off”（离开）+“set”（放置），可以联想为把影响“放置”到一边，即“抵消”。
        • 形近词:set off（出发，使爆炸，抵消）。
        • 发音解析:
          • 音节分解:of + set /ˈɒfset/，重音在第一音节
          • 规则:of → /ɒf/， “of” 发 /ɒf/ 音，其中 “o” 发短元音 /ɒ/，“f” 发 /f/ 音。
          • 规则:set → /set/， “set” 发 /set/ 音，其中 “s” 发 /s/ 音，“e” 发短元音 /e/，“t” 发 /t/ 音。
  • Typically the optimal validation set error is much lower when using dropout, but this comes at the cost of a much larger model and many more iterations of the training algorithm.
    • 固定搭配:“come at the cost of”，含义：“以……为代价”。
    • 句子分析:这是一个并列复合句，“but”连接两个分句，前一个分句说明使用dropout时验证集误差情况，后一个分句说明代价。
    • 翻译:“通常，使用dropout时最优验证集误差要低得多，但这是以更大的模型和更多次的训练算法迭代为代价的。”
    • 单词分析:
      • optimal:形容词，词源来自拉丁语“optimus”（最好的），词义：最优的，最佳的。
        • 记忆方法:“optim-”（最好）+“-al”（形容词后缀），即“最好的”。
        • 形近词:optimize（优化）。
        • 发音解析:
          • 音节分解:op + ti + mal /ˈɒptɪməl/，重音在第一音节
          • 规则:op → /ɒp/， “op” 发 /ɒp/ 音，其中 “o” 发短元音 /ɒ/，“p” 发 /p/ 音。
          • 规则:ti → /tɪ/， “ti” 发 /tɪ/ 音，其中 “t” 发 /t/ 音，“i” 发短元音 /ɪ/。
          • 规则:mal → /məl/， “mal” 发 /məl/ 音，其中 “m” 发 /m/ 音，“a” 发短元音 /ə/，“l” 发 /l/ 音。
    • iteration:名词，词源来自拉丁语“iterare”（重复），词义：迭代。
      • 记忆方法:“iter-”（重复）+“-ation”（名词后缀），即“重复的过程”→迭代。
      • 形近词:iterate（迭代）。
      • 发音解析:
        • 音节分解:it + er + a + tion /ˌɪtəˈreɪʃn/，重音在第三音节
        • 规则:it → /ɪt/， “it” 发 /ɪt/ 音，其中 “i” 发短元音 /ɪ/，“t” 发 /t/ 音。
        • 规则:er → /ə(r)/， “er” 发 /ə(r)/ 音，其中 “e” 发短元音 /ə/。
        • 规则:a → /eɪ/， “a” 发长元音 /eɪ/。
        • 规则:tion → /ʃn/， “tion” 发 /ʃn/ 音。
  • For very large datasets, regularization confers little reduction in generalization error.
    • 固定搭配:无。
    • 句子分析:简单句，“For very large datasets”是状语，说明在大数据集情况下正则化对泛化误差的作用。
    • 翻译:“对于非常大的数据集，正则化对泛化误差的降低作用很小。”
    • 单词分析:
      • confers:动词第三人称单数，词源来自拉丁语“conferre”（带来，给予），词义：给予，带来。
        • 记忆方法:“con-”（一起）+“fer”（携带），即“一起携带过来”→给予，带来。
        • 形近词:conference（会议）。
        • 发音解析:
          • 音节分解:con + fers /kənˈfɜːz/，重音在第二音节
          • 规则:con → /kən/， “con” 发 /kən/ 音，其中 “c” 发 /k/ 音，“o” 发短元音 /ə/。
          • 规则:fers → /fɜːz/， “fers” 发 /fɜːz/ 音，其中 “f” 发 /f/ 音，“er” 发长元音 /ɜː/，“s” 发 /z/ 音。
    • generalization:名词，词源来自“generalize”（概括，推广），词义：泛化。
      • 记忆方法:“general”（一般的）+“-ize”（使……化）+“-ation”（名词后缀），即“使一般化”→泛化。
      • 形近词:generalize（概括，推广）。
      • 发音解析:
        • 音节分解:gen + er + al + i + za + tion /ˌdʒenrəlaɪˈzeɪʃn/，重音在第四音节
        • 规则:gen → /dʒen/， “gen” 发 /dʒen/ 音，其中 “g” 发 /dʒ/ 音，“e” 发短元音 /e/，“n” 发 /n/ 音。
        • 规则:er → /ə(r)/， “er” 发 /ə(r)/ 音，其中 “e” 发短元音 /ə/。
        • 规则:al → /æl/， “al” 发 /æl/ 音，其中 “a” 发短元音 /æ/，“l” 发 /l/ 音。
        • 规则:i → /aɪ/， “i” 发长元音 /aɪ/。
        • 规则:za → /zeɪ/， “za” 发 /zeɪ/ 音，其中 “z” 发 /z/ 音，“a” 发长元音 /eɪ/。
        • 规则:tion → /ʃn/， “tion” 发 /ʃn/ 音。
  • In these cases, the computational cost of using dropout and larger models may outweigh the benefit of regularization.
    • 固定搭配:无。
    • 句子分析:简单句，说明在某些情况下使用dropout和更大模型的计算成本与正则化好处的比较。
    • 翻译:“在这些情况下，使用dropout和更大模型的计算成本可能会超过正则化带来的好处。”
    • 单词分析:
      • computational:形容词，词源来自“compute”（计算），词义：计算的。
        • 记忆方法:“compute”加上后缀“-ational”表示“与……有关的”，即“与计算有关的”→计算的。
        • 形近词:compute（计算）。
        • 发音解析:
          • 音节分解:com + pu + ta + tion + al /ˌkɒmpjuˈteɪʃənl/，重音在第四音节
          • 规则:com → /kɒm/， “com” 发 /kɒm/ 音，其中 “c” 发 /k/ 音，“o” 发短元音 /ɒ/。
          • 规则:pu → /pjuː/， “pu” 发 /pjuː/ 音，其中 “p” 发 /p/ 音，“u” 发长元音 /juː/。
          • 规则:ta → /teɪ/， “ta” 发 /teɪ/ 音，其中 “t” 发 /t/ 音，“a” 发长元音 /eɪ/。
          • 规则:tion → /ʃn/， “tion” 发 /ʃn/ 音。
          • 规则:al → /l/， “al” 发 /l/ 音。
    • outweigh:动词，词源是“out-”（超过）+“weigh”（称重），词义：超过，比……更重要。
      • 记忆方法:“out”（超出）+“weigh”（重量），即“重量超出”→超过。
      • 形近词:weigh（称重）。
      • 发音解析:
        • 音节分解:out + weigh /ˌaʊtˈweɪ/，重音在第二音节
        • 规则:out → /aʊt/， “out” 发 /aʊt/ 音，其中 “o” 发双元音 /aʊ/，“u” 发 /aʊ/ 音，“t” 发 /t/ 音。
        • 规则:weigh → /weɪ/， “weigh” 发 /weɪ/ 音，其中 “w” 发 /w/ 音，“ei” 发长元音 /eɪ/。
  • When extremely few labeled training examples are available, dropout is less effective.
    • 固定搭配:无。
    • 句子分析:时间状语从句“When...”说明条件，主句说明dropout的效果情况。
    • 翻译:“当有极少带标签的训练样本可用时，dropout的效果会变差。”
    • 单词分析:
      • extremely:副词，词源来自“extreme”（极端的），词义：极其，非常。
        • 记忆方法:“extreme”加上后缀“-ly”变成副词，即“极其”。
        • 形近词:extreme（极端的）。
        • 发音解析:
          • 音节分解:ex + tre + me + ly /ɪkˈstriːmli/，重音在第二音节
          • 规则:ex → /ɪk/， “ex” 发 /ɪk/ 音，其中 “e” 发短元音 /ɪ/，“x” 发 /k/ 音。
          • 规则:tre → /triː/， “tre” 发 /triː/ 音，其中 “t” 发 /t/ 音，“r” 发 /r/ 音，“e” 发长元音 /iː/。
          • 规则:me → /m/， “me” 发 /m/ 音。
          • 规则:ly → /li/， “ly” 发 /li/ 音，其中 “l” 发 /l/ 音，“y” 发 /i/ 音。
    • labeled:形容词，词源来自“label”（标签），词义：有标签的。
      • 记忆方法:“label”加上“-ed”变成形容词，即“有标签的”。
      • 形近词:label（标签，标注）。
      • 发音解析:
        • 音节分解:la + bel + ed /ˈleɪbld/，重音在第一音节
        • 规则:la → /leɪ/， “la” 发 /leɪ/ 音，其中 “l” 发 /l/ 音，“a” 发长元音 /eɪ/。
        • 规则:bel → /bl/， “bel” 发 /bl/ 音。
        • 规则:ed → /d/， “ed” 发 /d/ 音。
  • Bayesian neural networks ( , ) outperform dropout on the Neal 1996 Alternative Splicing Dataset ( , ) where fewer than 5,000 examples Xiong et al. 2011 are available ( Srivastava 2014 et al. , ).
    • 固定搭配:无。
    • 句子分析:这是一个主从复合句，“where...”引导定语从句修饰先行词“dataset”，主句说明贝叶斯神经网络在特定数据集上比dropout表现更好。
    • 翻译:“在Neal 1996替代剪接数据集（该数据集有少于5000个样本，Xiong等人2011年相关研究，Srivastava等人2014年相关研究）上，贝叶斯神经网络的表现优于dropout。”
    • 单词分析:
      • Bayesian:形容词，词源来自英国数学家托马斯·贝叶斯（Thomas Bayes）的名字，词义：贝叶斯的。
        • 记忆方法:直接记忆与贝叶斯相关。
        • 形近词:无。
        • 发音解析:
          • 音节分解:Bay + es + ian /beɪˈiːʒn/，重音在第二音节
          • 规则:Bay → /beɪ/， “Bay” 发 /beɪ/ 音，其中 “B” 发 /b/ 音，“ay” 发长元音 /eɪ/。
          • 规则:es → /iː/， “es” 发 /iː/ 音，其中 “e” 发长元音 /iː/。

  • CHAPTER 7. REGULARI ZA TION FOR DEEP LEARNING each input feature.
    • 句子分析:这是一个不完整的表述，推测完整意思可能是关于深度学习中每个输入特征的正则化相关内容。这里“REGULARI ZA TION”可能是“REGULARIZATION”的错误拆分。
    • 翻译:第7章。深度学习中每个输入特征的正则化。
    • 单词分析:
      • regularization:名词，词源来自“regular”（规则的），加上后缀“-ization”表示“……化”，词义：正则化。
        • 记忆方法:联想“regular”（规则）+“-ization”（……化），规则化就是正则化。
        • 形近词:regular/irregular（不规则的），regularity（规律性）。
        • 发音解析:
          • 音节分解:reg + u + lar + i + za + tion /ˌreɡjələˈzeɪʃn/，重音在倒数第二个音节。
          • 规则:reg → /reɡ/， “reg” 发 /reɡ/ 音，其中 “r” 发 /r/ 音，“e” 发短元音 /e/，“g” 发 /ɡ/ 音。
          • 规则:u → /jʊ/， “u” 发 /jʊ/ 音，类似于 “you” 的发音。
          • 规则:lar → /lɑːr/， “lar” 发 /lɑːr/ 音，其中 “l” 发 /l/ 音，“a” 发长元音 /ɑː/，“r” 发 /r/ 音。
          • 规则:i → /ɪ/， “i” 发 /ɪ/ 音，短元音。
          • 规则:za → /zeɪ/， “za” 发 /zeɪ/ 音，其中 “z” 发 /z/ 音，“a” 发长元音 /eɪ/。
          • 规则:tion → /ʃn/， “tion” 发 /ʃn/ 音，类似于 “nation” 中 “tion” 的发音。

  • The magnitude of each feature’s weight decay coefficient is determined by its variance.
    • 固定搭配:“weight decay”意为“权重衰减”；“be determined by”意为“由……决定”。
    • 句子分析:这是一个简单的被动句，“The magnitude of each feature’s weight decay coefficient”是主语，“is determined by”是谓语，“its variance”是宾语。
    • 翻译:每个特征的权重衰减系数的大小由其方差决定。
    • 单词分析:
      • magnitude:名词，词源来自拉丁语“magnus”（大的），词义：大小；量级。
        • 记忆方法:联想“magn”（大）+“-itude”（表示状态、性质），大的状态就是大小、量级。
        • 形近词:magnify（放大），magnificent（壮丽的）。
        • 发音解析:
          • 音节分解:mag + ni + tude /ˈmæɡnɪtjuːd/，重音在第一音节。
          • 规则:mag → /mæɡ/， “mag” 发 /mæɡ/ 音，其中 “m” 发 /m/ 音，“a” 发短元音 /æ/，“g” 发 /ɡ/ 音。
          • 规则:ni → /nɪ/， “ni” 发 /nɪ/ 音，短元音。
          • 规则:tude → /tjuːd/， “tude” 发 /tjuːd/ 音，其中 “t” 发 /t/ 音，“u” 发 /juː/ 音，“d” 发 /d/ 音。
    • coefficient:名词，词源来自拉丁语“co-”（共同）+“efficere”（做），词义：系数。
      • 记忆方法:联想“co-”（共同）+“efficient”（有效率的），共同起作用的就是系数。
      • 形近词:efficient（有效率的），inefficient（无效率的）。
      • 发音解析:
        • 音节分解:co + ef + fi + cient /ˌkəʊɪˈfɪʃnt/，重音在倒数第二个音节。
        • 规则:co → /kəʊ/， “co” 发 /kəʊ/ 音，其中 “c” 发 /k/ 音，“o” 发长元音 /əʊ/。
        • 规则:ef → /ɪf/， “ef” 发 /ɪf/ 音，短元音。
        • 规则:fi → /fɪ/， “fi” 发 /fɪ/ 音，短元音。
        • 规则:cient → /ʃnt/， “cient” 发 /ʃnt/ 音，类似于 “science” 中 “cient” 的发音。
    • variance:名词，词源来自“vary”（变化），加上后缀“-ance”表示“状态、性质”，词义：方差；变化。
      • 记忆方法:联想“vary”（变化）+“-ance”（……状态），变化的状态就是方差。
      • 形近词:vary（变化），variable（变量）。
      • 发音解析:
        • 音节分解:var + i + ance /ˈveəriəns/，重音在第一音节。
        • 规则:var → /veə/， “var” 发 /veə/ 音，其中 “v” 发 /v/ 音，“a” 发长元音 /eə/。
        • 规则:i → /ɪ/， “i” 发 /ɪ/ 音，短元音。
        • 规则:ance → /əns/， “ance” 发 /əns/ 音，类似于 “chance” 中 “ance” 的发音。
  • Similar results hold for other linear models.
    • 固定搭配:“hold for”意为“适用于”。
    • 句子分析:简单句，主谓宾结构，“Similar results”是主语，“hold for”是谓语，“other linear models”是宾语。
    • 翻译:类似的结果适用于其他线性模型。
  • For deep models, drop out is not equivalent to weight decay.
    • 固定搭配:“drop out”意为“丢弃；辍学”，这里结合语境可理解为深度学习中的“丢弃法”；“be equivalent to”意为“等同于”。
    • 句子分析:简单句，“drop out”是主语，“is not equivalent to”是谓语，“weight decay”是宾语。
    • 翻译:对于深度模型来说，丢弃法不等同于权重衰减。
    • 单词分析:
      • equivalent:形容词、名词，词源来自拉丁语“equi-”（相等）+“valere”（价值），词义：相等的；等价物。
        • 记忆方法:联想“equi-”（相等）+“value”（价值），相等的价值就是等价的。
        • 形近词:equal（相等的），equality（平等）。
        • 发音解析:
          • 音节分解:e + qui + va + lent /ɪˈkwɪvələnt/，重音在第二音节。
          • 规则:e → /ɪ/， “e” 发 /ɪ/ 音，短元音。
          • 规则:qui → /kwɪ/， “qui” 发 /kwɪ/ 音，其中 “q” 发 /kw/ 音，“u” 不发音，“i” 发 /ɪ/ 音。
          • 规则:va → /veɪ/， “va” 发 /veɪ/ 音，其中 “v” 发 /v/ 音，“a” 发长元音 /eɪ/。
          • 规则:lent → /lənt/， “lent” 发 /lənt/ 音，其中 “l” 发 /l/ 音，“e” 发短元音 /ə/，“n” 发 /n/ 音，“t” 发 /t/ 音。
  • The stochasticity used while training with drop out is not necessary for the approach’s success.
    • 句子分析:这是一个主系表结构的句子，“The stochasticity”是主语，“used while training with drop out”是后置定语修饰“stochasticity”，“is”是系动词，“not necessary”是表语，“for the approach’s success”是状语。
    • 翻译:在使用丢弃法训练时所使用的随机性对于该方法的成功并非必要。
    • 单词分析:
      • stochasticity:名词，词源来自希腊语“stokhazesthai”（猜测），词义：随机性。
        • 记忆方法:联想“stochastic”（随机的）+“-ity”（表示性质），随机的性质就是随机性。
        • 形近词:stochastic（随机的）。
        • 发音解析:
          • 音节分解:sto + chas + ti + ci + ty /ˌstəʊkæˈstɪsəti/，重音在倒数第三个音节。
          • 规则:sto → /stəʊ/， “sto” 发 /stəʊ/ 音，其中 “s” 发 /s/ 音，“t” 发 /t/ 音，“o” 发长元音 /əʊ/。
          • 规则:chas → /kæʃ/， “chas” 发 /kæʃ/ 音，其中 “ch” 发 /k/ 音，“a” 发短元音 /æ/，“s” 发 /ʃ/ 音。
          • 规则:ti → /tɪ/， “ti” 发 /tɪ/ 音，短元音。
          • 规则:ci → /sɪ/， “ci” 发 /sɪ/ 音，短元音。
          • 规则:ty → /ti/， “ty” 发 /ti/ 音，类似于 “city” 中 “ty” 的发音。
  • It is just a means of approximating the sum over all sub - models.
    • 固定搭配:“a means of”意为“……的方法”。
    • 句子分析:主系表结构，“It”是形式主语，真正的主语是“a means of approximating the sum over all sub - models”。
    • 翻译:它只是一种近似所有子模型总和的方法。
    • 单词分析:
      • approximating:动词现在分词，词源来自拉丁语“ad-”（向）+“proximus”（接近），词义：近似；接近。
        • 记忆方法:联想“ap-”（加强）+“proximate”（接近的），加强接近就是近似。
        • 形近词:approximate（近似的），proximity（接近）。
        • 发音解析:
          • 音节分解:ap + prox + i + mat + ing /əˈprɒksɪmeɪtɪŋ/，重音在第二音节。
          • 规则:ap → /əp/， “ap” 发 /əp/ 音，其中 “a” 发短元音 /ə/，“p” 发 /p/ 音。
          • 规则:prox → /prɒks/， “prox” 发 /prɒks/ 音，其中 “p” 发 /p/ 音，“r” 发 /r/ 音，“o” 发短元音 /ɒ/，“x” 发 /ks/ 音。
          • 规则:i → /ɪ/， “i” 发 /ɪ/ 音，短元音。
          • 规则:mat → /meɪt/， “mat” 发 /meɪt/ 音，其中 “m” 发 /m/ 音，“a” 发长元音 /eɪ/，“t” 发 /t/ 音。
          • 规则:ing → /ɪŋ/， “ing” 发 /ɪŋ/ 音，类似于 “sing” 中 “ing” 的发音。
# 学习
Logo
AI Agent技术社区

Agent 垂直技术社区，欢迎活跃、内容共建。

更多推荐

cover

DeepSeek Harness 深度解析：一切皆插件的开源 AI Agent 框架如何运行？

avatar AI Agent技术社区
cover

2026年，集团企业想要AI落地，选RPA还是Agent？

avatar AI Agent技术社区
cover

从「能说」到「能做」：一份理清 AI Agent 的学习笔记

avatar AI Agent技术社区