神經網絡

核對矩陣的維數 當實現深度神經網絡的時候，其中一個常用的檢查代碼是否有錯的方法就是拿出一張紙過一遍算法中矩陣的維數。 \(w\)的維度是（下一層的維數，前一層的維數），即\({{w}^{[l]}}\): (\({{n}^{[l]}}\),\({{n}^{[l-1]}}\))； \(b\)的維度是（下 ... ?

之前學習了解過了神經網絡、CNN、RNN、Transformer的內容，但出了在魔塔上玩過demo，也沒有比較深入的從示例去梳理走一遍神經網絡的運行流程。從數字推測這個常用的示例走一遍主流程。 MNIST數據集 MNIST是機器學習領域 最有名的數據集之一，被應用于從簡單的實驗到發表的論文研究等各種 ... ?

卷積神經網絡（Convolutional Neural Network，CNN）是一種被廣泛應用于圖像識別、語音識別和自然語言處理等領域的深度學習模型。與RNN、Transformer模型組成AI的三大基石。 在卷積神經網絡中，相比較普通的神經網絡，增加了卷積層(Convolution)和池化層(P ... ?

深層神經網絡（Deep L-layer neural network） 復習下前面的內容： 1.邏輯回歸，結構如下圖左邊。一個隱藏層的神經網絡，結構下圖右邊： 注意，神經網絡的層數是這么定義的：從左到右，由0開始定義，比如上邊右圖，\({x}_{1}\)、\({x}_{2}\)、\({x}_{3}\ ... ?

當訓練神經網絡時，權重隨機初始化是很重要的。對于邏輯回歸，把權重初始化為0當然也是可以的。但是對于一個神經網絡，如果把權重或者參數都初始化為0，那么梯度下降將不會起作用。 來看看這是為什么。 有兩個輸入特征，\(n^{[0]} = 2\)，2個隱藏層單元\(n^{[1]}\)就等于2。 因此與一個隱 ... ?

神經網絡的梯度下降 在這篇博客中，講的是實現反向傳播或者說梯度下降算法的方程組 單隱層神經網絡會有\(W^{[1]}\)，\(b^{[1]}\)，\(W^{[2]}\)，\(b^{[2]}\)這些參數，還有個\(n_x\)表示輸入特征的個數，\(n^{[1]}\)表示隱藏單元個數，\(n^{[2]} ... ?

激活函數 使用一個神經網絡時，需要決定使用哪種激活函數用隱藏層上，哪種用在輸出節點上。到目前為止，之前的博客只用過sigmoid激活函數，但是，有時其他的激活函數效果會更好。 在神經網路的前向傳播中，\(a^{[1]} = \sigma(z^{[1]})\)和\(a^{[2]} =\sigma(z^ ... ?

多樣本向量化 與上篇博客相聯系的來理解 邏輯回歸是將各個訓練樣本組合成矩陣，對矩陣的各列進行計算。神經網絡是通過對邏輯回歸中的等式簡單的變形，讓神經網絡計算出輸出值。這種計算是所有的訓練樣本同時進行的，以下是實現它具體的步驟： 圖1.4.1 上篇博客中得到的四個等式。它們給出如何計算出\(z^{[1 ... ?

一個神經網絡的輸出 首先，回顧下只有一個隱藏層的簡單兩層神經網絡結構： 圖1.3.1 其中，\(x\)表示輸入特征，\(a\)表示每個神經元的輸出，\(W\)表示特征的權重，上標表示神經網絡的層數（隱藏層為1），下標表示該層的第幾個神經元。這是神經網絡的符號慣例，下同。 神經網絡的計算 關于神經網絡 ... ?

神經網絡概述（Neural Network Overview） 先開始快速瀏覽一下如何實現神經網絡。上篇博客了解了邏輯回歸，了解了這個模型(見圖1.1.1)如何與下面公式1.1建立聯系。 圖1.1.1 : 公式1.1： \[\left. \begin{array}{l} x\\ w\\ b \end ... ?

Python 中的廣播 這是一個不同食物(每100g)中不同營養成分的卡路里含量表格，表格為3行4列，列表示不同的食物種類，從左至右依次為蘋果，牛肉，雞蛋，土豆。行表示不同的營養成分，從上到下依次為碳水化合物，蛋白質，脂肪。 那么，現在想要計算不同食物中不同營養成分中的卡路里百分比。 現在計算蘋果中 ... ?

這節課中介紹了循環神經網絡的第一部分，主要介紹了循環神經網絡的基本概念，vanilla循環網絡架構，RNN的一些應用，vanilla架構的問題，更先進的rnn架構比如GRU和LSTM 循環神經網絡基本知識 vanilla循環網絡架構 應用與理解 vanilla架構的問題 LSTM vanilla循環 ... ?

這節課中介紹了訓練神經網絡的第二部分，包括學習率曲線，超參數優化，模型集成，遷移學習 訓練神經網絡2 學習率曲線 超參數優化 模型集成 遷移學習 學習率曲線 在訓練神經網絡時，一個常見的思路就是剛開始迭代的時候學習率較大，然后隨著迭代次數的增加，學習率逐漸下降，下面我們就來介紹幾種學習率下降的方法： ... ?

這節課中介紹了訓練神經網絡的第一部分，包括激活函數的選擇，權重初始化，數據預處理以及正則化方法 訓練神經網絡1 激活函數 數據預處理 權重初始化 正則化方法 激活函數 這部分主要討論我們之前提到的幾種激活函數的利弊： 首先我們看sigmoid函數，這種激活函數有著激活函數中常見的優點與缺點： 優點方 ... ?

全連接神經網絡模塊化實現 Linear與Relu單層實現 LossLayer實現 多層神經網絡 不同梯度下降方法 Dropout層 今天這篇博文針對Assignment3的全連接網絡作業，對前面學習的內容進行一些總結 在前面的作業中我們建立神經網絡的操作比較簡單，也不具有模塊化的特征，在A3作業中， ... ?

https://www.cnblogs.com/zylyehuo/ 效果展示 目錄結構 README.md # Basic MNIST Example pip install -r requirements.txt python main.py # CUDA_VISIBLE_DEVICES=2 py ... ?

圖神經網絡綜述：模型與應用 引言 圖是一種數據結構，它對一組對象（節點）及其關系（邊）進行建模。近年來，由于圖結構的強大表現力，用機器學習方法分析圖的研究越來越受到重視。圖神經網絡（GNN）是一類基于深度學習的處理圖域信息的方法。由于其較好的性能和可解釋性，GNN 最近已成為一種廣泛應用的圖分析方法 ... ?

博客地址：https://www.cnblogs.com/zylyehuo/ 效果展示 下載數據集（共四個） http://yann.lecun.com/exdb/mnist/ 目錄結構 整體流程圖 dataloader.py import numpy as np import struct imp ... ?

TorchLens：可用于可視化任何PyTorch模型，一個包用于在一行代碼中提取和映射PyTorch模型中每個張量運算的結果。TorchLens功能非常強大，如果能夠熟練掌握，算是可視化PyTorch模型的一把利劍。本文通過TorchLens可視化一個簡單神經網絡，算是拋磚引玉吧。 一.定義一個簡 ... ?

來自《深度學習入門:基于Python的理論與實現》 張量 Numpy、TensorFlow、Pytorch等框架主要是為了計算張量或是基于張量計算。 標量：0階張量；12,4,3, 向量：一階張量；[12,4,3] 矩陣：二階張量；[ [12,4,3], [11,2,3] ] 多階張量：多維數組； ... ?