上传源码
  1. 首页
  2. Python

ENAS PyTorch高效神经网络结构搜索 项目

标签： 深度学习 PyTorch  • 文件类型: .zip • 文件大小: 13.02MB • 下载次数: 1 •

该项目是对论文《参数共享的高效神经网络结构搜索（Efficient Neural Architecture Search (ENAS) via Parameters Sharing）》的实现。ENAS 做什么？高效神经网络结构搜索，即 ENAS 减少了计算需求，将 NAS 的 GPU 计算时间减少了 1000 倍。他们通过共享大型计算图中的子图模型之间的参数共享来完成此操作。 如何使用它的过程已经在 GitHub 页面上得到了很好的展示。实现这个库的先决条件是： Python 3.6+ 需要 PyTorch tqdm，imageio，graphviz，tqdm，tensorboardX
资源截图
小图 大图
代码片段和文件信息 
import argparse
from utils import get_logger

logger = get_logger（）


arg_lists = []
parser = argparse.ArgumentParser（）

def str2bool（v）:
    return v.lower（） in （‘true‘）

def add_argument_group（name）:
    arg = parser.add_argument_group（name）
    arg_lists.append（arg）
    return arg

# Network
net_arg = add_argument_group（‘Network‘）
net_arg.add_argument（‘--network_type‘ type=str choices=[‘rnn‘ ‘cnn‘] default=‘rnn‘）

# Controller
net_arg.add_argument（‘--num_blocks‘ type=int default=12）
net_arg.add_argument（‘--tie_weights‘ type=str2bool default=True）
net_arg.add_argument（‘--controller_hid‘ type=int default=100）

# Shared parameters for PTB
# NOTE（brendan）: See Merity config for wdrop
# https://github.com/salesforce/awd-lstm-lm.
net_arg.add_argument（‘--shared_wdrop‘ type=float default=0.5）
net_arg.add_argument（‘--shared_dropout‘ type=float default=0.4） # TODO
net_arg.add_argument（‘--shared_dropoute‘ type=float default=0.1） # TODO
net_arg.add_argument（‘--shared_dropouti‘ type=float default=0.65） # TODO
net_arg.add_argument（‘--shared_embed‘ type=int default=1000） # TODO: 200 500 1000
net_arg.add_argument（‘--shared_hid‘ type=int default=1000）
net_arg.add_argument（‘--shared_rnn_max_length‘ type=int default=35）
net_arg.add_argument（‘--shared_rnn_activations‘ type=eval
                     default=“[‘tanh‘ ‘ReLU‘ ‘identity‘ ‘sigmoid‘]“）
net_arg.add_argument（‘--shared_cnn_types‘ type=eval
                     default=“[‘3x3‘ ‘5x5‘ ‘sep 3x3‘ ‘sep 5x5‘ ‘max 3x3‘ ‘max 5x5‘]“）

# PTB regularizations
net_arg.add_argument（‘--activation_regularization‘
                     type=str2bool
                     default=False）
net_arg.add_argument（‘--activation_regularization_amount‘
                     type=float
                     default=2.0）
net_arg.add_argument（‘--temporal_activation_regularization‘
                     type=str2bool
                     default=False）
net_arg.add_argument（‘--temporal_activation_regularization_amount‘
                     type=float
                     default=1.0）
net_arg.add_argument（‘--norm_stabilizer_regularization‘
                     type=str2bool
                     default=False）
net_arg.add_argument（‘--norm_stabilizer_regularization_amount‘
                     type=float
                     default=1.0）
net_arg.add_argument（‘--norm_stabilizer_fixed_point‘ type=float default=5.0）

# Shared parameters for CIFAR
net_arg.add_argument（‘--cnn_hid‘ type=int default=64）


# Data
data_arg = add_argument_group（‘Data‘）
data_arg.add_argument（‘--dataset‘ type=str default=‘ptb‘）


# Training / test parameters
learn_arg = add_argument_group（‘Learning‘）
learn_arg.add_argument（‘--mode‘ type=str default=‘train‘
                       choices=[‘train‘ ‘derive‘ ‘test‘]
                       help=‘train: Training ENAS derive: Deriving Architectures‘）
learn_arg.add_argument（‘--batch_size‘ type=int default=64）
learn_arg.add_argument（‘--test_batch_size‘ type=int defaul

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2018-04-03 15:40  ENAS-pytorch-master
     文件        1463  2018-04-03 15:40  ENAS-pytorch-master.gitignore
     文件       11357  2018-04-03 15:40  ENAS-pytorch-masterLICENSE
     文件        3664  2018-04-03 15:40  ENAS-pytorch-masterREADME.md
     目录           0  2018-04-03 15:40  ENAS-pytorch-masterassets
     文件      194479  2018-04-03 15:40  ENAS-pytorch-masterassetsENAS_cnn.png
     文件      193085  2018-04-03 15:40  ENAS-pytorch-masterassetsENAS_rnn.png
     文件      311636  2018-04-03 15:40  ENAS-pytorch-masterassetsarial.ttf
     文件       45021  2018-04-03 15:40  ENAS-pytorch-masterassetsest_rnn_epoch27.png
     文件      193155  2018-04-03 15:40  ENAS-pytorch-masterassetscnn.png
     文件      133390  2018-04-03 15:40  ENAS-pytorch-masterassetscnn_cell.png
     文件     4895676  2018-04-03 15:40  ENAS-pytorch-masterassetsptb.gif
     文件       43825  2018-04-03 15:40  ENAS-pytorch-masterassets
nn.png
     文件     6919284  2018-04-03 15:40  ENAS-pytorch-masterassetswikitext.gif
     文件        6652  2018-04-03 15:40  ENAS-pytorch-masterconfig.py
     目录           0  2018-04-03 15:40  ENAS-pytorch-masterdata
     文件          35  2018-04-03 15:40  ENAS-pytorch-masterdata\__init__.py
     文件        1393  2018-04-03 15:40  ENAS-pytorch-masterdataimage.py
     目录           0  2018-04-03 15:40  ENAS-pytorch-masterdataptb
     文件      449945  2018-04-03 15:40  ENAS-pytorch-masterdataptb est.txt
     文件     5101618  2018-04-03 15:40  ENAS-pytorch-masterdataptb rain.txt
     文件      399782  2018-04-03 15:40  ENAS-pytorch-masterdataptbvalid.txt
     文件        1720  2018-04-03 15:40  ENAS-pytorch-masterdata ext.py
     目录           0  2018-04-03 15:40  ENAS-pytorch-masterdatawikitext
     文件         159  2018-04-03 15:40  ENAS-pytorch-masterdatawikitextREADME
     文件     1256449  2018-04-03 15:40  ENAS-pytorch-masterdatawikitext est.txt
     文件    10797148  2018-04-03 15:40  ENAS-pytorch-masterdatawikitext rain.txt
     文件     1121681  2018-04-03 15:40  ENAS-pytorch-masterdatawikitextvalid.txt
     文件         596  2018-04-03 15:40  ENAS-pytorch-mastergenerate_gif.py
     文件        1185  2018-04-03 15:40  ENAS-pytorch-mastermain.py
     目录           0  2018-04-03 15:40  ENAS-pytorch-mastermodels
............此处省略10个文件信息
立即下载
Python+OpenCv实现车牌检测与识别   Python机器学习基础教程，高清版电子书
0 0

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件举报，一经查实，本站将立刻删除。

发表评论

评论列表（条）