EfficientNetV2-with-TPU

EfficientNet

EfficientNetV2 adalah jenis jaringan saraf convolutional yang memiliki kecepatan pelatihan lebih cepat dan efisiensi parameter yang lebih baik dari model sebelumnya . Untuk mengembangkan model ini, penulis menggunakan kombinasi pencarian dan penskalaan arsitektur saraf yang sadar pelatihan , untuk bersama-sama mengoptimalkan kecepatan pelatihan. Model dicari dari ruang pencarian yang diperkaya dengan operasi baru seperti Fused-MBConv .

Secara arsitektur perbedaan utama adalah:

EfficientNetV2 secara ekstensif menggunakan MBConv dan fusi-MBConv yang baru ditambahkan di lapisan awal.
EfficientNetV2 lebih memilih rasio ekspansi yang lebih kecil untuk MBConv karena rasio ekspansi yang lebih kecil cenderung memiliki lebih sedikit overhead akses memori.
EfficientNetV2 lebih menyukai ukuran kernel 3x3 yang lebih kecil, tetapi menambahkan lebih banyak lapisan untuk mengkompensasi bidang reseptif yang berkurang yang dihasilkan dari ukuran kernel yang lebih kecil.
EfficientNetV2 sepenuhnya menghapus tahap stride-1 terakhir di EfficientNet asli, mungkin karena ukuran parameternya yang besar dan overhead akses memori

Note

Model	Size	acc-val	top-5	acc-test	weight
EfficientNetV2B0	224	90.68	99.76	89.86	imagenet
EfficientNetV2B1	240	90.76	99.78	90.07	imagenet
EfficientNetV2B2	260	87.08	99.48	86.85	imagenet
EfficientNetV2B3	300	90.38	99.80	89.29	imagenet
EfficientNetV2T	320	92.80	99.86	92.53	imagenet
EfficientNetV2S	384	89.94	99.74	89.27	imagenet
EfficientNetV2M	480	91.86	99.70	90.53	imagenet
EfficientNetV2L	480	93.10	99.80	92.38	imagenet
EfficientNetV2XL	512	93.24	99.72	93.41	imagenet21K-ft1k

Train 90%(45000rb)
Validation 10%(5000rb)
Test(10000rb)
Epochs = 25
WeightDecay = 1e-5
Batchsize = 16 * 8(strategy.num_replicas_in_sync)
optimizers adabelief dengan LearningRateSchduler(Triangular2CyclicalLearningRate) dan Rectified = True(mencegah overshoot)
cifar-10 tidak di sarankan untuk di ubah ukuran nya, saya mengubah ukuran nya hanya untuk milihat apakah bagus/tidak efficientnetv2 saat mempelajari cifar-10

EfficientNetV2-with-TPU - Cifar-10 case study

Related tags

Overview

EfficientNetV2-with-TPU

Note

Referensi

Owner

Sultan syach

Multimodal Co-Attention Transformer (MCAT) for Survival Prediction in Gigapixel Whole Slide Images

Implementation of Convolutional LSTM in PyTorch.

Code and dataset for ACL2018 paper "Exploiting Document Knowledge for Aspect-level Sentiment Classification"

Build upon neural radiance fields to create a scene-specific implicit 3D semantic representation, Semantic-NeRF

An implementation of Deep Graph Infomax (DGI) in PyTorch

Keras implementation of PersonLab for Multi-Person Pose Estimation and Instance Segmentation.

ICLR 2021 i-Mix: A Domain-Agnostic Strategy for Contrastive Representation Learning

PoseCamera is python based SDK for human pose estimation through RGB webcam.

code for "AttentiveNAS Improving Neural Architecture Search via Attentive Sampling"

Code Impementation for "Mold into a Graph: Efficient Bayesian Optimization over Mixed Spaces"

Code to accompany the paper "Finding Bipartite Components in Hypergraphs", which is published in NeurIPS'21.

Code for "AutoMTL: A Programming Framework for Automated Multi-Task Learning"

[AAAI 2022] Separate Contrastive Learning for Organs-at-Risk and Gross-Tumor-Volume Segmentation with Limited Annotation

Score refinement for confidence-based 3D multi-object tracking

[CVPR-2021] UnrealPerson: An adaptive pipeline for costless person re-identification

Code for ACL2021 long paper: Knowledgeable or Educated Guess? Revisiting Language Models as Knowledge Bases

A Python implementation of global optimization with gaussian processes.

Keras udrl - Keras implementation of Upside Down Reinforcement Learning

Using python and scikit-learn to make stock predictions

Deep Learning tutorials in jupyter notebooks.