From d8ee35579d344e0a832f76d297fc53caedf7627b Mon Sep 17 00:00:00 2001 From: fliklab Date: Fri, 18 Oct 2019 23:47:57 +0900 Subject: [PATCH 1/5] Update normalization.md(Fix words) MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 수정한 단어 제약 조건 → 제약 규제기→규제화 함수 초기값 설정기→초기화 함수 레이어→층 sub 표기 수정하지 않은 항목 미번역된 영문 단어 : 원문 그대로 표기되어야 하는지가 명확하지 않아서, 남겨두었습니다. activations(배치정규화는 각 배치에서 이전 층의 activations를 정규화합니다.) beta weight, gamma weight : beta weight, beta 가중치, 베타 가중치 Integer, float, Scaling True, False → 다른 문서 보고 code sniphet 처리하였습니다. feature axis --- sources/layers/normalization.md | 27 +++++++++++++-------------- 1 file changed, 13 insertions(+), 14 deletions(-) diff --git a/sources/layers/normalization.md b/sources/layers/normalization.md index ca8f8897..2c30874b 100644 --- a/sources/layers/normalization.md +++ b/sources/layers/normalization.md @@ -5,29 +5,29 @@ keras.layers.BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True, beta_initializer='zeros', gamma_initializer='ones', moving_mean_initializer='zeros', moving_variance_initializer='ones', beta_regularizer=None, gamma_regularizer=None, beta_constraint=None, gamma_constraint=None) ``` -배치 정규화 레이어입니다. (Ioffe and Szegedy, 2014) +배치 정규화 층batch normalization layer입니다. (Ioffe and Szegedy, 2014) -각 배치에서 이전 레이어의 activations를 정규화합니다. 즉, activation의 평균은 0에 가깝도록 하고 표준 편차는 1에 가깝게 유지하는 변환을 적용합니다. +각 배치batch에서 이전 층layer의 activations를 정규화normalize합니다. 즉, activation의 평균은 0에 가깝도록 하고 표준편차는 1에 가깝게 유지하는 변환을 적용합니다. __인자 설명__ -- __axis__: Integer, 정규화되어야 하는 축을 의미합니다.(일반적으로 feature axis입니다.) 예를 들어, `data_format="channels_first"`가 있는 `Conv2D`레이어 다음에 `axis=1`인 `BatchNormalization`을 설정할 수 있습니다. +- __axis__: Integer, 정규화되어야 하는 축을 의미합니다.(일반적으로 feature axis입니다.) 예를 들어, `data_format="channels_first"`가 있는 `Conv2D`층의 다음에 `axis=1`인 `BatchNormalization`을 설정할 수 있습니다. - __momentum__: 이동 평균(moving mean) 및 이동 분산(moving variance)에 대한 모멘텀을 의미합니다. - __epsilon__: 0으로 나누기를 방지하기 위해 분산에 추가되는 작은 float값 입니다. - __center__: True일 경우, 정규화된 텐서에 `beta`만큼의 거리(offset)를 추가합니다. False인 경우 `beta`는 무시됩니다. -- __scale__: True일 경우, `gamma`를 곱합니다. False인 경우 `gamma`는 사용되지 않습니다. 다음 레이어가 선형(예를 들어, `nn.relu`)일때, Scaling이 다음 레이어에서 수행될 것이기 때문에 사용되지 않을 수 있습니다. -- __beta_initializer__: beta weight를 위한 초기값 설정기입니다. -- __gamma_initializer__: gamma weight를 위한 초기값 설정기입니다. -- __moving_mean_initializer__: 이동 평균(moving mean)을 위한 초기값 설정기입니다. -- __moving_variance_initializer__: 이동 분산(moving variance)을 위한 초기값 설정기입니다. -- __beta_regularizer__: beta weight를 위해 선택적으로 사용 가능한 규제기입니다. -- __gamma_regularizer__: gamma weight를 위해 선택적으로 사용 가능한 규제기입니다. -- __beta_constraint__: beta weight를 위해 선택적으로 적용 가능한 제약조건입니다. -- __gamma_constraint__: gamma weight를 위해 선택적으로 적용 가능한 제약조건입니다. +- __scale__: True일 경우, `gamma`를 곱합니다. False인 경우 `gamma`는 사용되지 않습니다. 다음 층이 선형(예를 들어, `nn.relu`)일때, Scaling이 다음 층에서 수행될 것이기 때문에 사용되지 않을 수 있습니다. +- __beta_initializer__: beta weight를 위한 초기화 함수initializer입니다. +- __gamma_initializer__: gamma weight를 위한 초기화 함수입니다. +- __moving_mean_initializer__: 이동 평균(moving mean)을 위한 초기화 함수입니다. +- __moving_variance_initializer__: 이동 분산(moving variance)을 위한 초기화 함수입니다. +- __beta_regularizer__: beta weight를 위해 선택적으로 사용 가능한 규제 함수regularizer입니다. +- __gamma_regularizer__: gamma weight를 위해 선택적으로 사용 가능한 규제 함수입니다. +- __beta_constraint__: beta weight를 위해 선택적으로 적용 가능한 제약입니다. +- __gamma_constraint__: gamma weight를 위해 선택적으로 적용 가능한 제약입니다. __입력 크기__ -임의입니다. 이 레이어를 모델의 첫 번째 레이어로 사용할 때, 키워드 인자 `input_shape` (정수 튜플, 샘플 축 미포함)를 사용하십시오. +임의입니다. 이 층을 모델의 첫 번째 층으로 사용할 때, 키워드 인자 `input_shape` (정수 튜플, 샘플 축 미포함)를 사용하십시오. __출력 크기__ @@ -37,4 +37,3 @@ __참고 자료__ - [Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift](https://arxiv.org/abs/1502.03167) - From fa1428b0febb844e09957b40e620daab7a3d33d5 Mon Sep 17 00:00:00 2001 From: fliklab Date: Sat, 19 Oct 2019 00:17:53 +0900 Subject: [PATCH 2/5] Update normalization.md Highlight True, False --- sources/layers/normalization.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/sources/layers/normalization.md b/sources/layers/normalization.md index 2c30874b..6b982491 100644 --- a/sources/layers/normalization.md +++ b/sources/layers/normalization.md @@ -14,8 +14,8 @@ __인자 설명__ - __axis__: Integer, 정규화되어야 하는 축을 의미합니다.(일반적으로 feature axis입니다.) 예를 들어, `data_format="channels_first"`가 있는 `Conv2D`층의 다음에 `axis=1`인 `BatchNormalization`을 설정할 수 있습니다. - __momentum__: 이동 평균(moving mean) 및 이동 분산(moving variance)에 대한 모멘텀을 의미합니다. - __epsilon__: 0으로 나누기를 방지하기 위해 분산에 추가되는 작은 float값 입니다. -- __center__: True일 경우, 정규화된 텐서에 `beta`만큼의 거리(offset)를 추가합니다. False인 경우 `beta`는 무시됩니다. -- __scale__: True일 경우, `gamma`를 곱합니다. False인 경우 `gamma`는 사용되지 않습니다. 다음 층이 선형(예를 들어, `nn.relu`)일때, Scaling이 다음 층에서 수행될 것이기 때문에 사용되지 않을 수 있습니다. +- __center__: `True`일 경우, 정규화된 텐서에 `beta`만큼의 거리(offset)를 추가합니다. `False`인 경우 `beta`는 무시됩니다. +- __scale__: `True`일 경우, `gamma`를 곱합니다. `False`인 경우 `gamma`는 사용되지 않습니다. 다음 층이 선형일 때(예: `nn.relu`), Scaling이 다음 층에서 수행될 것이기 때문에 사용되지 않을 수 있습니다. - __beta_initializer__: beta weight를 위한 초기화 함수initializer입니다. - __gamma_initializer__: gamma weight를 위한 초기화 함수입니다. - __moving_mean_initializer__: 이동 평균(moving mean)을 위한 초기화 함수입니다. From 3818679fb9620d20f25f5c5f6e9b309bb592ba6e Mon Sep 17 00:00:00 2001 From: fliklab Date: Sat, 19 Oct 2019 12:10:07 +0900 Subject: [PATCH 3/5] Update normalization.md integer,float -> `int`, `float` --- sources/layers/normalization.md | 24 ++++++++++++------------ 1 file changed, 12 insertions(+), 12 deletions(-) diff --git a/sources/layers/normalization.md b/sources/layers/normalization.md index 6b982491..07aac92e 100644 --- a/sources/layers/normalization.md +++ b/sources/layers/normalization.md @@ -1,5 +1,5 @@ [[source]](https://github.com/keras-team/keras/blob/master/keras/layers/normalization.py#L16) -### BatchNormalization +### 배치 정규화BatchNormalization ```python keras.layers.BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True, beta_initializer='zeros', gamma_initializer='ones', moving_mean_initializer='zeros', moving_variance_initializer='ones', beta_regularizer=None, gamma_regularizer=None, beta_constraint=None, gamma_constraint=None) @@ -11,19 +11,19 @@ keras.layers.BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001, center=Tr __인자 설명__ -- __axis__: Integer, 정규화되어야 하는 축을 의미합니다.(일반적으로 feature axis입니다.) 예를 들어, `data_format="channels_first"`가 있는 `Conv2D`층의 다음에 `axis=1`인 `BatchNormalization`을 설정할 수 있습니다. -- __momentum__: 이동 평균(moving mean) 및 이동 분산(moving variance)에 대한 모멘텀을 의미합니다. -- __epsilon__: 0으로 나누기를 방지하기 위해 분산에 추가되는 작은 float값 입니다. +- __axis__: `int`, 정규화되어야 하는 축을 의미합니다.(일반적으로 feature axis입니다.) 예를 들어, `data_format="channels_first"`가 있는 `Conv2D`층의 다음에 `axis=1`인 `BatchNormalization`을 설정할 수 있습니다. +- __momentum__: 이동 평균moving mean 및 이동 분산moving variance에 대한 모멘텀을 의미합니다. +- __epsilon__: 0으로 나누기를 방지하기 위해 분산에 추가되는 작은 `float`값 입니다. - __center__: `True`일 경우, 정규화된 텐서에 `beta`만큼의 거리(offset)를 추가합니다. `False`인 경우 `beta`는 무시됩니다. - __scale__: `True`일 경우, `gamma`를 곱합니다. `False`인 경우 `gamma`는 사용되지 않습니다. 다음 층이 선형일 때(예: `nn.relu`), Scaling이 다음 층에서 수행될 것이기 때문에 사용되지 않을 수 있습니다. -- __beta_initializer__: beta weight를 위한 초기화 함수initializer입니다. -- __gamma_initializer__: gamma weight를 위한 초기화 함수입니다. -- __moving_mean_initializer__: 이동 평균(moving mean)을 위한 초기화 함수입니다. -- __moving_variance_initializer__: 이동 분산(moving variance)을 위한 초기화 함수입니다. -- __beta_regularizer__: beta weight를 위해 선택적으로 사용 가능한 규제 함수regularizer입니다. -- __gamma_regularizer__: gamma weight를 위해 선택적으로 사용 가능한 규제 함수입니다. -- __beta_constraint__: beta weight를 위해 선택적으로 적용 가능한 제약입니다. -- __gamma_constraint__: gamma weight를 위해 선택적으로 적용 가능한 제약입니다. +- __beta_initializer__: beta 가중치를 위한 초기화 함수initializer입니다. +- __gamma_initializer__: gamma 가중치를 위한 초기화 함수입니다. +- __moving_mean_initializer__: 이동 평균moving mean을 위한 초기화 함수입니다. +- __moving_variance_initializer__: 이동 분산moving variance을 위한 초기화 함수입니다. +- __beta_regularizer__: beta 가중치를 위해 선택적으로 사용 가능한 규제 함수regularizer입니다. +- __gamma_regularizer__: gamma 가중치를 위해 선택적으로 사용 가능한 규제 함수입니다. +- __beta_constraint__: beta 가중치를 위해 선택적으로 적용 가능한 제약입니다. +- __gamma_constraint__: gamma 가중치를 위해 선택적으로 적용 가능한 제약입니다. __입력 크기__ From da4f4e487ab2931114ed8713c5465e2fcd976c54 Mon Sep 17 00:00:00 2001 From: fliklab Date: Sat, 19 Oct 2019 12:11:28 +0900 Subject: [PATCH 4/5] Update normalization.md --- sources/layers/normalization.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/sources/layers/normalization.md b/sources/layers/normalization.md index 07aac92e..aa510ea5 100644 --- a/sources/layers/normalization.md +++ b/sources/layers/normalization.md @@ -1,5 +1,5 @@ [[source]](https://github.com/keras-team/keras/blob/master/keras/layers/normalization.py#L16) -### 배치 정규화BatchNormalization +### BatchNormalization ```python keras.layers.BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True, beta_initializer='zeros', gamma_initializer='ones', moving_mean_initializer='zeros', moving_variance_initializer='ones', beta_regularizer=None, gamma_regularizer=None, beta_constraint=None, gamma_constraint=None) From 8a91ad0feddcbeb7561595e4313000bd8cc61536 Mon Sep 17 00:00:00 2001 From: fliklab Date: Sat, 19 Oct 2019 12:12:57 +0900 Subject: [PATCH 5/5] Update normalization.md MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit feature axis -> 요인 축feature axis --- sources/layers/normalization.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/sources/layers/normalization.md b/sources/layers/normalization.md index aa510ea5..27511303 100644 --- a/sources/layers/normalization.md +++ b/sources/layers/normalization.md @@ -11,7 +11,7 @@ keras.layers.BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001, center=Tr __인자 설명__ -- __axis__: `int`, 정규화되어야 하는 축을 의미합니다.(일반적으로 feature axis입니다.) 예를 들어, `data_format="channels_first"`가 있는 `Conv2D`층의 다음에 `axis=1`인 `BatchNormalization`을 설정할 수 있습니다. +- __axis__: `int`, 정규화되어야 하는 축을 의미합니다.(일반적으로 요인 축feature axis입니다.) 예를 들어, `data_format="channels_first"`가 있는 `Conv2D`층의 다음에 `axis=1`인 `BatchNormalization`을 설정할 수 있습니다. - __momentum__: 이동 평균moving mean 및 이동 분산moving variance에 대한 모멘텀을 의미합니다. - __epsilon__: 0으로 나누기를 방지하기 위해 분산에 추가되는 작은 `float`값 입니다. - __center__: `True`일 경우, 정규화된 텐서에 `beta`만큼의 거리(offset)를 추가합니다. `False`인 경우 `beta`는 무시됩니다.