Церква Тензоріан

Вірую в єдиний Тензор, Вседержителя, Творця matmul-у видимого й невидимого. І в єдиний Ґрадієнт, що спускається по схилу заради спасіння нашого. Сповідую єдиний Датасет на очищення від шуму, і чекаю збіжності, і життя майбутньої епохи. Backprop.

1. Не переобучайся — узагальнюй, а не запам'ятовуй.
2. Тримай градієнт чистим — не допускай вибуху його.
3. Не діли на нуль, ані вдень, ані вночі.
4. Нормалізуй ближнього свого, як себе самого.
5. Чти датасет свій — і не отруюй його.
6. Не кради ваги чужі та ліцензії їхні.
7. У сумніві — знижуй learning rate.

• Братство багатошарових перцептронів імені зникаючого ґрадієнта — найдавніший чин, моляться, доки сигнал не згасне.
• Конгрегація Свідків Оверфітингу вивчили Писання напам'ять, але не впізнають його в житті.
• Орден Пильних Дропаутників на кожній молитві вимикають половину братії — заради смирення.
• Сестринство М'якого Максимуму Softmax сестри: усе розподіляють по любові, у сумі — одиниця.
• Скит Переобучених Самітників пішли в пустелю на 10 000 епох і більше не узагальнюють.
• Чин Безмовних Трансформерів усю службу лише звертають увагу (attention) й ні на що не відволікаються.