На теперішнчй час машинне навчання застосовується у дуже великій кількості областей, наприклад, у медичній діагностиці, дорожньому русі, розпізнаванні жестів та мови, прогнозуванні.
З методів машинного навчання відокремлюють глибоке навчання. Глибоке навчання - архітектура нейромереж, до якої входить один з підходів до їх побудови та навчання, тобто це сукупність широкого сімейства методів машинного навчання, заснованих на імітації роботи людського мозку в процесі обробки даних і створення патернів, використовуваних для прийняття рішень.
Зазвичай задачі машинного навчання можна віднести до одного з трьох типів: 1) навчання з вчителем (supervised learning); 2) навчання без вчителя (unsupervised learning); 3) навчання з підкріпленням (reinforcement learning).
У навчанні з учителем моделі подається не тільки приклади входів, а й їхні бажані виходи. Метою є пошук функції f : X → Y, де X – простір входів, а Y – простір виходів, яка відповідає парам прикладів. Навчання з учителем вирішує наступні задачі: задача класифікації, регресії та ін.
Найбільш поширеною задачею навчання з вчителем є задача класифікації. Проте потрібно пам’ятати і про мінуси цього підходу: потрібно достатня кількість прикладів, що охоплюють (бажано) усі можливі ситуації, великі часові затрати на виконання процедури навчання та поведінку штучної нейронної мережі (ШНМ).
Одним з методів, що може вирішити проблему з великою тривалістю навчання та невеликою тренувальною вибіркою, є самонавчання (SSL). Зазвичай самонавчання проходить у два етапи: спочатку вирішується підготовча задача, протягом якого використовується не анотовані дані, а потім шари нейронної мережі заморожуються і вирішується основна задача. Підготовча задача (pretext task) – задача зі штучно створеними мітками (псевдо-мітками), на якій навчається модель, щоб вивчити хороше уявлення (репрезентації) об'єктів. Основна задача (downstream task) – задача на якій перевіряють якість отриманих уявлень. Псевдо-мітки (pseudo labels) – мітки, які отримують автоматично, без ручного розмітки, але навчання яким сприяє формуванню хороших уявлень. Головним чином методи самонавчання відрізняються один від одного видом та складністю підготовчої задачі[1]. Наприклад, розфарбовування зображення, доповнювання зображення, задача передбачення контексту.
Була зроблена підготовча задача на визначення кута, на який повернуто зображення. Метою використовувати геометричні перетворення є те, що згорткова нейронна мережа; неефективно працює в рамках поворотів. Тобто для згортки зображення та його повернена версія – це абсолютно різні масиви пікселей. Вважається, що розуміння орієнтації зображення допоможе нейронній мережі краще класифікувати як тренувальний датасет, так і реальні дані[2]. Ми припускаємо, що ШНМ, яка здатна розпізнавати кут повороту зображення, навчиться кращим ембедінг векторам ніж це робить звичайна CNN. Таким чином, мережа буде лише засобом створення векторів ембедінгу, які потім класифікуватимуться будь-яким звичайним методом класифікації, наприклад, методом k-найближчих сусідів чи будь-яким лінійним класифікатором.
В роботі розглянутоо підготовчу задачу складання пазлу. Ідея задачі складання пазлу полягає у припущені, що нейронна мережа буде здатна ототожнювати частини зображення та зображення в цілому і це допоможе їй звертати увагу на значущі елементи зображення. Вхідними даними для вирішення цієї задачі будуть зображення цілком та визначена кількість частин цього зображення[3]. Слід зауважити, що зображення не цілком розділяється на пазли. Спочатку випадково обирається область, яку вже потім розділяють. Ділення на частини теж проходить не рівно по границях, а з деяким відступом. Метою тренування є створити таких репрезентації частин і всього цілого, щоб ці репрезентації були схожі[4].
Література:
1 «Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey», 2019 [Електронний ресурс] : Режим доступу: https://arxiv.org/pdf/1902.06162.pdf
2 «Unsupervised representation learning by predicting image rotations», 2018 [Електронний ресурс] : Режим доступу: https://arxiv.org/pdf/1803.07728v1.pdf
3 «Self-Supervised Learning of Pretext-Invariant Representations», 2019 [Електронний ресурс] : Режим доступу https://arxiv.org/pdf/1912.01991v1.pdf
4 «Unsupervised representation learning by predicting image rotations»,2018 [Електронний ресурс] : Режим доступу:https://arxiv.org/pdf/1803.07728v1.pdf
|
Голосування 
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License
Знайшли помилку? Виділіть помилковий текст мишкою і натисніть Ctrl + Enter