Тюкина: Тюкина Татьяна Александровна

с вероятностью p > 1 — ϑ существует линейный функционал, разделяющий Y и M.

Доказательство теоремы приведено в Приложении.

Введя теоремы 1–3, мы готовы сформулировать наши основные результаты — алгоритмы неитеративной передачи знаний ИИ.

2.3. Алгоритмы передачи знаний

Наш первый алгоритм, Алгоритм 1, рассматривает случаи, когда Вспомогательные блоки передачи знаний , т.е.е. Функциональные дополнения к существующему студенческому AI _s , представляют собой отдельные линейные функционалы. Второй алгоритм, алгоритм 2, расширяет вспомогательные блоки передачи знаний до двухуровневых каскадов линейных функционалов.

Алгоритм 1 Однофункциональная передача знаний ИИ

Алгоритм 2 Двухфункциональная передача знаний ИИ

Алгоритмы состоят из двух основных этапов: этапа предварительной обработки и этапа передачи знаний.Цель этапа предварительной обработки — упорядочить и «сфокусировать» данные. Эта операция приближает настройку к той, что рассматривается в формулировках теорем 1, 2. На этапе передачи знаний создаются вспомогательные блоки передачи знаний способом, который очень похож на рассуждения, представленные в доказательствах теорем 1 и 2. В самом деле, если | Yw, i | ≪ | Sw \ Yw, i | то член (Cov (Sw \ Yw, i) + Cov (Yw, i)) — 1 близок к единичной матрице, а функционалы ℓ _i являются хорошими приближениями (10).В этой ситуации можно было бы ожидать, что производительность этапа передачи знаний также будет тесно связана с соответствующими оценками (1), (3).

Замечание 3. Обратите внимание, что этап регуляризации на этапе предварительной обработки обеспечивает невырожденность матрицы Cov (Sw \ Yw, i) + Cov (Yw, i). Действительно, рассмотрим

Обозначая d = x̄ (Sw \ Yw, i) -x̄ (Sw \ Yw) и переставляя сумму ниже как

, получаем, что Cov (Sw \ Yw, i) неособо, пока сумма ∑x∈Sw \ Yw (x-x̄ (Sw \ Yw)) (x-x̄ (Sw \ Yw)) T не является -единственное число.Последнее свойство, однако, гарантируется этапом регуляризации в алгоритме 1.

Замечание 4. Кластеризация на шаге 2.a может быть достигнута с помощью классических алгоритмов k -средних (Lloyd, 1982) или любого другого метода (см., Например, Duda et al., 2000), который сгруппировал бы элементы Yw в кластеры в соответствии с к пространственной близости.

Замечание 5. Вспомогательные единицы передачи знаний на шаге 2.b алгоритма 1 выводятся в соответствии со стандартным формализмом линейного дискриминанта Фишера.Однако это не обязательно, и для этой цели можно использовать другие методы, например, машины опорных векторов (Vapnik, 2000). Однако стоит упомянуть, что машины опорных векторов могут быть подвержены переобучению (Han, 2014), и их обучение часто включает итерационные процедуры, такие как последовательная квадратичная минимизация (Platt, 1999).

Кроме того, вместо множеств Yw, i, Sw \ Yw, i можно использовать несколько более агрессивное деление: Yw, i и Sw \ Yw соответственно.

В зависимости от конфигурации образцов S и Y, алгоритм 1 может иногда создавать единицы передачи знаний, ℓ _i , которые слишком агрессивно «фильтруют» ошибки. То есть некоторые x∈Sw \ Yw могут случайно вызвать неотрицательный ответ ℓ _i ( x ) ≥ 0, и в результате их соответствующие входы в A _s можно проигнорировать или неправильно использовать. Чтобы смягчить это, можно увеличить количество кластеров и единиц передачи знаний соответственно.Это увеличит вероятность успешного разделения и, следовательно, решит проблему. Альтернативная практическая стратегия ограничения количества единиц передачи знаний, когда система развивается во времени, состоит в том, чтобы сохранить только наиболее релевантные из них с учетом приемлемых показателей производительности и размера «релевантного» множества S. Связь между ними является предусмотрены в теоремах 1, 2. С другой стороны, если увеличение количества единиц передачи знаний или отклонение менее актуальных по какой-либо причине нежелательно, то двухфункциональные единицы могут быть возможным решением.Алгоритм 2 представляет процедуру такой улучшенной передачи знаний AI.

Далее мы проиллюстрируем подход, а также применение предложенных алгоритмов передачи знаний в актуальной задаче проектирования системы компьютерного зрения для обнаружения пешеходов в видеопотоках в реальном времени.

3. Пример

Пусть AI _s и AI _t будут двумя системами, разработанными, например, для целей обнаружения пешеходов в видеопотоках в реальном времени.Технологический прогресс во встроенных системах и доступность таких платформ, как Nvidia Jetson TX2, сделали возможным аппаратное развертывание таких систем искусственного интеллекта на границе конвейеров обработки компьютерного зрения. Однако этим платформам не хватает вычислительной мощности, которая позволила бы запускать в реальном времени самые современные решения для обнаружения крупномасштабных объектов, такие как ResNet (He et al., 2016). Сверточные нейронные сети меньшего размера, такие как SqueezeNet (Iandola et al., 2016), могут стать способом продвижения вперед. Тем не менее, эти последние системы имеют сотни тысяч обучаемых параметров, которые обычно на несколько порядков больше, чем в e.г., гистограммы систем на основе ориентированных градиентов (HOG) (Dalal and Triggs, 2005). Более того, обучение этих сетей требует значительных вычислительных ресурсов и данных.

В этом разделе мы проиллюстрируем применение предлагаемой технологии передачи знаний AI и продемонстрируем, что эту технологию можно успешно использовать для компенсации недостатка мощности периферийного устройства. В частности, мы предлагаем, чтобы система на основе границ «обучалась» современным учителем в неитеративном режиме и в режиме, близком к реальному времени.Поскольку наши строительные блоки являются линейными функционалами, такое обучение не приведет к значительным вычислительным затратам. В то же время, как мы покажем позже, предлагаемая передача знаний AI приведет к значительному повышению производительности системы в условиях эксперимента.

3.1. Определение

В наших экспериментах учитель AI, AI _t , был смоделирован с помощью адаптации SqueezeNet (Iandola et al., 2016) с обучаемыми параметрами около 725 К. Сеть была обучена на наборе данных «учителя», состоящем из 554 тыс. Непешеходных (негативных) и 56 тыс. Пешеходных (позитивных) изображений. Позитивы затем подвергались стандартному увеличению с учетом различных геометрических и цветовых отклонений. Сеть была обучена в течение 100 эпох, что на Nvidia Titan Xp заняло около 16 часов. AI ученика, AI _s , был смоделирован с помощью линейного классификатора с функциями HOG (Dalal and Triggs, 2005) и обучаемыми параметрами 2016.Значения этих параметров были результатом обучения AI _s на наборе данных «ученик», подвыборке набора данных «учитель», состоящей из 16 K положительных результатов (55 K после увеличения) и 130 K отрицательных результатов. , соответственно. Выбор систем AI _s и AI _t позволил нам имитировать взаимодействие между маломощными периферийными ИИ и их более мощными аналогами, которые могут быть развернуты во встроенных системах с более высокими характеристиками. или, возможно, на сервере или в вычислительном облаке.

Отметим, что как для AI _t , так и для AI _s набор негативов в несколько раз больше, чем набор позитивов. Это делает наборы данных несколько несбалансированными. Несбалансированные наборы данных не редкость в задачах обнаружения объектов. Есть несколько причин, по которым такие несбалансированные наборы данных могут возникать на практике. Каждый кандидат на включение в набор положительных результатов обычно подвергается тщательной проверке со стороны человека. Это делает процесс трудоемким и дорогостоящим и, как следствие, накладывает ограничения на достижимый размер набора.Негативы, как правило, создавать легче. Отметим также, что набор негативов в наших экспериментах — это, по сути, набор всех объектов, не являющихся пешеходами. Этот последний набор имеет значительно более широкий спектр вариаций, чем набор позитивов. Учет этой большей изменчивости без навязывания каких-либо дополнительных предварительных предположений или знаний может быть достигнут с помощью более крупных выборок. Это была стратегия, которую мы здесь приняли.

Для большей реалистичности эксперимента мы предположили, что внутренние состояния обеих систем недоступны для прямого наблюдения.Для создания наборов S и Y, требуемых в алгоритмах 1 и 2, мы дополнили систему AI _s внешним генератором функций HOG той же размерности. Мы предположили, однако, что положительные и отрицательные стороны набора данных «студент» доступны для целей передачи знаний. Схема, представляющая эту установку, показана на рисунке 4. Изображение кандидата оценивается двумя системами одновременно, а также генератором признаков HOG. Последний генерирует 2016 размерных векторов HOG и сохраняет эти векторы в наборе S.Если выходы AI _s и AI _t не совпадают, то соответствующий вектор признаков добавляется в набор Y.

Рисунок 4 . Схема передачи знаний между ИИ учителя и ИИ ученика, дополненная генератором функций на основе HOG.

3.2. Типы исправленных ошибок

В этом эксперименте мы рассматриваем и устраняем два типа ошибок: ложные срабатывания (исходные ошибки типа I) и ложноотрицательные (исходные ошибки типа II).Типы ошибок определялись следующим образом. Ошибка считается ложным срабатыванием (для исходных данных), если AI _s сообщил о наличии полноразмерного изображения пешехода правильного размера на данном участке изображения, тогда как такого объекта там не было. Точно так же ошибка считается ложноотрицательной (для исходных данных), если пешеход присутствовал в данном фрагменте изображения, но AI _s не сообщил об этом там.

Нашей основной задачей было воспроизвести сценарий развертывания, в котором AI _t способен одновременно оценивать только небольшие участки изображения в заданных квантах обработки. В то же время AI _s должен уметь обрабатывать весь кадр за разумное время, но его точность ниже. Это делает оценку всех соответствующих изображений с помощью AI _t нецелесообразным с вычислительной точки зрения и, кроме того, исключает автоматическое обнаружение ошибок типа II (исходные ложные негативы), когда AI _s сканирует изображение в тысячах позиций в кадре.С другой стороны, количество положительных ответов AI _s ограничено несколькими десятками фрагментов меньшего размера на кадр, что, как предполагается, находится в пределах возможностей обработки AI _t . Ввиду этих соображений мы поэтому сосредоточили внимание в основном на ошибках типа I (исходные ложные срабатывания). Тем не менее, в разделе 3.4 мы обсуждаем возможные способы обработки ошибок типа II в исходной системе и приводим иллюстративный пример того, как это можно было бы сделать.

Стоит отметить, что выходные метки выбранного AI учителя, AI _t , не всегда совпадают с наземными метками. AI _t тоже может давать случайные ошибки, и примеры таких ошибок представлены на рис. 5. Независимо от них, производительность AI _t была заметно выше, чем у AI _s и, следовательно, ради тестирования концепции, эти редкие случайные ошибки AI _t были отброшены в экспериментах.

Рисунок 5 . Примеры ложных срабатываний, сгенерированных учителем AI, AI _t , для видео NOTTINGHAM (Burton, 2016).

3.3. Наборы данных, используемые в экспериментах, и типы экспериментальных ошибок

Для тестирования подхода мы использовали видео NOTTINGHAM (Burton, 2016), содержащее 435 кадров живого видео, снятого с помощью экшн-камеры. Видео, по данным ручного осмотра, содержит 4039 полноразмерных изображений пешеходов.

В целях обучения и тестирования модулей передачи знаний видео было передано через AI _s и AI _s , возвращенные обнаруженные фигуры пешеходов.Эти обнаружения были оценены с помощью AI _t и помечены соответствующим образом (см. Диаграмму на рисунке 4). На этом этапе порог принятия решения в AI _s варьировался от -0,3 до 2 для захвата достаточно большой выборки ложных срабатываний, оценки которых близки к границе принятия решения. Этот помеченный набор векторов признаков был разделен на два неперекрывающихся подмножества: набор 1, состоящий примерно из 90% истинно положительных и 90% ложных срабатываний, и набор 2, являющийся его дополнением.Характеристики HOG, соответствующие исходным ошибкам типа I (ложные срабатывания) в наборе 1, а также все функции HOG, извлеченные из 55 тыс. Изображений положительных результатов, которые использовались для обучения AI _s были объединены в обучающий набор . Этот обучающий набор затем был использован для получения единиц передачи знаний для AI _s .

Наборы 1 и 2 составляют разные наборы для тестирования в нашем примере. Первый набор тестов (Набор 1) позволяет нам оценить, как модифицированный AI _s справляется с удалением «видимых» исходных ошибок I типа (ложных срабатываний) при наличии «невидимых» истинных срабатываний.Второй набор тестирования (набор 2) будет использоваться для оценки возможностей обобщения окончательной системы.

Отметим, что маркировка ложных срабатываний касалась выходов AI _t , а не наземных меток истинности. Визуальный осмотр этикеток AI _t показал, что они также содержат несколько десятков ложных срабатываний. Это число, однако, ничтожно мало по сравнению с общим количеством истинных положительных результатов (около 2000) и ложных срабатываний (около 800) ИИ ученика, AI _s .

Наконец, для количественной оценки эффективности предлагаемого подхода к передаче знаний важно различать определения типов ошибок (Тип I и Тип II) для исходной системы и типы ошибок, характеризующие производительность самих модулей передачи знаний . Соответствующие определения приведены в Таблице 1. Обратите внимание, что истинных негативов (отмеченных звездочкой * в таблице) в экспериментах не наблюдается. В следующих случаях и если не указано иное, мы будем ссылаться на эти определения.

Таблица 1 . Определение типов ошибок в экспериментах по передаче знаний.

Результаты применения алгоритмов 1, 2, а также анализ их производительности на тестовых наборах представлены ниже.

3.4. Результатов

Мы сгенерировали 10 различных реализаций наборов 1 и 2. В результате получили 10 различных образцов обучающих и тестовых наборов. Алгоритмы были применены ко всем этим различным комбинациям. Один прогон этапа предварительной обработки Шаг 1 занял в среднем 23 раза.5 с для ноутбука Apple с процессором A7 3,5 ГГц. После этапа предварительной обработки было сохранено только 164 основных компонента. Это привело к значительному уменьшению размерности векторов признаков. В наших экспериментах предварительная обработка также включала нормализацию отбеленных векторов так, чтобы их норма L ₂ всегда была единица. Это переносит данные на единичную сферу, что несколько больше согласуется с теоремами 1 и 2. Шаги 2 в алгоритмах 1, 2 заняли 1 и 24 мс соответственно.Это значительное ускорение по сравнению с полным переобучением AI _с (несколько минут) или AI _t (часы). Также обратите внимание, что полное повторное обучение не дает никаких гарантий того, что ошибки будут устранены.

Перед запуском шагов 2 алгоритмов мы проверили, коррелированы ли векторы признаков, соответствующие ошибкам (ложным срабатываниям) в обучающем наборе. Это позволяет осознанный выбор параметра количества кластеров, p , в алгоритмах 1 и 2.Трехмерная цветная визуализация корреляций, то есть 〈 x _i , x _j 〉 между предварительно обработанными (после шага 1) элементами в наборе Y: показано на рисунке 6, левая панель. Гистограмма длин всех векторов обучающего набора показана на рисунке 6, правая панель. Обратите внимание, что длины аккуратно концентрируются около 164, как и ожидалось. Согласно рисунку 6, элементы множества Y в большинстве своем некоррелированы.Однако есть несколько коррелированных элементов, которые, как мы ожидаем, будут учтены на шаге 2.a алгоритмов. В отсутствие заметно распространенных корреляций мы устанавливаем p = 30, что эквивалентно примерно 25 элементам на кластер. Примеры корреляций внутри кластеров после завершения шага 2 показаны на рисунке 7. Обратите внимание, что чем больше порог, тем выше ожидаемая корреляция между элементами и тем выше шансы, что такой блок передачи знаний будет работать успешно (см. Теоремы 1 и 2).

Рисунок 6. (Слева) : Диаграмма корреляции между элементами набора Y (элементы, которые должны быть изучены с помощью AI _s ). (справа) : Гистограмма длин векторов признаков в обучающем наборе после предварительной обработки.

Рисунок 7 . Корреляции внутри кластеров после этапа 2. Левая панель соответствует кластеру с большим порогом ≃0,76. Правая панель соответствует кластеру с нижним порогом ≃0.43.

Производительность алгоритмов 1, 2 на тестовых наборах, сгенерированных из видео NOTTINGHAM, представлена ​​на рисунках 8, 9. На этих рисунках мы показали поведение

как функции порога принятия решения в диаграммах AI _s , Precision-Recall и True Positives vs. Красные кружки соответствуют исходному AI _s без блоков передачи знаний.Синие квадраты соответствуют AI _s после алгоритма 1, а зеленые треугольники иллюстрируют применение алгоритма 2. Обратите внимание, что максимальное количество ложных срабатываний на рисунке 8 не превышает 400. Это связано с тем, что порог был теперь установлен. варьируется в рабочем интервале [0, 2] в отличие от [-0,3, 2], используемого для сбора обучающих данных.

Рисунок 8 . Производительность обученного AI _s на испытательном наборе 1 (набор 1).Красные кружки соответствуют исходному AI _s без блоков передачи знаний. Синие квадраты соответствуют AI _s после алгоритма 1, а зеленые треугольники иллюстрируют применение алгоритма 2. (A) показывает точность (усредненную по 10 реализациям набора 1) как функцию порога принятия решения в AI _s , (B) показывает отзыв (усредненное по 10 реализациям набора 1), (C) содержит соответствующие данные точного вызова, а (D) показывает истинные положительные результаты по сравнению сЛожные срабатывания для одной реализации набора 1. Линии между точками показаны для наглядности и не представляют никаких измерений и не указывают на достижимую производительность.

Рисунок 9 . Производительность обученного AI _s на испытательном наборе 2 (набор 2). Красные кружки соответствуют исходному AI _s без блоков передачи знаний. Синие квадраты соответствуют AI _s после алгоритма 1, а зеленые треугольники иллюстрируют применение алгоритма 2. (A) показывает точность (усредненную по 10 реализациям набора 2) как функцию порога принятия решения в AI _s , (B) показывает отзыв (усредненный по 10 реализациям набора 2), (C) содержит соответствующие данные Precision-Recall, а (D) показывает истинные положительные результаты по сравнению с ложными срабатываниями для одной реализации набора 2. Линии между точками показаны для визуализации и не представляют никаких измерений. или указать достижимую производительность.

Как показано на рисунке 9, производительность AI _s на испытательном наборе 1 (набор 1) резко улучшается после применения обоих алгоритмов. Алгоритм 2 превосходит алгоритм 1 с некоторым запасом, что наиболее заметно на графике на рисунке 8D. Почти идеальная производительность в пространстве Precision-Recall можно объяснить тем, что обучающая выборка содержала полную информацию о ложных срабатываниях (но не о настоящих срабатываниях). Важно отметить, что алгоритм 2 не помечает почти все «невидимые» истинные положительные результаты.

Что касается результатов, показанных на рисунке 9, характеристики производительности AI _s после применения обоих алгоритмов изменяются. Алгоритм 1 приводит к незначительному снижению показателей отзыва, а алгоритм 2 восстанавливает это падение до базовой производительности. Точность незначительно улучшается для обоих алгоритмов, а кривые истинных положительных и ложных срабатываний для AI _с с блоками передачи знаний преобладают над кривыми простого AI _с .Это говорит о том, что предлагаемая структура передачи знаний не только позволяет приобретать новые знания, как указано в помеченных данных, но также обладает способностью к дальнейшему обобщению знаний. Степень такого обобщения, очевидно, будет зависеть от статистики данных. Тем не менее, как показано на рисунке 9, это вполне реальная возможность.

Наши эксперименты показали, как этот подход может быть использован для фильтрации ошибок типа I в исходной системе. Однако эту технологию можно использовать и для восстановления ошибок типа II (ложноотрицательные результаты в исходной системе), если данные будут доступны.Для получения этих данных можно использовать несколько стратегий. Первый подход заключается в использовании вычитания фона для обнаружения движущегося объекта и пропускания объекта через AI _s и AI _t . Второй подход состоит в том, чтобы позволить AI _s сообщать об обнаружениях, которые классифицируются как отрицательные, но все же находятся достаточно близко к границе обнаружения. Это стратегия, которую мы здесь приняли. Мы проверили характеристики HOG в AI _s , соответствующие значениям в интервале [-0.3, 0] с учителем AI, AI _t . Всего этим методом было выделено 717 векторов HOG, из которых 307 были помечены AI _t как положительные, а 410 считались отрицательными. Мы взяли один из векторов признаков HOG, помеченных как True Positive, x _v , и построили (после применения преобразования предварительной обработки из предыдущих экспериментов) несколько разделяющих гиперплоскостей с весами x _v / || x _v || и пороги c _v , изменяющиеся в [0, 1].Результаты сведены в Таблицу 2. Как и раньше, мы наблюдаем сильный эффект концентрации меры: блок передачи знаний демонстрирует крайнюю избирательность для достаточно больших значений c _v . В данном конкретном случае c _v = 0,25 обеспечивает максимальный выигрыш при минимальном риске ожидаемой ошибки в будущем [см. например, правая часть (1) в теореме 1 при k = 1, ε = 0,75 для оценки].

Таблица 2 .Восстановление ошибок типа II исходного AI _s .

4. Заключение

В этой работе мы предложили структуру для мгновенной передачи знаний между системами ИИ, внутреннее состояние которых, используемое для принятия решений, может быть описано элементами многомерного векторного пространства. Платформа позволяет разрабатывать неитеративные алгоритмы для распространения знаний между унаследованными системами ИИ с разнородными неидентичными архитектурами и различными вычислительными возможностями.Реализуемость структуры была проиллюстрирована на примере передачи знаний между двумя системами ИИ для автоматического обнаружения пешеходов в видеопотоках.

В основе предлагаемой структуры передачи знаний лежат теоремы разделения (теорема 1–3), устанавливающие особые свойства больших, но конечных случайных выборок в высокой размерности. Согласно этим результатам, k < n случайных i.i.d. элементы могут быть разделены на M ≫ n случайно выбранных элементов i.я бы. выборка из одного и того же распределения несколькими линейными функционалами с высокой вероятностью. Теоремы доказаны для равнораспределений в шаре и кубе. Результаты можно тривиально обобщить на эквираспределения в эллипсоидах и гауссовские распределения. Подробное обсуждение этих вопросов выходит за рамки и видение данной работы. Тем не менее, обобщения для других значимых распределений, ослабление требования независимости и более широкий взгляд на то, как предлагаемую технологию можно использовать в многоагентных системах ИИ, представлены в техническом отчете (Gorban et al., 2018).

Авторские взносы

Все перечисленные авторы внесли существенный, прямой и интеллектуальный вклад в работу и одобрили ее к публикации.

Финансирование

Работа поддержана Минобрнауки России (проект № 14.Y26.31.0022) и Innovate UK (грант Партнерства по передаче знаний KTP010522).

Заявление о конфликте интересов

KS использовался в ARM Holding, а IR — в Spectral Edge Ltd.На момент подготовки рукописи IR работал в ARM Holding. Все данные, использованные в экспериментах, предоставлены АРМ Холдингом.

Остальные авторы заявляют, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могли бы быть истолкованы как потенциальный конфликт интересов.

Список литературы

Бухтала О. и Больной Б. (2007). «Базовые технологии передачи знаний в интеллектуальных системах», симпозиум IEEE по искусственной жизни, 2007 г.ALIFE’07 (Гонолулу, Гавайи), 251–258.

Бусила К., Каруана Р. и Никулеску-Мизил А. (2006). «Сжатие модели», в KDD (Филадельфия, Пенсильвания: ACM), 535–541.

Бертон, Р. (2016). Ноттингем видео. Тестовое видео для обнаружения пешеходов, снятое с улиц Ноттингема камерой действия . Доступно в Интернете по адресу: https://youtu.be/SJbhOJQCSuQ

Чен Т., Гудфеллоу И. и Шленс Дж. (2015). Net2net: ускорение обучения за счет передачи знаний. arXiv [препринт]. arXiv: 1511.05641 .

Google Scholar

Далал, Н., Триггс, Б. (2005). «Гистограммы ориентированных градиентов для обнаружения человека» в Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (San Diego, CA), 886–893.

Google Scholar

Дуда Р., Харт П. и Сторк Д. (2000). Классификация образцов . Нью-Йорк, штат Нью-Йорк: Wiley.

Google Scholar

Гиббс, Дж.(1902). Элементарные принципы статистической механики, разработанные с особым упором на рациональные основы термодинамики . Нью-Йорк, Нью-Йорк: Dover Publications.

Google Scholar

Гилев, С., Горбань, А., Миркес, Э. (1991). Маленькие специалисты и внутренние конфликты в обучении нейронных сетей (малые эксперименты и внутренние конфликты в обучаемых нейронных сетях). Доклады АН СССР 320, 220–223.

Горбань А. (2007).Разделение порядка и беспорядка: геометрическая ревизия. Phys. А 374, 85–102. DOI: 10.1016 / j.physa.2006.07.034

CrossRef Полный текст

Горбань А., Бертон Р., Романенко И., ИТ (2016a). Коррекция за один раз унаследованных систем искусственного интеллекта и теорем стохастического разделения. arXiv [препринт]. arXiv: 1610.00494 .

Google Scholar

Горбань А., Голубков А., Гречук Б., Миркес Е., Тюкин И. (2018). Коррекция систем ИИ линейными дискриминантами: вероятностные основы. Инф. Sci. 466, 303–322. DOI: 10.1016 / j.ins.2018.07.040

CrossRef Полный текст | Google Scholar

Горбань А., Тюкин И. (2018). Благо размерности: математические основы статистической физики данных. Philos. Пер. R. Soc. А 376: 20170237. DOI: 10.1098 / rsta.2017.0237

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Горбань А., Тюкин И., Прохоров Д., Софейков К. (2016b). Аппроксимация со случайными основаниями: за и против. Информ. Sci. 364–365, 129–145. DOI: 10.1016 / j.ins.2015.09.021

CrossRef Полный текст | Google Scholar

Громов М. (1999). Метрические структуры для римановых и неримановых пространств. С приложениями М. Каца, П. Пансу, С. Семмеса. Перевод с французского Шона Мухаэля Бейтса . Бостон, Массачусетс: Birkhauser.

Google Scholar

Громов М. (2003). Изопериметрия талии и концентрации карт. Geomet. Функц. Анальный. 13, 178–215.DOI: 10.1007 / s0003₀₀₄

CrossRef Полный текст | Google Scholar

Холл В. и Пезенти Дж. (2017). Развитие индустрии искусственного интеллекта в Великобритании. Департамент цифровых технологий, культуры, СМИ и спорта и Департамент бизнеса, энергетики и промышленной стратегии.

Хан, Х. (2014). «Анализ переобучения машины опорных векторов на данных микрочипа» в Intelligent Computing in Bioinformatics. ICIC 2014. Конспект лекций по информатике , ред.Хуанг, К. Хан и М. Громиха (Чам: Спрингер), 148–156.

Google Scholar

Хе К., Чжан Х., Рен С. и Сун Дж. (2016). «Глубокое остаточное обучение для распознавания изображений», 2016 IEEE Conference on Computer Vision and Pattern Recognition (Las Vegas, NV), 770–778.

Google Scholar

Хинтон, Г., Виньялс, О., Дин, Дж. (2015). Получение знаний в нейронной сети. arXiv [препринт]. arXiv: 1503.02531 .

Google Scholar

Иандола, Ф.Н., Хан, С., Москевич, М. В., Ашраф, К., Далли, В. Дж., И Койцер, К. (2016). Squeezenet: точность на уровне alexnet с в 50 раз меньшим количеством параметров и размером модели <0,5 МБ. arXiv [препринт]. arXiv: 1602.07360 .

Google Scholar

Джейкобс, Р., Джордан, М., Новлан, С., и Хинтон, Г. (1991). Адаптивные смеси местных специалистов. Neural Comput. 3, 79–87.

Google Scholar

Леви П. (1951). Problèmes Concrets D’analyse Fonctionnelle, 2nd Edn. Париж: Готье-Виллар.

Ли С. (2011). Краткие формулы площади и объема гиперсферической шапки. Asian J. Math. Стат. 4, 66–70. DOI: 10.3923 / ajms.2011.66.70

CrossRef Полный текст | Google Scholar

Ллойд, С. П. (1982). Квантование методом наименьших квадратов в pcm. IEEE Trans. Поставить в известность. Теория 28, 129–137.

Google Scholar

Пан, С. Дж., И Ян, К. (2010). Обзор трансфертного обучения. IEEE Trans.Знай. Data Eng. 22, 1345–1359. DOI: 10.1109 / TKDE.2009.191

CrossRef Полный текст | Google Scholar

Платт, Дж. (1999). «Быстрое обучение опорных векторных машин с использованием последовательной минимальной оптимизации», в Advances in Kernel Methods — Support Vector Learning , eds B. Schölkopf, C. Burges и A. Smola (Cambridge: MIT Press), 185–208.

Google Scholar

Пратт, Л. (1992). «Передача между нейронными сетями на основе различимости», in Advances in Neural Information Processing Systems , Vol.5 (Сан-Франциско, Калифорния: Morgan Kaufmann Publishers Inc.), 204–211.

Google Scholar

Шульц, Т., и Ривест, Ф. (2000). «Каскадная корреляция на основе знаний», в Proceedings of the IEEE-INNS-ENNS International Joint Conference on Neural Networks (Como), 641–646.

Вапник В. (2000). Природа статистической теории обучения . Нью-Йорк, штат Нью-Йорк: Springer-Verlag.

Google Scholar

Вапник В., Измайлов Р.(2017). Передача знаний в SVM и нейронных сетях. Ann. Математика. Артиф. Intell. 81, 1–17. DOI: 10.1007 / s10472-017-9538-x

CrossRef Полный текст | Google Scholar

Йосински Дж., Клун Дж., Бенжио Й. и Липсон Х. (2014). «Насколько переносимы функции в глубоких нейронных сетях?» В Advances in Neural Information Processing Systems , Vol. 2 (Монреаль, Квебек: MIT Press), 3320–3328.

Google Scholar

Приложение

Доказательство теоремы 1 .Рассмотрим множество Y. Вероятность того, что один элемент Y принадлежит B _n (1) \ B _n (1 — ε), равна 1 — (1 — ε) ^№ . Напомним, что если A ₁ ,…, A _m — произвольные события, то

Согласно (4) вероятность того, что Y⊂Bn (1) \ Bn (1-ε) (событие E ₁ ) удовлетворяет

Выберите xM + i∈Y и рассмотрите наибольший экватор шара B _n (1), который ортогонален элементу x _{M + i} .Пусть D _δ ( x _{M + i} ) обозначает δ-утолщение диска, связанного с этим экватором. Существует только один такой диск, и он однозначно определяется как x _{M + i} и δ (см. Рисунок A1). Рассмотрим следующие события:

Рисунок A1 . Иллюстрация к доказательству теоремы 1. (A) Показывает x _{M +1} , x _{M +2} и x _{M +3} в наборе B _n (1) \ B _n (1 − ε). (B) показывает x _{M + i} и соответствующий диск D _δ ( x _{M + i} ) (заштрихованная область) ).Совокупный объем сферических колпачков ниже и выше диска ограничен сверху объемом шара n с радиусом ρ (δ) = 1-δ2. Соответствующий полушар радиуса ρ (δ) показан синей заштрихованной областью.

В соответствии с (4) и рис. A1, [ср. Gorban et al., 2016b, доказательство предложения 3 и оценки (26)], отсюда ясно, что

Предположим, что событие E ₁ (|| x _{M + i} || ≥ 1 − ε для всех i = 1,…, k ) и событий E ₂ ,…, E _k встречаются. Тогда

и

Рассмотрим вектор

Из уравнения (5) следует, что

и, следовательно,

Наконец, рассмотрим

Понятно, что если || x _{M + i} || ≥ 1 − ε и выполняется (5), тогда (6), (7) гарантируют, что ℓ ₀ ( x _{M + i} ) ≥ 0 для всех xM + i∈Y. Гиперплоскость ℓ ₀ ( x ) = 0 разделяет единичный шар B _n (1) на объединение двух непересекающихся множеств: сферической крышки C

и его дополнение в B _n (1), Bn (1) \ C.Объем V крышки C можно оценить сверху как

Следовательно, вероятность того, что ℓ ₀ ( x _i ) <0 для всех xi∈M (событие E _{k +1} ), может быть оценена снизу как

и

Это нижняя граница вероятности того, что M может быть отделена от Y гиперплоскостями ℓ ₀ ( x ) = 0.Учитывая, что эта оценка верна для всех допустимых значений ε, δ, следует утверждение (1). □

Доказательство теоремы 2 . Рассмотрим множество Y. Заметим, что, поскольку элементы x _i нарисованы независимо от B _n (1), || x _{M + i} || ≥ 1 − ε, ε ∈ (0, 1) для всех i = 1,…, k , с вероятностью p = (1 — (1 — ε) ⁿ ) k .Рассмотрим теперь вектор ȳ

и оценить следующие внутренние продукты

Согласно предположению (2),

и

Пусть (1-ε) 2 + β2 (m-1)> 0 и (1-ε) 2 + β1 (m-1)> 0.Рассмотрим

Понятно, что ℓ ₀ ( x _{M + r i} ) ≥ 0 для всех i = 1,…, м кстати функционал построен. Гиперплоскость ℓ ₀ ( x ) = 0 разбивает шар B _n (1) на два набора: набор C, определенный как в (9), и его дополнение, Bn (1) \ C.Объем V множества C ограничен сверху как

где

Теперь следует оценка (3). □

Доказательство теоремы 3 . Заметим, что в частном пространстве ℝ ⁿ / E элементы множества

— это векторы, координаты которых совпадают с координатами частного представления x _{M +1} .Это означает, что частное представление Y состоит из одного элемента, Q ( x _{M +1} ). Кроме того, размер ℝ ⁿ / E равен n — k + 1. Пусть R02 = ∑i = 1n-k + 1σi2 и Q̄ (x) = 𝔼 (Q (x)). Согласно теореме 2 и следствию 2 из (Горбань, Тюкин, 2017) для ϑ ∈ (0, 1) и M , удовлетворяющего

с вероятностью p > 1 − ϑ выполняются неравенства:

для всех i, j , i ≠ M +1.Отсюда следует, что гиперплоскость ℓ ₀ ( x ) = 0, где

разделяет M и Y с вероятностью p > 1 − ϑ. □

бористюкин (Борис Тюкин) · GitHub

Популярные репозитории

1. Мои личные файлы точек

   Скрипт vim 1

4. Форк от TryGhost / Casper

   Тема личного блога по умолчанию для Ghost

   CSS

5. Форкнул от msheraton / qv-user-manager

   Обрабатывает клиентские лицензии QlikView и авторизацию пользователей DMS.Примечание. QV10SR4 в настоящее время является единственной полностью поддерживаемой версией из-за ошибок в API в предыдущих версиях. Также для QV11 был изменен API, поэтому он может…

   C #

6. Разветвленный от cloudera / impyla

   Клиент Python DB API 2.0 для Impala и Hive (протокол HiveServer2)

   Python

2 взносы в прошлом году

Вклад деятельности

Март — май 2021 г.

бористюкин не имеет активности пока что на этот период.

Февраль 2021 г.

99designs / aws-хранилище

1 публичная запись Бориса Тюкина — Телефон, электронная почта, адрес

• Имя: Борис Тюкин
• Адрес: 5624 Bear Stone Run Oviedo, FL 32765
• Возраст: 21 год
• Домовладелец: Домовладелец
• Тип жилья: Дом на одну семью
• Продолжительность проживания: 4 года
• ID отчета: 410555912

Знаете ли вы?

• Люди с фамилией Тюкин живут больше в Флориде и в основном не состоят в браке .
• 0,00% из Борис Тюкин имеет высшее образование, а 0,00% имеет только аттестат зрелости.
• 0,00% состоят в браке и 100,00% являются домовладельцами

Двигатель выключен! — AOPA

Несмотря на драму, вы знаете, что Тюкин благополучно добрался до земли, потому что все это спустя несколько месяцев после того, как этот факт был предложен миру с точки зрения камеры POV, размещенной на YouTube.Чрезвычайная ситуация с Тюкиным, как и другие на сайте обмена видео, дает нам отличное представление о том, как пилоты реагируют в реальном времени на серьезные проблемы. Мы также можем просматривать аварийные ситуации по мере их возникновения, а не в сценарии, созданном инструктором.

Видео начинается с того, что Тюкин рассказывает о своем опыте, но действие начинается через несколько минут. Мы видим, как он прибавил в полную мощность и начал нормальный набор высоты с взлетно-посадочной полосы 19L в Конкорде, Калифорния, на Бьюкенен-Филд. Примерно с минуту он поднимается прямо вперед.Это необычно длинный отрезок вылета, но мы узнаем, что он следует Cirrus, который делает широкую траекторию. Это заставляет Тюкина разворачивать боковой ветер на высоте около 900 футов над землей, примерно на 300 футов выше и это намного дальше от взлетно-посадочной полосы, чем обычно. Через несколько секунд он снижает мощность, и вы можете услышать резкое и отчетливое снижение оборотов, как если бы невидимый инструктор потянулся и вернул дроссель обратно в режим холостого хода во время тренировки. Тогда… ничего.

Три секунды Тюкин не двигается.Затем он проверяет смесь, топливо и отсечку топлива. Затем он продолжает лететь прямо вперед, переводя взгляд на различные инструменты и глядя наружу. Еще около пяти секунд до того, как он поворачивает обратно в аэропорт. Есть несколько радиопередач, но в основном мы наблюдаем, как Тюкин пробирается между высокими деревьями, прежде чем приземлиться на тренировочном поле для гольфа и врезаться в забор. Прошло около трех минут с тех пор, как колеса самолета оторвались от земли, и всего около 90 секунд с момента отказа двигателя.Это его третий одиночный полет.

Отказ двигателя после взлета — одна из самых серьезных аварийных ситуаций, с которыми может столкнуться пилот. Без высоты пилот должен немедленно оценить ситуацию, удержать самолет в полете и за несколько секунд принять решение о том, где приземлиться. За исключением пожара в полете, никакая ситуация не требует столь быстрых решительных действий. Это одна из многих причин, по которым мы так часто практикуем моделирование отказов двигателя на тренировках. Практика помогает развить мышечную память и систематический подход к действиям в чрезвычайных ситуациях.

Экстренные меры реагирования можно разбить на несколько ключевых шагов, которые помогают нам разделить и прояснить наши мысли во время этих стрессовых ситуаций.

Распознать проблему и определить ее серьезность

Первый шаг в любом экстренном реагировании может показаться очевидным, но распознать проблему не всегда легко. Если в таком случае, как у Тюкина, двигатель закручивается и винт начинает вращаться, это очевидно: потеря мощности. У маленького самолета могут быть десятки, может быть, даже сотня различных проблем.Возможно, проблема временная, например, небольшая шимминг планера. Или это может быть катастрофа, например, полный отказ двигателя. Первым шагом любого экстренного реагирования является распознавание проблемы. Практически одновременно необходимо определить серьезность проблемы.

Это этап, который часто пропускают на тренировках, но он очень важен. Определение серьезности проблемы, с которой вы столкнулись, подскажет вам, что вам нужно знать, чтобы ее решить. Многие пилоты опасаются худшего, когда сталкиваются даже с самыми простыми проблемами, что может привести к более серьезным аварийным ситуациям.Печально известная дверь, открывающаяся при взлете, является прекрасным примером. Почти во всех случаях легкий самолет будет нормально летать с открытой дверью. Тем не менее, пилоты обычно ловят открывающуюся дверь, что является серьезной аварийной ситуацией, которую необходимо немедленно устранить. Из-за этого были уничтожены самолеты и погибли люди. Открытая дверь — не более чем раздражение: небольшая проблема, которую необходимо решить, но которая находится значительно ниже авиации, навигации и общения.

Знание серьезности проблемы помогает пилоту определить, требует ли ситуация немедленных действий, срочного реагирования с некоторым устранением неполадок, более расслабленного и продуманного устранения неполадок или переноса на более позднее время.Отказ двигателя на малой высоте требует немедленных действий. Мигание радиодисплея можно отложить до завершения полета. Между ними лежит множество проблем, которые не фигурируют в контрольных списках и требуют творческого подхода.

Придумайте решение

Как только вы поймете, насколько серьезна и серьезна проблема, вы можете приступить к ее решению. В руководстве по самолету вы найдете контрольные списки и расширенные процедуры для от трех до 15 нештатных или аварийных сценариев.Они варьируются от зажигания двигателя при запуске до вращения. Контрольные списки — это здорово, но как кто-то может ожидать, что вы вытащите контрольный список, когда вы все сильнее вращаетесь, направляясь к земле? Ответ — нет.

В мире авиакомпаний определенные контрольные списки сохраняются в памяти, а определенные контрольные списки используются во время поиска и устранения неисправностей. Компания диктует, какие контрольные списки содержат элементы памяти, и ожидается, что все пилоты будут придерживаться этой практики. Нет причин, по которым пилоты, летающие в развлекательных целях, должны отличаться.Просматривая руководство, подумайте о том, какие чрезвычайные ситуации требуют немедленных действий (отказ двигателя, пожар), а какие дают больше времени и устраняют неисправности (отказ электросети, открытая дверь). Для тех чрезвычайных ситуаций, которые требуют немедленных действий, запомните контрольный список или несколько первых важных пунктов, понимая, что у вас может быть или не быть времени проверить это в чрезвычайной ситуации.

Тюкин проделал изумительную работу, пройдя чек-лист отказов двигателя по памяти в виде потока. Поскольку он практиковал это много раз раньше, контрольный список был почти его второй натурой.Он поддерживал наилучшую скорость планирования, определил место приземления, развернулся к нему, попытался запустить двигатель, а затем связался с башней. Фактически, единственное, что он пропустил в контрольном списке, — это включение вспомогательного топливного насоса, который в любом случае не помог бы. Позже выяснилось, что двигатель вышел из строя из-за неисправности топливной системы.

Но что, если проблемы, с которой вы столкнулись, нет в контрольном списке? Многое из того, что может пойти не так, не будет. Заклинивший триммер, смещенные закрылки, сломанный трос дроссельной заслонки, спущенные шины, зазубрины на гребном винте и прочие возможные проблемы не обозначены черным по белому.Для них правильный ответ сводится к серьезности проблемы, где вы находитесь по отношению к аэропорту, погоде и вашей квалификации.

Выполнить план

Это кажется достаточно простым, правда? Как только вы определили проблему и придумали решение, приступайте к решению! Вы бы удивились. Иногда страх, отрицание, стресс и давление ситуации проявляются в чем-то другом, кроме действий. Известно, что пилоты сидят и не реагируют, реагируют случайным образом, неэффективно или просто впадают в панику.Выявив проблему и разработав конкретный план, вы можете упростить ее решение.

При необходимости переоценить

В аварийной ситуации все постоянно меняется. Неровный двигатель ухудшается и решается, смена ветра, управление движением и воздушным движением всегда в движении. Как и план полета, план действий в чрезвычайных ситуациях — это отправная точка. По мере изменения переменных должен меняться и план.

Когда Тюкин летел в сторону ВПП 1Л, в какой-то момент он понял, что не выйдет.На небольшой высоте и с небольшим избытком энергии он был во власти пейзажа. К счастью, поле для гольфа и тренировочное поле находились в непосредственной близости от взлетно-посадочной полосы, поэтому изменить его план, чтобы приземлиться на тренировочном поле было несложно.

Иногда выбор оказывается непростым. Каждый пилот-студент сталкивался с проблемой скольжения к полю во время практики вынужденной посадки только для того, чтобы понять, что выбранное поле сомнительно. Теперь необходимо принять решение. Выбрать новое поле или попробовать сделать то, что вы выбрали? Такого рода решения за доли секунды имеют решающее значение.Худший выбор, который вы можете сделать, — это вообще не выбирать. Многие чрезвычайные ситуации заканчивались плохо, потому что пилот был парализован выбором и не придерживался нового плана. Только опыт поможет вам сделать правильный выбор, но даже новый студент может понять и применить необходимость сделать любой выбор и постоянно переоценивать его.

Невозможно практиковать каждый тип экстренного реагирования, но если отработать критические потенциальные проблемы, запомнить определенные контрольные списки и продумать аргументированный ответ, ваши шансы на благоприятный исход значительно возрастут.