Boosting

Оригинальная статья была опубликована Робертом Шапиром

Бустинг - основной метод создания очень точных алгоритмов прогнозирования путем сочетания грубых и необработанных эмпирических правил. Самая недавняя работа в этой связи - "AdaBoost" -освещает алгоритмы бустинга и области его применения.


Обзор

Здесь представлен обзор работ, связанных с бустингом, особенно AdaBoost:

  • Роберт E. Шапир.
    Бустинговый подход в машиностроении: Краткий обзор.
    Редакторы: Д.Д. Денисон, М.Х. Ханзен, К. Холмс, Б. Маллик, Б. Йу,  Нелинейная оценка и классификация. Springer, 2003.

Обзор бустинга:

  • Ron Meir and Gunnar Rätsch.
    Введение в бустинг и воздействие.
    В Лекции по машиностроению - продвинутый уровень (LNAI2600), 2003.

Эта работа представляет статистические перспективы бустинга:

  • Peter Bühlmann и Torsten Hothorn.
    Алгоритмы бустинга: регуляция, прогнозирование и  подбор модели.
    Statistical Science, 22(4):477-505, 2007.

Вот четыре более старых  (и довольно похожих) работы:

  • Yoav Freund и Robert E. Schapire.
    Краткое введение в бустинг.
    Журнал японского сообщества об искусственном интеллекте, 14(5):771-780, Сентябрь, 1999. (Оригинальная работа на японском языке, перевод Naoki Abe.)
  • Robert E. Schapire.
    Краткое введение в бустинг.
    В Тезисы шестнадцатой международной конференции по искусственному интеллекту, 1999.
  • Robert E. Schapire.
    Теоретические обзоры бустинга и его применения.
    В Десятая международная конференция по теории алгоритмического обучения, 1999.
  • Robert E. Schapire.
    Теоретические обзоры бустинга.
    В Вычислительная теория обучения: Четвертая Европейская конференция, EuroCOLT'99, страницы 1-10, 1999.

Обзор общих методов:

  • Thomas G. Dietterich.
    Общее обучение.
    В Настольная книга по мозговой теории и нейронным сетям, Второе Издание, 2002.

Программное обеспечение

Объектный код для BoosTexter, программа машинного обучения общего назначения на основе бустинга для текстовых и других данных, теперь доступна бесплатно для некоммерческого использования.


Библиография

Здесь очень скромный список работ по бустингу в более менее хронологическом порядке. Другие работы и дополнительную информацию по бустинугу вы найдете на странице.

  • Indraneel Mukherjee и Robert E. Schapire.
    Теория многоклассового бустинга.
    В Преимущества систем по обработке нейронной информации 23, 2011.
  • Robert E. Schapire.
    Доля конвергенции AdaBoost [открытая проблема].
    В 23-я Конференция по теории обучения, 2010.
  • Cynthia Rudin и Robert E. Schapire.
    Пограничная классификация и эквивалентность AdaBoost и RankBoost.
    Журнал  Исследований по Машиностроению 10:2193-2232, 2009.
  • Yongxin Taylor Xi, Zhen James Xiang, Peter J. Ramadge, Robert E. Schapire.
    Скорость и малочисленность регулируемого бустинга.
    В Тезисы 12-ой международной конференции по искусственному интеллекту и статистике, 2009.
  • David Mease и Abraham Wyner.
    Вопреки статистическому подходу к бустингу, с ответами и возражениями.
    Журнал Исследований по Машиностроению, 9(Фев):131--201, 2008.
  • Joseph K. Bradley и Robert E. Schapire.
    FilterBoost: Спад и классификация больших объемов данных.
    В Преимущества систем по обработке нейронной информации 20, 2008.
  • Cynthia Rudin, Robert E. Schapire и Ingrid Daubechies.
      Подтверждения конфергенции AdaBoost и arc-gv.
    AMS-IMS-SIAM Летняя исследовательская конференция машинного и статистического обучения, прогнозирования и открытия, страницы 131-145, 2007.
  • Cynthia Rudin, Robert E. Schapire и Ingrid Daubechies.
    Анализ алгоритмов бустинга с использованием пограничной функции.
    Летописи статистики, 35(6):2723-2768, 2007.
  • Lev Reyzin и Robert E. Schapire.
    Как бустинг границы может повышать комплексность классификатора
    В Тезисы 23-й международной конференции по машиностроению, 2006.
  • Aurélie C. Lozano, Sanjeev R. Kulkarni и Robert E. Schapire.
    Конвергенция и последовательность регулируемых алгоритмов бустинга со стационарными beta-mixing наблюдениями.
    В Преимущества систем по обработке нейронной информации 18, 2006.
  • Cynthia Rudin, Corinna Cortes, Mehryar Mohri and Robert E. Schapire.
    Margin-based ranking meets boosting in the middle.
    In 18th Annual Conference on Computational Learning Theory, 2005.
  • Robert E. Schapire, Marie Rochery, Mazin Rahim и Narendra Gupta.
    Бустинг с более ранним знанием о классификации вызовов.
    IEEE Переводы доклада и аудиозаписи, 13(2), Март, 2005.
  • Cynthia Rudin, Ingrid Daubechies и Robert E. Schapire.
    Динамика AdaBoost: Циклическое поведение и конвергенция границ.
    Журнал Исследований по Машиностроению, 5: 1557-1595, 2004.
  • Cynthia Rudin, Robert E. Schapire и Ingrid Daubechies.
    Бустинг на основе гладкой границы.
    17-я ежегодная конференция по теории вычислительного обучения, 2004.
  • Cynthia Rudin, Ingrid Daubechies и Robert E. Schapire.
    О динамике бустинга.
    В Преимущества систем по обработке нейронной информации 16, 2004.
  • Yoav Freund и Robert E. Schapire.
    Дискуссия о ``Процессе последовательности для AdaBoost'' Wenxin Jiang, ``О байевской последовательности регулируемых методов бустинга'' Gábor Lugosi и Nicolas Vayatis, ``Статистическое поведение и последовательность методов классификации на основе сокращения выпуклого риска'' Tong Zhang.
    Летописи статистики, 32(1), 2004.
  • Gokhan Tur, Robert E. Schapire и Dilek Hakkani-Tür.
    Активное обучение для понимания разговорной речи.
    В IEEE Международная конференция по акустике, Речи и Переработке Сигналов, 2003.
  • Peter Stone, Robert E. Schapire, Michael L. Littman, János A. Csirik и David McAllester.
    Теоретическое прогнозирование аукциона на основе изученных моделей плотности в синхронных, интерактивных аукционах.
    Журнал исследований по искусственному интеллекту, 19:209-242, 2003.
  • Robert E. Schapire.
    Преимущества бустинга.
    В Вероятности в искусственном интеллекте: Тезисы 18-ой конференции, 2002.
  • Robert E. Schapire, Peter Stone, David McAllester, Michael L. Littman и János A. Csirik.
    Вычисление вероятности цены на аукционе с использованием кондинциональной плотности на основе бустинга.
    В Машиностроение: Тезисы 19-ой международной конференции, 2002.
  • Robert E. Schapire, Marie Rochery, Mazin Rahim и Narendra Gupta.
    Использование предшествующих знаний в бустинге.
    В Машиностроение: Тезисы 19-ой международной конференции, 2002.
  • M. Rochery, R. Schapire, M. Rahim, N. Gupta, G. Riccardi, S. Bangalore, H. Alshawi и S. Douglas.
    Объединение более ранних знаний и бустинга для классификации вызовов в устном диалоге.
     В Международная конференция по акустике, Речи и Переработке Сигналов, 2002.
  • Marie Rochery, Robert Schapire, Mazin Rahim и Narendra Gupta.
    BoosTexter для категоризации текста в устном диалоге.
    Утверждено на Тренинг распознавания и понимания автоматической речи, 2001 (отменена в следующем сентябре 11 из-за ограничений путешествий).
  • Michael Collins, Robert E. Schapire и Yoram Singer.
    Регрессия логистики, расстояния AdaBoost и Bregman.
    Машиностроение, 48(1/2/3), 2002.
  • Raj D. Iyer, David D. Lewis, Robert E. Schapire, Yoram Singer и Amit Singhal.
    Бустинг для маршрутизации документов.
    В Тезисы девятой международной конференции по управлению информацией и знаниями, 2000.
  • Erin L. Allwein, Robert E. Schapire и Yoram Singer.
    Сокращения разноклассовости до двоичности: Объединяющий подход к классификации границ.
    Journal of Machine Learning Research, 1:113-141, 2000.
  • Robert E. Schapire.
    Дрейфующие игры.
    Машиностроение, 43(3):265-291, 2001.
  • Llew Mason, Jonathan Baxter, Peter Bartlett и Marcus Frean.
    Функциональные градиентные техники для объединения гипотез.
    В Преимущества широкомасштабных классификаторов, MIT Press, 1999.
  • Jerome Friedman, Trevor Hastie и Robert Tibshirani.
    Аддитивная логическая регрессия: статистический взгляд на бустинг.
    Летописи статистики, 38(2):337-374, Апрель, 2000.
  • Steven Abney и Robert E. Schapire и Yoram Singer.
    Бустинг можно применять для маркирования и PP.
    В Тезисы SIGDAT Конференции по эмпирическим методам в обработке живого языка и очень больших корпусов, 1999.
  • Robert E. Schapire и Yoram Singer.
    BoosTexter: Система категоризации текста на основе бустинга.
    Машиностроение, 39(2/3):135-168, 2000.
  • Yoav Freund, Raj Iyer, Robert E. Schapire и Yoram Singer.
    Эффективный алгоритм бустинга для объединения предпочтений.
    Журнал Исследований по Машиностроению, 4:933-969, 2003.
  • Robert E. Schapire и Yoram Singer.
    Улучшенный алгоритм бустинга с использованием вычисления вероятности прогнозов.
    Машиностроение, 37(3):297-336, 1999.
  • Robert E. Schapire, Yoram Singer и Amit Singhal.
    Boosting и Rocchio в применении к фильтрации текста.
    В SIGIR '98: Тезисы 21-ой ежегодной конференции по развитию и исследованиям по восстановлению информации, страницы 215-223, 1998.
  • Llew Mason, Peter Bartlett и Jonathan Baxter
    Прямая оптимизация границ улучшает обобщение в комбинированных классификаторах.
    В Преимущества систем обработки нейронной информации 11, страницы 288-294, 1999.
  • Leo Breiman.
    Округление краев.
     Технический доклад 486, Факультет статистики, Университет Калифорнии в Беркли, 1997.
  • Leo Breiman.
    Прогнозируемые игры и арковые классификаторы.
    Технический доклад 504, Факультет статистики, Университет Калифорнии в Беркли, 1997.
  • Thomas G. Dietterich.
    Экспериментальное сравнение трех методов конструирования ансамблей древ решений: Bagging, boosting, и рандомизация.
    Машиностроение, 40(2):139-158, 2000.
  • Adam J. Grove и Dale Schuurmans.
    Бустинг в пределах: Увеличение границ изученных ансамблей.
    В Тезисы 15-ой международной конференции по искусственному интеллекту, 1998.
  • Robert E. Schapire.
    Использование выходных кодов для решения мультиклассовых проблем бустинга.
     В Машиностроение: Тезисы 14-ой международной конференции, 1997.
  • Robert E. Schapire, Yoav Freund, Peter Bartlett и Wee Sun Lee.
    Подъем границы: Новое объяснение эффективности методов голосования.
    Летописи статистики, 26(5):1651-1686, 1998.
  • Leo Breiman.
    Арковые классификаторы.
    Летописи статистики, 26(3):801-849, 1998.
    Compressed postscript доклада.
  • Eric Bauer и Ron Kohavi.
    Эмпирическое сравнения алгоритмов классификации голосования: Bagging, boosting, и варианты.
    Машиностроение, 36(1/2):105-139, 1999.
  • Holger Schwenk и Yoshua Bengio.
    Методы тренировки адаптивного бустинга нейронных сетей для распознавания персонажей.
    ВПреимущества систем по обработке нейронной информации 10. Morgan Kaufmann, 1998.
  • Richard Maclin и David Opitz.
    Эмпирическая оценка беггинга и бустинга.
    В Тезисы четырнадцатой международной конференции по искусственному интеллекту, страницы 546-551, 1997.
  • Yoav Freund и Robert E. Schapire.
    Теория игр, он-лайн прогнозирование и бустинг.
    В Тезисы девятой ежегодной конференции по теории вычислительной обработки информации, страницы 325-332, 1996.
  • Yoav Freund и Robert E. Schapire.
    Эксперименты с новым алгоритмом бустинга.
    В Машиностроение: Тезисы тринадцатой международной конференции, страницы148-156, 1996.
  • J. Ross Quinlan.
    Bagging, boosting, и C4.5.
    В Тезисы, Четырнадцатая национальная конференция по искусственному интеллекту, 1996.
  • Harris Drucker и Corinna Cortes.
    Древа решеинй бустинга.
    NIPS'95.
  • Yoav Freund и Robert E. Schapire.
      Обобщение теоретических решений обучения он-лайн и применения бустинга.
    Журнал Компьютерных и системных наук, 55(1):119-139, 1997.
  • Yoav Freund.
    Увеличивая слабый алгоритм обучения большинством.
    Information и Computation, 121(2):256-285, 1995.
  • Robert E. Schapire.
    Сильные стороны слабой обучаемости.
    Машиностроение, 5(2):197-227, 1990.