В течение длительного времени Эрлих проводил множество экспериментов по работе с красителями для изучения клеток и тканей под микроскопом, а также способы окрашивания бактерий для проведения дальнейших микробиологических исследований. Виртуозное владение техникой окраски клеток сыграло решающую роль и в дальнейшей научной биографии Эрлиха. Он помог Роберту Коху, первооткрывателю туберкулезной палочки, улучшить методы исследования этого возбудителя болезни. В 1891 году Кох пригласил его в свой новый Институт инфекционных заболеваний, и здесь Эрлих полностью перешел на изучение реакций организма на различные инфекции, иными словами на иммунологию. Работая с фон Берингом, Эрлих нашел методы резкой повышения эффективности противодифтерийной и противостолбняыной сывороток, а затем помог наладить их массовое производство.

Начиная с 1891 года Эрлих стал разрабатывать методы лечения инфекционных болезней с помощью химических веществ. Он установил факт приобретения микроорганизмами устойчивости к химиотерапевтическим препаратам. В 1897 г. предложил первую теорию из которой следовало, что на поверхности клеток организма имеются некие «боковые цепи» (позже он назвал их «рецепторами»), которые способны связываться с теми или иными химическими веществами по типу «ключ-замок». Чуть позже Эрлих дал этим рецепторам столь знакомое нам сегодня название «антитела».
В 1901 году Пауль Эрлих начал работать над проблемой злокачественных опухолей. Он предложил много важных для клинической практики лабораторных реакций.
Вооруженный своими представлениями о физико-химической природе иммунизации, Эрлих перешел – к поиску лекарств против тех или иных болезней. Из его теории вытекало, в частности, что если найти лекарство, химическая структура которого будет «ключом» по отношению к «замку» рецептора на клетке болезнетворного агента, то оно будет уничтожать эту бактерию, не повреждая при этом клетки самого организма. Такой чудодейственный «ключ» на нынешнем языке называется всем нам знакомым словом «антибиотик», но Эрлих в свое время назвал его «magische Kugel» («волшебная пуля»), предложив метод поиска этих «пуль» путем направленного синтеза лекарственных веществ с подходящей химической структурой. В 1904 г., после испытаний сотен веществ добился первых успехов, при этом первым в медицине обнаружил, что эти микроорганизмы способны вырабатывать резинстентность к лекарству. В 1909 году удалось получить на основе мышьяка «вещество №606», которое в первых же клинических испытаниях показало высокую эффективность против сифилиса, который принес ученому мировую славу. Это был первый в истории медицины искусственный противомикробный препарат, созданный методами структурной химии.
Совместно с И.И. Мечниковым за работы в области иммунологии ему была присуждена Нобелевская премия.