Это огромное (по объективным оценкам всего в Поход выступило около 50−60 тысяч бедняков несколькими «армиями», из которых в Константинополе сосредоточилось более 35 тыс. чел., а в Малую Азию переправилось до 30 тыс.) неорганизованное полчище столкнулось с первыми трудностями ещё в Восточной Европе. Покидая родные края, люди не успели (а многие просто не смогли из-за своей нищеты) запастись провиантом, так как отправились в путь слишком рано и не застали богатый урожай 1096 года, который уродился в Западной Европе впервые после нескольких лет засухи и голода. Поэтому они рассчитывали, что христианские города Восточной Европы станут бесплатно обеспечивать их едой и всем необходимым (как это было всегда в Средние века для паломников, шедших в Святую землю), либо же будут отпускать провиант по разумной цене. Однако Болгария, Венгрия и другие страны, через которые пролегал их маршрут, не всегда соглашались на такие условия, и потому между местными жителями и бесчинствующими ополченцами, силой отнимавшими у них продовольствие, вспыхивали конфликты.

Спускаясь по Дунаю, участники похода разграбили и опустошили венгерские земли, за что неподалеку от Ниша их атаковала объединённая армия болгар, венгров и византийцев. Около четверти ополченцев было перебито, но остальные практически без потерь добрались к августу до Константинополя. Там к последователям Петра Пустынника присоединились армии, выдвинувшиеся из Италии и Франции. Вскоре наводнившая город крестоносная беднота начала устраивать в Константинополе беспорядки и погромы, и императору Алексею не оставалось ничего другого, как переправить их через Босфор.

Оказавшись в Малой Азии, участники похода перессорились и разделились на две отдельные армии. На стороне напавших на них сельджуков было значительное преимущество — они были более опытными и организованными воинами и к тому же, в отличие от христиан, отлично знали местность, поэтому вскоре практически все ополченцы, многие из которых ни разу в жизни не держали в руках оружия и не имели серьёзного вооружения, были перебиты. Эту 1-ю битву на северо-западе Малой Азии при Дорилеуме, «в долине Дракона», сложно назвать битвой — сельджукская кавалерия атаковала и уничтожила первую меньшую группу крестоносцев-бедняков, а потом обрушилась на их главные силы. Почти все паломники погибли от стрел или сабель тюрок-сельджуков, они не пощадили никого — ни детей, ни стариков, которых было много среди «горе-крестоносцев» и за которых нельзя было получить хороших денег при продаже на рынке как рабов.

Из примерно 30 тысяч участников «Похода нищих» удалось добраться до владений византийцев всего нескольким десяткам человек, примерно 25−27 тыс. были убиты, а 3−4 тыс., в основном молодые юноши и девушки, попали в плен и были проданы на мусульманских базарах Малой Азии. Военный предводитель «Похода бедняков» рыцарь Вальтер Голяк погиб в бою при Дорилеуме.