В начале февраля 1982 года менеджмент и лейбл звукозаписи Осборна приняли решение записать концертный альбом, состоящий полностью из песен, которые он записал в 1970-х годах с Black Sabbath. К этому решению привело несколько факторов. Издательский контракт Sabbath с их предыдущим менеджментом недавно истек; перезаписав эти песни, все авторы песен (включая Осборна) получили бы выгоду от издательских гонораров. Кроме того, Jet Records заключили дистрибьюторский контракт с CBS Records, который видел, что небольшой лейбл мог получить значительную прибыль от релиза. Помимо деловых решений, Black Sabbath также готовили свой собственный концертный альбом, и Осборн хотел, чтобы его альбом появился в магазинах первым. «Мы оба переживали свои собственные невзгоды», — вспоминал басист Sabbath Гизер Батлер. «Мы не могли позволить себе не выпустить Live Evil, и Оззи был вынужден сделать Speak of the Devil».
План записи альбома каверов Black Sabbath не был встречен группой Осборна с энтузиазмом. Гитарист Рэнди Роадс и барабанщик Томми Олдридж отказались участвовать, посчитав, что они уже зарекомендовали себя как записывающиеся артисты, и такой альбом станет шагом назад в профессиональном плане. Они поделились своими чувствами с басистом Руди Сарзо; хотя Сарзо не был полностью уверен в отказе от участия, он решил остаться со своими товарищами по группе, и трио сообщило менеджеру Шэрон Арден о своем решении.
Хотя Шэрон восприняла эту новость достаточно хорошо, Оззи был в ярости. Он отреагировал тем, что Сарзо описал как «худшие пьянки, которые я когда-либо видел», и его отношения с Роадсом так и не восстановились полностью. Именно в этот бурный период Осборн был позорно арестован за то, что он в пьяном виде помочился на Аламо. За несколько часов до инцидента в Аламо он пьяным уволил всю группу (включая Роадса), хотя позже он не помнил, как это делал. Осборн часто сталкивался с Роадсом в автобусе тура и дразнил его, утверждая, что такие люди, как Фрэнк Заппа и Гэри Мур, готовы заменить его для живого альбома. Нестабильное и конфронтационное поведение Осборна вскоре убедило Роадса покинуть группу. Он неохотно согласился выступить на живом альбоме, но ушел после выполнения своих контрактных обязательств перед Jet Records, которые состояли из еще одного студийного альбома и последующего тура.
Первоначальный план состоял в том, чтобы записать альбом в Maple Leaf Gardens в Торонто. Шоу, полное полуголых девушек на сцене, которое, по ожиданиям менеджера Шэрон, должно было стать «величайшим рок-зрелищем в истории», также должно было быть снято на видео и выпущено для растущего рынка домашнего видео. Все эти планы рухнули из-за внезапной смерти Роадса несколько недель спустя в авиакатастрофе.
После смерти Роадса группа некоторое время продолжала играть с гитаристом Берни Торме, пока обе стороны не пришли к соглашению, что соглашение не работает. Гитарист Вито Братта, который в то время играл в кавер-группе Black Sabbath в районе Нью-Йорка, рассматривался в качестве его замены, но он поссорился с Шэрон и позже сокрушался, что упустил свой большой шанс. Гитарист Брэд Джиллис прибыл в Нью-Йорк из Калифорнии 5 апреля 1982 года, чтобы пройти прослушивание в группу Осборна. Шэрон отправила Сарзо в гостиничный номер Джиллиса, чтобы научить его песням. Хотя Джиллис был смутно знаком с музыкой Осборна, увидев выступление группы вживую прошлым летом в Day on the Green в Окленде, он был совершенно не знаком с музыкой Black Sabbath. Он одолжил старые альбомы Black Sabbath у друга, чтобы получше ознакомиться с песнями перед отъездом в Нью-Йорк. Его способность точно воспроизводить партии Роадса принесла Джиллису работу, и впоследствии он путешествовал с группой и знакомился с материалом, пока Берни Торм играл свои последние несколько концертов перед уходом. 12 апреля 1982 года Джиллис выступал с группой во время саундчека перед концертом в Бингемтоне, штат Нью-Йорк, и отыграл свой первый концерт с группой позже тем же вечером. Торм был описан как «непревзойденный профессионал» в этот период, оставаясь с группой, пока Джиллис не был готов вступить, даже ожидая за кулисами во время первых нескольких концертов Джиллиса на случай, если он понадобится.
19 сентября 1982 года группа и команда прибыли в Нью-Йорк, чтобы начать репетиции для двух концертов, которые должны были быть записаны для альбома Speak of the Devil. В течение следующих нескольких дней Джиллис, Сарзо и Олдридж репетировали в том, что Сарзо описал как «мрачную студию в центре Манхэттена», в то время как самого Осборна нигде не было видно. Группе дали всего пять дней на то, чтобы выучить песни, хотя в случае Олдриджа он был довольно хорошо знаком с материалом Black Sabbath, так как выступал на разогреве у группы бесчисленное количество раз в качестве участника Black Oak Arkansas в 1970-х годах. Когда группа начала репетировать, пришла Шэрон и сообщила им: «Ребята, не ждите, что вы увидите Оззи на репетициях. Он не очень-то сговорчив».
Звукозаписывающая компания планировала включить ранее записанные живые версии «Iron Man», «Children of the Grave» и «Paranoid» с Роадсом на гитаре, поэтому Шэрон сказала группе не утруждать себя репетициями этих конкретных песен. Поскольку репетиции продолжались без Оззи, группа все еще смирялась с потерей Роадса, и моральный дух был очень низок. Участники группы возмущались тем фактом, что они репетируют для альбома Оззи Осборна, в то время как сам Осборн даже не удосужился появиться. Именно в этот период Сарзо, который уже тайно записывал сессии Metal Health с Quiet Riot, принял окончательное решение покинуть группу Осборна.
Осборн, который вообще не репетировал песни со своей группой, наконец появился на саундчеке в день первого шоу 26 сентября 1982 года и испытывал огромные трудности с запоминанием текстов многих песен. Во время шоу он ставил складной стул с настольной лампой на него в центре сцены и клал на стул блокнот с рукописными текстами песен. Во время шоу он часто стоял у этого стула, напевая и читая тексты из блокнота.
В The Ritz, который вмещал чуть менее 1000 человек, все билеты на выступления были распроданы. Сарзо описал публику как «шумную», а также описал акустику переоборудованного латинского бального зала как теплую, интимную и идеально подходящую для их нужд. Группа обычно использовала боковые мониторы, чтобы музыканты могли слышать барабаны во время игры на больших сценах, но меньшая сцена Ritz вынудила их убрать для этих шоу. Это изменение заставило Джиллиса и Сарзо проводить большую часть шоу, стоя прямо перед барабанной установкой, чтобы слышать барабаны Олдриджа на фоне интенсивной громкости бэклайна группы.
Настроение во время шоу было непринужденным, так как обычное зрелище живых выступлений Осборна было сведено к минимуму, и вместо этого акцент был сделан на съемке максимально плотных выступлений для записи. Мобильная студия Record Plant была припаркована в переулке за отелем Ritz, чтобы записывать выступления на пленку. Участники группы были одеты попроще, не в своей обычной сценической одежде, а сам Осборн был в спортивных штанах и с лысой головой после того, как за несколько дней до этого по пьяни сбрил свои привычные длинные волосы.
Ближе к концу шоу, когда в сет-листе появились «Iron Man», «Children of the Grave» и «Paranoid», группа раскрепостилась и приложила меньше усилий, чтобы играть плотно, так как руководство сообщило им, что эти выступления не будут включены в Speak of the Devil; вместо этого должны были быть использованы ранее записанные живые версии этих песен с Роадсом на гитаре. Позже было принято решение сохранить версии Роадса для будущего релиза, и поэтому версии этих песен, которые в конечном итоге появились в Speak of the Devil, были взяты с одного из выступлений в The Ritz. Сарзо вспомнил, как слушал финальные миксы этих песен и был потрясен тем, насколько небрежной была его игра на этих трех треках, поскольку они прогоняли их всего пару раз на репетиции.
Когда группа, за исключением Осборна, улетела обратно в Лос-Анджелес 28 сентября после завершения шоу, Джиллис проиграл им демо-записи, которые он сделал с Night Ranger, которые должны были войти в дебютный альбом группы, который должен был выйти в скором времени, в то время как Сарзо проиграл им новые записи Quiet Riot, над которыми он работал в тайне. По прибытии в Лос-Анджелес Сарзо быстро покинул группу Осборна и официально вернулся в Quiet Riot, что вызвало долгую и ожесточенную вражду с Осборном, которая достигла кульминации в том, что вокалист напал на него за кулисами на фестивале в США в 1983 году. Джиллис также вскоре покинул группу Осборна, вернувшись в Night Ranger несколько недель спустя.
Speak of the Devil представляет собой единственную официальную запись группы Осборна, в которой представлена работа гитариста.
Продюсер альбома Макс Норман заявил в 2007 году, что из-за ограниченного бюджета он заставил Осборна и группу выступить на дополнительном шоу без зрителей во второй половине дня 26 или 27 сентября. Норман записал это выступление на случай, если реальные живые выступления не будут подходящего качества для выпуска. «По крайней мере, у нас есть выбор, и у нас будет больше материала, из которого можно будет почерпнуть», — сказал он об этом решении. По словам Нормана, в готовый альбом вошли три песни с того выступления с шумом толпы, добавленным позже на этапе пост-продакшна. Хотя Норман не уточнил, о каких треках он говорил, он сказал: «Если вам нечего делать пару дней, вы можете просто лежать там и слушать их в наушниках и выяснять, какие песни имели настоящую аудиторию, а какие нет». Записи саундборда обоих ночных выступлений существуют, и обе они появились на пиратских релизах. Однако все треки, вошедшие в Speak of the Devil, за исключением «Sabbath Bloody Sabbath», были записаны на концерте 27 сентября. «Sabbath Bloody Sabbath» не исполнялась ни на одном из концертов в Ritz, а записанная версия, вошедшая в Speak of the Devil, как полагают, была взята из дневной записи, на которую ссылался Норман.