Родился в еврейской семье отставного царского солдата[1]. Отец — Файвель Славский. Мать — Евдокия Петровна, вероятно, русская, после смерти мужа вышла замуж за вдовца Федота Патану. Ефим Славский после революции 1917 года, когда вместо вероисповедания в паспортах появилась новая графа «национальность», был записан украинцем. Фактически Ефим родился на территории России, но на момент выдачи паспорта это уже была территория Украинской ССР. Хотя он и значился украинцем, имя и фамилия всегда выдавали в нём еврейское происхождение. Работать начал в 1912 году шахтёром в Донбассе. Член РКП(б) с апреля 1918 года, тогда же поступил в РККА.

В рядах Красной армии служил до 1928 года, участвовал в Гражданской войне 1918—1920 годов — воевал в составе Первой Конной армии. После демобилизации из армии по призыву партии как «парттысячник» отправился получать инженерное образование. Поступил в Московскую горную академию, после ее разделения на шесть вузов окончил Московский институт цветных металлов и золота в 1933. В 1933—1940-х годах работал на заводе «Электроцинк» в Орджоникидзе инженером, начальником цеха, главным инженером, директором завода. В 1936 году из-за дружбы с «махровым троцкистом» инженером Мамсуровым был исключён из партии и оказался на грани репрессирования, но вскоре исключение было заменено на строгий выговор.

В 1940—1941 годах назначен директором Днепровского алюминиевого завода в Запорожье, в 1941—1945 — Уральского алюминиевого завода в Каменске-Уральском.

В 1945—1946 годах работал заместителем наркома цветной металлургии СССР.

В 1946—1953 занимал пост заместителя начальника Первого главного управления при Совете Министров СССР. Одновременно в 1947—1949 годах был директором комбината № 817.

1949 год — Сталинская премия. Удостоен звания Героя Социалистического Труда за работу по созданию атомной бомбы (вместе с Б. Л. Ванниковым, И. В. Курчатовым и Ю. Б. Харитоном).

1951 год — Сталинская премия.

В 1953—1957 годах был первым заместителем министра среднего машиностроения СССР.

1954 год — второй раз присвоено звание Героя Социалистического Труда (за работы по созданию водородной бомбы).

В 1957—1963 годах и позже — с 1965 года был министром среднего машиностроения СССР. В 1963—1965 годах был председателем Государственного производственного комитета по среднему машиностроению СССР. Имеет непосредственное отношение к созданию «атомных городов» Актау (Шевченко) (Мангистауская область), Озёрск (Челябинская область), Северск, Зеленогорск, Железногорск, к строительству практически всех АЭС Советского Союза в период до 1980-х гг.

Кроме этого, с санкции атомного министра спецстройподразделениями Минсредмаша СССР возводились многие социальные объекты страны, такие как Сибирский ботанический сад, Новосибирский Академгородок, Томский Академгородок, сибирский курорт «Белокуриха» , сохранен парк усадьбы Опалиха-Алексеевское где располагался Дом отдыха Минсредмаша и др.
В частности, в августе 1957 года принял решение о строительстве Сибирской АЭС в составе Сибирского химического комбината.
7 марта 1962 года Указом Президиума Верховного Совета СССР («закрытым») за участие в организации работ по созданию и испытанию самой мощной в мире термоядерной (водородной) бомбы награждён третьей золотой медалью «Серп и Молот».
В начале 1960-х годов Славский поддерживал проект запуска широкомасштабной программы «мирных атомных взрывов», подготовленной Ю. Трутневым и Ю. Бабаевым.
1980 год — удостоен Ленинской премии.

21 ноября 1986 года — в возрасте 88 лет был отправлен в отставку, стал персональным пенсионером союзного значения.

Член ЦК КПСС (1961—1990). Депутат Верховного Совета СССР 5—11-го созывов (с 1958 года).

Последние годы жизни провёл в Доме отдыха «Опалиха» (усадьба Опалиха-Алексеевское), располагавшегося в дачном посёлке Опалиха Красногорского района Московской области (ныне — микрорайон), где за ним было закреплено постоянное помещение. Скончался 28 ноября 1991 года в Москве. Похоронен на Новодевичьем кладбище.