Строительство любого альпинария начинается с выбора места его расположения. Разумеется,  тут многое зависит от собственных предпочтений и ландшафта территории. Однако все же стоит учитывать, что альпинарий должен вписываться в оформление участка максимально эстетично. Считается, что наиболее подходящим местом для такой каменистой горки может послужить природный склон, насыпь, овраг или берег водоема.
Поскольку большинство альпийских растений боятся слишком теплого климата, который может привести к тому, что они пересохнут, необходимо по мере возможности выбрать такое место для альпинария, где оно будет находиться под воздействием солнца лишь до полудня. Кроме того следует принять во внимания, что некоторые растения не любят застой влаги. В общем, при возведении альпинария нужно учесть, что полуденное летнее солнце, перегревающаяся почва и сухой воздух – суровое испытание для большинства растений.
При наличии на территории высокого уровня грунтовых вод, следует позаботиться о дренажной системе, которая позволит отводить весь излишек влаги. Но в большинстве  случаев можно обойтись двадцати-тридцати сантиметровым дренажным слоем из щебня, керамзита или битого кирпича. Так же можно использовать различный строительный быт.
Особое внимание следует уделить выбору камня. Конечно, на этом можно сэкономить, походив по окрестностям и собрав нужно количество различных валунов. Что, правда, в таком случае построенный альпинарий из такого материала хоть и будет привлекать много внимания, но стать украшения сада он явно не сможет. Подобная конструкция скорей будет напоминать эклектическую коллекцию камней, чем альпинарий. Выбирая камни для устройства альпинария необходимо учесть, что они должны иметь однородную фактуру, форму и цвет.  Более того немаловажную роль играет и химический состав горных пород.  Например, известняк не позволит выжить растениям, предпочитающим кислую среду.
Не менее важно правильно и грамотно уложить все камни и валуны. Причем способ укладки целиком и полностью зависит от формы камней. Не стандартные по форме глыбы лучше всего смотрятся, если они плотно прилегают один к другому, образовывая асимметричную группу, завязанную на понижении и подъемах уровней. В то время как круглые камни находят свое место на гребнях чередующихся волн.
Перед высадкой растительности для альпинария, необходимо организовать соответствующие условия – изготовить земельную смесь.  Поскольку в ходе эволюции большинство альпийских растений приспособилось к выживанию в суровых условиях, где количество питательных веществ минимальное, приготовление смеси не требует особых усилий.  Ее можно изготовить из обычной садовой земли и песка в пропорции один к одному. Так же следует добавить немного торфа.