Обустроив Иерусалим, Давид решил сделать его и религиозным центром. Саул с заметным небрежением относился к религиозной стороне жизни народа. Со времен поражения при первосвященнике Илии ковчег находился в Кириафиариме, в доме Аминадава. Давид решает перенести ковчег завета в Иерусалим. Он отправляется за ним во главе 80 тысяч человек, однако ковчег уже не несут на руках по древнему обычаю, а ставят на повозку. Во время транспортировки повозка накренилась, один из служителей, Оза, хотел поддержать ковчег, «простер руку свою к ковчегу Божию [чтобы придержать его] и взялся за него», и за это дерзновение он умер (2 Цар. 6: 6–8).

Давид, смутившись этим обстоятельством, принимает решение не нести ковчег в Иерусалим, а повременить, ожидая, что же будет дальше, и оставляет его неподалеку от места, где произошло поражение израильтян, в доме Аведдара Гефянина. Когда через три месяца Давиду сообщили, что Господь благословил Аведдара и весь дом его, он перенес ковчег в Иерусалим с великим торжеством и сам с радостью плясал и скакал перед ковчегом, чем (то есть неподобающим царю поведением) навлек на себя осуждение своей жены Мелхолы, дочери Саула (2 Цар. 6: 20).