Частица "не" используется в предложениях для того, чтобы выразить отрицание чего либо, а частица "ни" - для того, чтобы усилить это отрицание. Таким образом, в предложении используем отрицательную частицу "не".
Правильно пишется: Не все брали молоко.