Почему bash возвращает необживаемое число вместо 2 ^ 64?

Bash в вашей системе использует 64-битные подписанные ints, поэтому наибольшее положительное значение равно 2 ^ 63-1.

2 ^ 63 обертывается к отрицательному и представляет наименьшее (наибольшее отрицательное значение) -2 ^ 63.

Обратите внимание на то, что в других системах Bash может не использовать 64-битные целые числа, только для man bash "Оценка выполняется в целых числах фиксированной ширины без проверки на переполнение".