Поднятие окна подтверждения Javascript из кода

Удалите return, вы не возвращаете это значение нигде. Функция RegisterStartupScript выполняет функцию в глобальном контексте:

ScriptManager.RegisterStartupScript(
    this, 
    GetType(), 
    "key", 
    "confirm('Are you sure you want to delete?');", 
    true
); 

Но это, вероятно, то, что вы даже не должны делать на сервере. Вы должны запросить подтверждение перед вызовом серверной части. Подписавшись на обработчик javascript onclick соответствующего элемента управления, который вызывает удаление события на стороне сервера.

Например, если у вас есть ссылка на удаление:

<asp:LinkButton 
    ID="DeleteButton" 
    runat="server" 
    CausesValidation="False"
    CommandName="Delete" 
    Text="Delete"
    OnClientClick="return confirm('Are you sure you want to delete?');" 
/>