ユーザーのサインイン履歴(Entra ID (旧 Azure AD)認証による接続サービスへの接続履歴)を確認することはできますか?

はい、可能です。ユーザーのEntra ID (旧 Azure AD)サインイン時刻や接続元のグローバルIPアドレス等が確認できます。