はい、OneDrive for Business / SharePoint
をエクスプローラー上で開くこと(WebDAVなどのネットワークドライブによる接続)はサポート内です。ただし、セッションタイムアウト(※)やクライアント依存の問題が多くあり、OneDrive for
Business 同期クライアントのご利用をお勧めしています。
WebDAVはデータ保管場所があくまでクラウド上にあるのに対し、OneDrive for Business同期クライアントはデータがローカル上にも保存される点が相違点です。
【参考】Office 365 のセッション タイムアウト
https://support.office.com/ja-jp/article/Office-365-%E3%81%AE%E3%82%BB%E3%83%83%E3%82%B7%E3%83%A7%E3%83%B3-%E3%82%BF%E3%82%A4%E3%83%A0%E3%82%A2%E3%82%A6%E3%83%88-37a5c116-5b07-4f70-8333-5b86fd2c3c40
【参考】Office 365 で SharePoint サイトへ接続するよう割り当てられているネットワーク
ドライブを構成およびトラブルシューティングする方法
https://support.microsoft.com/ja-jp/help/2616712/how-to-configure-and-to-troubleshoot-mapped-network-drives-that-connect-to-sharepoint-online-sites-in-office-365