セキュリティの担保のためにサーバーなどに接続しないでLLMを使いたいのですが可能でしょうか？

可能です。貴社でLLMを使用できるようなハイスペックなPCを用意していただいて、ネット上にある既存のOSSのLLMをダウンロードし、PC内でLLMの推論を行えます。
その環境では、Fine-tunningやRAGを行うことも可能です。

ただし、同時接続人数が限られるのでPOCなどに使用され、本番ではサーバーを利用していただく必要があります。