in fact

in factは

(1) 事実上, 実際

(2) [前文を補足・強調して言い直す時に用い] もっとはっきり言えば,、それどころか、

という意味です。

実際の使用例としては（２）の強調が多いのは、factが「事実」という強いイメージを持つ単語だからです。

そのため、「っていうか」に近い「それどころか」というニュアンスはin factを使う方が出ています。

しかし日常会話で「実際に，現に、本当に」などを表現する際は、語気が柔らかいトーンのactuallyの方が多いようです。