TogglにGoogleカレンダーの予定を表示することは、TogglのSetting画面より、簡単に設定することができます。Togglの記録を、googleカレンダーへ反映することは、TogglのSetting画面ではできません。
TogglにGoogleカレンダーの予定を表示する方法
Profile settings →My profileのExternal calendarsで、表示するカレンダーを選択する。

Googleカレンダー→Toggl 連携可能 Toggl→Googleカレンダー 連携不可と思っていました。最近、設定する記事を見つけました。
記事を見ながらの設定
m-kawaguchiさんが、自作のGoogle Apps Scriptで「Toggleの記録をGoogleカレンダーに記録する方法」を公開してくださっています。この記事に従って設定をします。補足として、haruさんの記事も参考にしてみてください。
私は、全くの素人ですが、両方の記事を見ながら、60分ぐらいで設定ができました。設定の最初の部分で、つまずいてしまい時間がかかってしまいました。
私がつまずいたところ
私が設定で、つまずいたところは、「必要なライブラリーを追加する」という箇所で、リソースという項目が見つからなかったことです。ダメ元で、「古いエディター」を選択したところ記事のように、リソースが選択できて、必要なライブラリを設定できました。設定の記事の後、新エディターに切り替わったためかもしれません。

まとめ
設定後は、下の画面例のように、赤字のToggl記録が、Googleカレンダーに反映されています。


当たり前ですが、設定が完了してからは、Togglの記録が、Googleカレンダーに表示されていました。