"in the office"と"in office"
theが付いている、付いていないだけの違いにすぎないですが、意味はまったく違います。
それぞれどういう意味かご存知ですか？
"in the office"と"in office" それぞれの意味
まず、"in the office"ですが、これは「職場に、会社に、勤め先に」という意味です。
例）I'm not in the office tomorrow.
訳）「私は明日会社にいません」
つぎに、"in office" ですが、「（重要な職に）在職中で」という意味になります。
例）Eight presidents have died in office during the history of the US.
訳）「アメリカの歴史上、8人の大統領が在職中に亡くなっている」
"office"自体が「（政府などの）役職」の意味があるので、
"run for office"で「選挙に立候補する」、"take office"で「就任する」などと使われます。
そのため、
The president is in office.「大統領は在職中だ」
The president is in his office.「大統領は執務室にいる」
とまったく違う意味になってしまいます。
theがある・無いだけで、ここまで意味が変わってしまうので注意しましょう。
theが付く場合とつかない場合の考え方についてこちらの記事でくわしく解説しています。
"go to sea"は「海に行く」という意味ではない theがつく場合とつかない場合の違い - 英語勉強日記
"at the office"と"in the office"の違いと使い分け
"in the office"と同じような意味に取れる"at the office"ですが、これらの意味はそもそも違うのでしょうか？
"in the office"の場合、officeとはある部屋、空間であり、自分がその部屋の中にいることを意味します。つまり、「（物理的に）職場にいる、職場にある」ということです。
officeは日本語で言う「オフィス、事務室」の意味があるので、"office room"のようにroomをつけたりせず、officeだけで使います。
例）I'll be in the office tomorrow.
訳）「明日は事務所に顔を出しますよ」
物理的にオフィスにいるという意味ですね。
"at the office"の場合は、「職場の近くにいるか、職場にいる、または仕事中だ（at work)」という意味になります。
例）I'm still at the office.
訳）「まだ職場だよ（まだ働いてるよ）」
この表現はたとえば「もう仕事終わったの？」と聞かれて、「まだ仕事中だ、働いています」という意味を含めて答える場合にぴったりの表現です。
日本語で言う「まだ会社。」のニュアンスですね。
"at office"とするのは誤り
in officeという言い方があるなら、at officeもあるのか？と疑問に思うでしょうが、at officeという表現はないので間違えないようにしましょう。
まとめ
"in office"は新聞やニュース記事ではよく見られる表現なので、"in the office"と混同しないように注意しましょう！
