Меня немного расстраивает, например, что я хорошую литературу на английском читать в своё удовольствие не могу, потому что не хватает пассивного словарного запаса синонимов. Т.е. смысл-то я понимаю довольно хорошо, но невозможно получить удовольствие, когда не улавливаешь все нюансы, которые закладывает автор. В результате, тонкий юмор и красивая сатира просто могут пройти мимо, потому что не понимаешь, «что это за жизнь без пианины».
В результате, общаться-то можно и неплохо, незнакомые вещи можно у собеседника переспросить, а вот нахвататься достаточно для полноценного использования уже непросто. Никогда не видели, как изучившие русский язык иностранцы вставляют абсолютно нелепые идиомы, которых никто из носителей языка не знает? Вот и мы так же смотримся, когда говорим по-английски, и это ещё в лучшем случае! 
Удовольствие от литературы начинаешь получать "с опытом", так сказать. Чем больше читаешь, тем больше начинаешь узнавать слова, тем более наполненным становится словарный запас. Я помню, что я делала над собой невероятное усилия, чтобы начать читать нормальную литературу, а не просто статьи или тексты в учебниках, пусть и в очень хороших. Несмотря на то, что я на тот момент учила английский уже лет 10 (с раннего детства), первые 3-4 книги дались мне с трудом. Но я изначально допускала ошибку, смотря каждое незнакомое слово в словаре. Я поняла, что это было неправильно, потому что терялась продолжительность повествования и я не успевала "нарисовать" картинку, образ в голове от прочитанного. И тогда я просто стала читать ради смысла. И смысл улавливался, несмотря на все незнакомые слова. Мне стало гораздо легче и интереснее. Позже, когда я видела, например, незнакомое слово, которое повторялось раза 3-4, я уже тогда его смотрела в словаре. И оно запоминалось гораздо лучше! Я, как сейчас, помню некоторые слова, помню, в какой книге и в каком контексте узнала их значения. Это не забывается.
По поводу того, что мы смотримся нелепо, когда говорим на английском - я не согласна. Во-первых, английский все таки не принадлежит по факту только коренным носителям. Я лично на английском гораздо больше общалась с такими же не-носителями, чем с американцами, канадцами, британцами или австралийцами. И я замечаю, что говорю гораздо лучше многих других не-носителей. Понятно, что носитель сразу поймет, что английский для меня не родной. Ну и что? Скольких американцев или британцев в реальной жизни вы встречали, которые бы знали еще какой-нибудь язык? Я таких видела единицы. Потому что большинство из них не видит в этом смысла, ведь на их языке должен говорить весь мир.