Выбираем кодировку: Windows-1251 или UTF-8…
Ex.clusive | 24.11.2010
На днях пришлось решать небольшую проблему с плохой восприимчивостью комплекта Denwer к кодировки UTF-8. Проблема, честно говоря, оказалась пустяковая, и была решена минут за 15, 10 из которых заняло использование Гугла. В этом время, исследуя различные форумы, я заметил, что для многие не могут разобраться с этой проблемой достаточно долго. Кроме того, понял, что многих интересует зачем вообще использовать UTF-8, если есть прекрасная такая “русская” кодировка Windows-1251. Вот и решил написать пару постов на эту тему. Начну я с общего описания данных кодировок, а продолжу, непосредственно, описанием решения проблемы использования UTF-8 на пакете Denwer.
Не так давно, в связи со сложившимися обстоятельствами, решил отказаться от кодировки Windows-1251, с которой работал очень давно, и целиком и полностью перейти на UTF-8. Все причины перехода раскрывать не буду, но основные из них:
- большинство современных веб-платформ по-умолчанию работают именно на ней;
- её очень удобно использовать для создания мультиязычных проектов;
- набор используемых в кодировки символов около 100000;
- кодировка универсальная, т.е. русские символы и в Никарагуа остаются русскими.
Далее постараюсь написать несколько слов об основных отличиях кодировок Windows-1251 и UTF-8, а так же, в качестве бонуса, примеры объявления кодировки в HTML, PHP и для работы с базами данных MySQL.
Немного теории
Windows-1251 – набор символов и кодировка, являющаяся стандартной 8-битной кодировкой для всех русских версий Microsoft Windows. Пользуется довольно большой популярностью. Windows-1251 выгодно отличается от других 8‑битных кириллических кодировок (таких как CP866, KOI8-R и ISO 8859-5) наличием практически всех символов, использующихся в русской типографике для обычного текста; она также содержит все символы для близких к русскому языку языков: украинского, белорусского, сербского и болгарского.
UTF-8 – в настоящее время распространённая кодировка, реализующая представление Юникода, совместимое с 8-битным кодированием текста. Нашла широкое применение в операционных системах и веб-пространстве. Текст, состоящий только из символов Юникода с номерами меньше 128, при записи в UTF-8 превращается в обычный текст ASCII. Остальные символы Юникода изображаются последовательностями длиной от 2 до 6 байт.
Основные отличия кодировок
Главное отличие кодировок – это используемый набор символов. В UTF-8 гораздо больше количество символов возможно представить, чем в Windows- 1251. Кодировка Windows- 1251 однобайтовая, т.е. представить в ней можно только 255 символов. Для кириллицы, впрочем, этого вполне достаточно, именно поэтому однобайтовые кодировки до сих пор так массово применяются.
Символ в кодировке UTF-8 может кодироваться аж 6 байтами (пока используется только 4 и больше не планируется). Для русского языка, например, символ занимает 2 байта. Все символы, которые есть в таблице символов – поддерживаются этой кодировкой. К примеру, если вам нужен знак копирайта (©), то вам не нужно искать особый шрифт или же изображать символов в графическом формате.
Плюсы UTF-8:
- UTF-8 позволяет работать одновременно с несколькими языками, т.е. выдавать тексты, в которых используются символы разных алфавитов и даже иероглифы. С использованием кодировки 1251 это невозможно;
- использование UTF-8 позволяет отказаться от кодовых таблиц, трансляций символов и всех прочих извращений, что были ранее с однобайтовыми кодировками;
- Нет кучи кодировок для одного и того же языка, как это было ранее для русского: cp1251, cp866, koi8r, iso8859-5.
Минусы UTF-8… А есть ли они у этой кодировки вообще? Я знаю только разных мифах и легендах на эту тему, вот некоторые из них:
- “У UTF-8 есть проблемы со старыми браузерами” – маловероятно… Во всяком случае, если под старыми не подразумевают Lynx и Mosaic _);
- “С UTF-8 возникают проблемы на сервере” – ну да, если сервер по-умолчанию пытается определить другую кодировку. Но это не минус кодировки, уж точно…
В следующем посте попробую кратко описать решение проблемы просмотра сайтов, использующих кодировку UTF-8, на пакете Denwer.
А какую кодировку используете вы? Часто сталкиваетесь с проблемами на эту тему?
Загрузка ...
Естественно UTF-8 лучше всего. Единственная проблема, которая может возникнуть неразрывный пробел с нулевой шириной, так называемый Byte Order Mark или BOM. Но если использовать грамотный редактор, то о проблемах можно забыть.
Ага. Есть и такой момент. Однако, если пользоваться нормальными редакторами, то всё будет нормально и с написанием кода и со сменой кодировки _) У меня ни с Дримвивером, ни с Notepad++ никогда проблем не было.
[...] так давно публиковал пост “Выбираем кодировку: Windows-1251 или UTF-8…“, в котором кратко рассказывал об основных [...]
сейчас utf8 и только его. раньше использовал еще KOI8r в силу легкости редактирования текстов в консоли FreeBSD. а в Linux так utf8 вообще везде и в консолях и в редакторах. :-)
Сейчас в основном все utf 8 используют.
Уже 2-й год как использую UTF-8, все новые проекты только в этой кодировке. Подумываю о переводе и пару старых проектов. Проблемы с этой кодировкой бывают только со стороны хостинг провайдеров которые то Бд по умолчанию выставляют даже в Latin , то конфиг апача неправильно настраивают. Кстати по этим признакам определяю профессиональность самой командв хостинг провайдера.
Вот. Одна из негласных причин, о которых я упомянул в начале – как раз различная конфигурация апачей и БД на серваках, что заставляет либо раскидывать по проекту указания на кодировку, либо менять настройки сервака (что весьма затруднительно).
Раньше юзал cp1251, сейчас только utf8. Еще плюс utf8, это то, что с Ajax’ом проблем не будет
Я использую ленты новостей в Opera mini. При попытке подключить ленту с сайта ixbt.com было предложено новости (видимо в Windows-1251) и новости в utf-8.
То что utf-8 использует от 2 до 8 байт, т.е. больше, чем Windows-1251, не приведёт к увеличению трафика? И как следствие мне придёться больше платить.
UTF-8 – 6-байтовая кодировка, w-1251 – однобайтовая. Если объем получаемого трафика действительно велик и стоимость критична – то лучше подписаться на 1251, а потом, при необходимости, просто вручную менять при просмотре. Точнее сказать не могу, т.к. ленту в Опере-мини никогда не использовал.
Спс. Решил проблему с кодировкой.
Страницы в Windows-1251 грузятся моментально и практически в любом браузере, и даже если у вас слабый интернет. Шрифты всегда отображаются корректно. А в UTF-8 страницы грузятся очень медленно, а особенно если вы живете в провинции, то вообще могут не раскрыться полностью. Вместо шрифтов появляются какие-то иероглифы.
Поэтому мне удобнее работать в Windows-1251 и сайт я переделывать не буду.
Вячеслав, жертвовать универсальностью в пользу скорости – весьма сомнительный шаг. Переделывать рабочий проект может и не стоит, но делать новые в более современном “формате” будет куда логичнее.
А Иероглифы могут выводиться лишь при неправильной настройке сервера, либо кривом указании текущей кодировки.
Только сегодня наткнулся на проблему, которую решить наверное человечеству уже не будет дано никогда!
Верстал сайт, все норм, всегда кодирую сразу в utf-8, привык уже. И для сайтов практически всегда использую ариал шрифт, сегодня скинули дизайн, в котором была вердана, так вот оказалось что если кодировка ютф 8, то вердана будет преобразовываться ие в ариал, поэтому вы никак не сможете поставить вердану.
Решение – копаться в реестре винды, удалить по умолчанию стоящий шрифт для ютф-8, но из-за этого вся верстка выглядит криво (точнее если подправить реестр она выглядит как и должна, но не буду же я писать на сайте подправте реестр и вы будете счастливы!), поэтому если какие нибудь шрифты на сайте Вердана, Тахома, или еще какой, то походу придется юзать 1251. Что уж тут поделать((( Сам привык уже к ютф-8.
А кто-нибудь знает, какая кодировка используется в Windows 7? Я знаю точно что в Windows XP в MS DOS CP866, а в самой операционной системе Windows – 1251, а вот достоверной информации в интернете я почему-то не нашел…
До сих пор удивляюсь вебмастерам пользующимся другой, отличной от UTF-8 кодировкой для веба
Может быть, я просто не знаю, как решить эту проблему, но в UTF8 работают криво или вообще не работают куча полезные строковых функций, без которых никуда. Как с этим бороться?
Да, у меня с этим были проблемы но с помощью вашего поста я решыл эту проблему.
Не так давно использую utf, но проблемы с ней возникают как раз со строковыми функциями, аналоги которых есть и для многобайтовых кодировок, но их гараздо меньше, и, кто бы мог подумать, при загрузке рускоязычных файлов.
Прочитал кучу постов, супостаты пишут, что у них названия файлов не хотят в utf переводиться… Слегка поржал, поскольку енглишь он и в ASCII енглиш (а вот со спецзнаками там у них проблемы: квакозябрами идут), а потом вспомнив один пост понял, что винда сама перекодирует при создании файла его название в ANSI, как я понял, и… Че дальше не знаю )
Спасибо за статью.Подскажи нужно ли в моем случаи на движке Dle 9.7 перекодировать все файлы с ANSI в utf-8 без bom?
Когда установил движок на локалку (денвер) были кракозябры но после перекодировки в utf-8 без bom файла main и ещё каких то же не помню все стало нормально.
Дайте совет!!!
Windows-1251 — набор символов и кодировка, являющаяся стандартной 8-битной кодировкой для всех русских версий Microsoft Windows. Пользуется довольно бољшой популярностью.
Хорошая статья, спасибо.
Проблемы возникают когда пишешь поиск по базе) в базе они храняться в невменяемом виде
ЛООЛ!
Да говно ваша утф8!
Жутко глючаня и неудобная во всех отношениях.
Думаю намного благоразумнее придерживатся кодировки, родной для системы Виндовс, и изначально поддерживаемой php.
А ваша любимая UTF8 на php – убогое зрелище… ни поиск ни регулярные выражения, по этой кодировке нормально не работают. В своё время долго бились с этим, когда пытались перейти вебдизайнить на эту вашу “чудесную” UTF-8, но только зря потратили кучу времени и нервов, в итоге плюнулы на неё и вернулись к старой, надёжной 1251.
А вы если хотите – целуйте дальше жопы иностранщине! Им же нарвится эта кодировка – бегите угождайте! А я считаю, если они хотят посещать НАШИ сайты и ресурсы – пусть учат РУССКИЙ!
До сих пор удивляюсь, что “вебмастера” не понимают, что не везде и не всегда нужно использовать одну и ту же кодировку)) Страница в 3 раза тяжелее только в угоду моде, это бред!)) utf-8, на самом деле, используют из-за лени, потому что да, так проще, но в угоду простоте и “универсальности” жертвуют скоростью и как итог, стабильностью работы.
а почему cp-1251, а не koi8-r, которая намного логичней? только из-за венды, которая использует Unicode? так браузеру пофик.
ну и вопли по поводу увеличения трафика – от незнания того, что странички чаще всего передаются сжатыми в gzip, а там размер настолько мал, что уже непринципиально один байт, два или шесть.
на сегодняшний день однозначно UTF-8, без вариантов)
Всегда использую win 1251, т.к. удобнее и во всех редакторах текст читаемый. Когда приходится ковырять чужие скрипты с utf приходится перекодировать, а это неудобно. И мне всеравно, что там где-то в Африке русские символы кто-то не сможет прочитать. Ставьте русскую винду и ноу-проблем :)
При использовании UTF-8 (например, на сайте http://shpilevsky.name) возникал непонятный неприятный эффект:
при вставке внешнего файла ()
помимо содержимого файла вставлялась пустая строка, что было неприемлемо.
Поэтому сайты были переведены на Windows-1251.
Может быть, кто-нибудь знает причину добавления символов, пустых строк при вставке в кодировке UTF-8?
господа, не паникуйте, для рукоделия и прочих локальных вебстраничек utf8 не нужен от слова совсем! :)
и до сих пор встречаются сайты с windows-1251 и причем это сайты не сделанные школьниками …
Как только я ставлю в кодировках создаваемаго сайта utf8 вместо Windows-1251 – ни в одном браузере он не читаются.
Вик, может быть, не только ставить “в кодировках создаваемаго сайта utf8″, но и реально переводить страницы в UTF8?
Универсальность это хорошо…. – но когда десятки тысяч страниц – имеет смысл задуматься о дисковом пространстве, которое они занимают. А в win-1251 кодировке страницы весят примерно на 20-30% меньше…