EbNCaNa » Unicode

ملاحظة مهمة حول phpmyadmin , اللغة العربية , الترميز UTF-8

EbNCaNa — Thu, 28 Aug 2008 10:47:15 +0000

السلام عليكم اخواني …

اردت ان اشارككم بعض الملاحظات المهمة حول الموضوع الذي طرح كثيرا في الاونة الاخير في قسم php في منتديات سوالف سوفت والذي يتعلق ببرنامج ادارة قواعد البيانات phpmyadmin عند تصدير او استيراد قواعد بيانات تحوي اللغة العربية .

حدثت مشاكل ؟؟ والكثير اعطى الحلول ؟؟ وانا شخصيا جربت الحل التالي :

Code :

mysql_query(“SET CHARACTER SET utf8″);
mysql_query(“SET NAMES utf8″);

وفي البداية هالحل ما نفعني وما زبط ولكن في الحقيقة هو الحل الامثل لهالمشكلة … والمشكلة ببساطة هي عدم ظهور اللغة العربية بالشكل المطلوب في phpmyadmin وانما تظهر بشكل رموز غير مفهومة او علامات سؤال .

المشكلة من القاعدة التي بحوزتنا وليست بالاستعلام والسبب ان جميعنا في البداية لم نكتب هذا الاستعلام في ملف الاتصال والذي حدث هو اننا اصبحنا نضيف البيانات للقاعدة ودخلت البيانات على شكل رموز او علامات سؤال … وعندما تخرج تكون تمام كما نريد … ولكن عند استعراضها في phpmyadmin تكون بعكس ما نريد … بعد فترة من تجربة السكربت وكلو تمام اصبحنا نواجه مشاكل احيانا وظهرت الحاجة للدخول لـ phpmyadmin ومعاينة البيانات من داخله ولكنها لم تظهر كما نريد …

دخلت البيانات للقاعدة بترميز معين (ليس UTF-8) وحفظت بداخل القاعدة بهذا الترميز ونريد ان تظهر البيانات بالشكل المطلوب فقمنا باستعمال الاستعلام الذي ذكر في البداية ولكنه لم ينجح والسبب بان هذا الترميز يعالج البيانات ذات الترميز UTF-8 فقط .

الحل : يجب ان نكتب هذا الاستعلام قبل اضافة اي بيانات للقاعدة فعندها سوف تدخل البيانات بالترميز UTF-8 وتظهر البيانات التي بالعربية بالشكل المطلوب في phpmyadmin وعندما نصدر القاعدة تظهر البيانات ايضا باللغة العربية بدون شوائب وعندما نريد استيراد القاعدة من جديد لن نواجه اي مشاكل .

قسم كبير من الاخوة والذين يستعملون سكربتات عالمية مثل 4images ترميز القاعدة الافتراضي لهذا السكربت ليس UTF-8 والذي يحدث ان المستخدم عندما يطلب ملف التنصيب لهذا السكربت او غيره فانه ينصب جميع البيانات في القاعدة بترميز غير UTF-8 ولكننا نكمل ونقوم بادخال البيانات وفجأة نطالب برؤية البيانات بترميز UTF-8 لأنه الوحيد الذي يظهر اللغة العربية بتوافق تام مع جميع السكربتات وجميع الانظمة .

الحل في هذه الحالة هو تعقب ومعرفة الكود المصدري لملف التنصيب واين تخزن استعلامات التنصيب عندها نستطيع ان نعالج المشكلة قبل حدوثها عن طريقة اضافة الاستعلامات التالية :

Code :

TYPE=MyISAM DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci

ونقوم باضافة هذا السطر بعد عرض PRIMARY KEY … مثال :

Code :

PRIMARY KEY (`id`)
) TYPE=MyISAM DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci ;

وطبعا جميع ما قيل في هذا الموضوع يخص الاخوة المعنيين باستعمال الترميز UTF-8 في برمجياتهم او الذين يريدون ان تظهر اللغة العربية بشكل صحيح في phpmyadmin وانا قمت بكتابة هذا الموضوع على اعتبار بان كلا الطرفين من الاخوة يعلمون جيدا بان هناك خطوات تسبق خطوات التعديل في قواعد البيانات وملف الاتصال وهي تحويل جميع ملفات السكربت الى الترميز UTF-8 مع حذف علامة ترتيب البايت Byte ordr mark – BOM وهذا يحتاج لاحد المحررات التي تدعم هذه الخاصية مثل Dreamweaver او Notepad ++ او EMeditor الذي استعمله شخصيا .

اخوكم : EbNCaNa

في امان الله .

ما هي الشفرة الموحدة ‘ يونِكود’ Unicode ؟

EbNCaNa — Sun, 29 Jun 2008 11:28:43 +0000

أساسًا، تتعامل الحواسيب فقط مع الأرقام، وتقوم بتخزين الأحرف والمحارف الأخرى بعد أن تُعطي رقما معينا لكل واحد منها. وقبل اختراع “يونِكود”، كان هناك مئات الأنظمة للتشفير وتخصيص هذه الأرقام للمحارف، ولم يوجد نظام تشفير واحد يحتوي على جميع المحارف الضرورية. وعلى سبيل المثال، فإن الاتحاد الأوروبي لوحده، احتوى العديد من الشفرات المختلفة ليغطي جميع اللغات المستخدمة في الاتحاد. وحتى لو اعتبرنا لغة واحدة، كاللغة الإنجليزية، فإن جدول شفرة واحد لم يكف لاستيعاب جميع الأحرف وعلامات الترقيم والرموز الفنية والعلمية الشائعة الاستعمال.

وتجدر الملاحظة أن أنظمة التشفير المختلفة تتعارض مع بعضها البعض. وبعبارة أخرى، يمكن أن يستخدِم جدولي شفرة نفس الرقم لتمثيل محرفين مختلفين، أو رقمين مختلفين لتمثيل نفس المحرف. ولو أخذنا أي جهاز حاسوب، وبخاصة جهاز النادل (server)، فيجب أن تكون لديه القدرة على التعامل مع عدد كبير من الشفرات المختلفة، ويتم تصميمه على هذا الأساس. ومع ذلك، فعندما تمر البيانات عبر أنظمة مختلفة، توجد هناك خطورة لضياع أو تحريف بعض هذه البيانات.

“يونِكود” تغير هذا كليـا !

تخصص الشفرة الموحدة “يونِكود” رقما وحيدا لكل محرف في جميع اللغات العالمية، وذلك بغض النظر عن نوع الحاسوب أو البرامج المستخدمة. وقد تـم تبني مواصفة “يونِكود” مــن قبـل قادة الصانعين لأنظمة الحواسيب فـي العالم، مثل شركات آي.بي.إم. (IBM)، أبـل (APPLE)، هِيـْولِـت بـاكـرد (Hewlett-Packard) ، مايكروسوفت (Microsoft)، أوراكِـل (Oracle) ، صن (Sun) وغيرها. كما أن المواصفات والمقاييس الحديثة (مثل لغة البرمجة “جافا” “JAVA” ولغة “إكس إم إل” “XML” التي تستخدم لبرمجة الانترنيت) تتطلب استخدام “يونِكود”. علاوة على ذلك ، فإن “يونِكود” هي الطـريـقـة الرسـمية لتطبيق المقيـاس الـعـالـمي إيزو ١٠٦٤٦ (ISO 10646) .

إن بزوغ مواصفة “يونِكود” وتوفُّر الأنظمة التي تستخدمه وتدعمه، يعتبر من أهم الاختراعات الحديثة في عولمة البرمجيات لجميع اللغات في العالم. وإن استخدام “يونِكود” في عالم الانترنيت سيؤدي إلى توفير كبير مقارنة مع استخدام المجموعات التقليدية للمحارف المشفرة. كما أن استخدام “يونِكود” سيُمكِّن المبرمج من كتابة البرنامج مرة واحدة، واستخدامه على أي نوع من الأجهزة أو الأنظمة، ولأي لغة أو دولة في العالم أينما كانت، دون الحاجة لإعادة البرمجة أو إجراء أي تعديل. وأخيرا، فإن استخدام “يونِكود” سيمكن البيانات من الانتقال عبر الأنظمة والأجهزة المختلفة دون أي خطورة لتحريفها، مهما تعددت الشركات الصانعة للأنظمة واللغات، والدول التي تمر من خلالها هذه البيانات.

المصدر : http://www.unicode.org/

تشفير الروابط والنصوص بواسطة الترميز UTF-8

EbNCaNa — Mon, 23 Jun 2008 17:01:15 +0000

في كثير من الاحيان يفكر البعض لماذا لا نستعمل عنوان الموضوع ليكون المعتمد عليه في عملية جلب بيانات هذا الموضوع عن طريق GET في صفحة ديناميكية معينة , وليس كما جرت العادة بالاعتماد على id هذا الموضوع وخاصة عندما يكون عنوان الموضوع باللغة العربية … ان الناظر لواقع المواقع العملاقة اليوم والمتصدرة لائحة الترتيب الاقوى في محركات البحث يلاحظ بأنها تستعمل هذه التقنية الرائعة امثال موسوعة ويكيبيديا وشركة ووردبرس وجميع المدونات المستخدمة نظامها حول العالم … وطبعا لا ننسى عملاق البحث جوجل .

- ما هي الرموز المحبذ تحويلها الى الترميز utf-8 لكي تستعمل في الرابط ؟

انه ولكي تتم عملية تحويل الرابط بنجاح … ولكي يتجلى المقصد من وراء تحويل الرابط الى الترميز utf-8 فان الرموز الاصلية للرابط يجب ان تكون اية رموز مع عدا رموز مجموعة المحارف ASCII , فمثلا يمكن ان نحول رموز او حروف اللغة العربية او الروسية او العبرية والسبب لان رموز او حروف اي من هذه اللغات لا تدخل في تركيب مجموعة المحارف ASCII وقس على ذلك الكثير الكثير من لغات العالم .
احيانا نحتاج ايضا الى تحويل بعض رموز مجموعة المحارف ASCII الى الترميز utf-8 وسنذكر ذلك لاحقا مع مثال مفصل .

- مم سيتحول الرابط بعد التحويل الى utf-8 ؟

حسب بروتوكول RFC 3986 فان الرموز التي يجب ان يتكون منها الرابط المشفر بالترميز utf-8 يجب ان تكون مشتقه بشكل مباشر او غير مباشر من مجموعة المحارف ASCII , وما دون ذلك من رموز فلن يقبل بالمرة في عملية تكوين الرابط المشفر .

- ما هي مجموعة المحارف ASCII ؟

American Standard Code for Information Interchange وهي مختصرة في الحروف ASCII ، تلفظ عادة آسكي ، هي مجموعة رموز ونظام ترميز مبني على الألف باء اللاتينية بالشكل الذي تستخدم به في الإنجليزية الحديثة ولغات غرب أوروبية اخرى.
من أكثر الإستخدامات شيوعا للنصوص المكتوبة باللآسكي تشتمل على إستخدامها في أنظمة الحاسوب، كما تستخدم في أجهزة الإتصالات وأنظمة التحكم التي تتعامل مع نصوص .

مجموعة الرموز المباشرة المشتقه من ASCII :

Code :

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
a b c d e f g h i j k l m n o p q r s t u v w x y z
0 1 2 3 4 5 6 7 8 9 – _ . ~

مجموعة الرموز الغير مباشرة المشتقه من ASCII :

Code :

! * ‘ ( ) ; : @ & = + $ , / ? % # [ ]

- ما الفائدة من تحويل الروابط الى الترميز utf-8 ?

1- وهو الاهم ويتمثل في اعطاء المستخدم او صاحب الموقع الثقة العمياء من قبل محركات البحث في حال كان الرابط باللغة العربية وقمت بتحويله الى الترميز utf-8 .

2- الدعم الكامل لجميع التطبيقات او البرمجيات التي لا تدعم الا الترميز utf-8 وعندها سوف يصبح الرابط او النص الذي قمت بتحويله الى نص عالمي مقروء ومفهوم ومعرف في هذه التطبيقات , الأمر يشبه ترجمة لغة معينة غير مشهورة الى لغة عالمية معتدمة من قبل الكثير من الدول الكبرى .

3- في بعض الاحيان نحتاج لتحويل بعض رموز مجموعة المحارف ASCII نفسها الى الترميز utf-8 لكي يتوافق مع متطلبات الرابط … مثال :

نفرض الرابط التالي :

Code :

http://en.wikipedia.org/wiki/Percent-encoding

رابط جميل اليس كذلك ؟؟ ولكن ماذا لو اراد مدير الموقع اضافة العلامة سلاش / داخل الرابط العنوان نفسه ؟؟ ماذا لو قمنا بادخال / ولكن غير مشفر ؟؟ سيصبح الرابط كالتالي :

Code :

http://en.wikipedia.org/wiki/URL-/Percent-encoding

هل تعتقد باننا لو دخلنا لهذه الرابط سيقوم الموقع باعطانا النتيجة بشكل صحيح ؟؟ انا لا اعتقد هذا الامر لان / تعني حسب بروتوكول HTTP الانتقال الى مجلد آخر داخل الموقع ولذلك فان الموقع سيعطينا بالضرورة خطأ 404 .. اذن ما الحل ؟هنا يأتي دور تحويل الرمز / الى الترميز utf-8 وهذا ما اعنيه بمتطلبات الرابط … سيكون الرابط بعد تحويل الرمز / كالتالي :

Code :

http://en.wikipedia.org/wiki/URL-%2FPercent-encoding

وهنا لاحظ القيمة 2F% وهي الصيغة المشفرة من الرمز / حسب ترميز utf-8 الرائع !!

اعتقد انكم مللتم من الكلام النظري … وتريدون مشاهدة وتجربة المثال بأنفسكم … حسنا لكم ذلك من خلال اداة تشفير الروابط وتحويلها الى الترميز utf-8 – اضغط هنا لدخول المثال .

اتمنى انكم قد اتستفدتم ولو قليلا من هذا الدرس وتذكروا : ” لا لاحتكار العلم ” .

اخوكم المحب : EbNCaNa

السلام عليكم اخواني .

Byte Order Mark – BOM

EbNCaNa — Mon, 23 Jun 2008 08:59:04 +0000

تعريف :

Byte order mark هي مجموعة رموز في بداية الملف النصي ووظيفتها اعلام المستخدم بان هذا الملف تابع لمجموعة محارف يونيكود Unicode فاما ان يكون بترميز UTF-8 او UTF-16 او UTF-32 .
هذه المجموعة من الرموز لا تكون ظاهرة بالملف واذا كنا نريد ان نعرف ترميز ملف معين فنستطيع ان تفتح الملف باي محرر HEX وننظر الى بداية ترتيب بيانات قيم HEX في المحرر والرسم التوضيحي التالي يبين ترميز الملف حسب مجموعة الرموز الاولى :

وطبعا إذا لم يكن يحوي تيار البيانات أي من هذه القيم فإن هذا الملف لا يُصنف على أنه من مجموعة الملفات المرمزة بواسطة Unicode .

العلاقة بين BOM و الترميز UTF-8 :

هناك علاقة وطيدة بين الـ Byte order mark والترميز العالمي المشهور UTF-8 فعند استخدامنا لأي محرر تقريبا واردنا حفظ الملف بترميز UTF-8 فان المحرر تلقائيا باضافة هذه الرموز الى بداية الملف والهدف كما اسلفنا ان يتم اعطاء هوية لهذا الملف على انه من مجموعة محارف Unicode والا فانك عندما تفتح الملف من جديد بدون هذه الرموز فان المحرر لن يتعرف على الترميز المناسب لهذا الملف وبالتالي فانه سيعتبر ترميز الملف ANSI او الترميز التلقائي للملفات عند فتحها بواسطة هذا المحرر .

أهمية حذف الـ BOM من الملفات التي بترميز UTF-8 :

انه ومن المهم جدا للمبرمجين ان يقوموا بحذف هذه الرموز من بداية الملف والسبب ان بعض لغات البرمجة مثل لغة php لا تقبل من اي اشارة ان تتقدم على بعض دوالها المهمة مثل دالة الجلسات Session او الدالة Header والابقاء على رموز الـ BOM يعني تعطل الملف واعطاء خطأ برمجي لا يعرف المبرمج سببه في كثير من الاحيان لجهله برموز الـ Byte Order Mark فيأخذ بالبحث في المواقع والمنتديات عن سبب الخطأ ويحاول ان يعرض الكود الذي في داخل الملف على من هم اكثر خبرة منه علهم يعرفون السبب وفي الحقيقة ان الكود خالي من الشوائب والعيوب البرمجية تماما لكن سبب الخطأ البرمجي هو الرموز الاضافية في بداية الملف .

يمكن أن يقول البعض أنه ما من حاجة لاستخدام الترميز UTF-8 في ملفاتنا لأننا نستخدم الترميز ANSI ولا توجد مشكلة، والجواب طبعاً أن هذا الترميز هو الترميز العالمي والأكثر شهرة والأكثر فاعلية لأنه يعمل مع جميع لغات العالم ويعمل في جميع أنظمة التشغيل ولأنه متوافق أيضا مع المعايير القياسية للمواقع W3 .

مشاكل وعقبات عند استعمال الترميز UTF-8 وعلاقتها بالرموز الاضافية BOM وحلولها :

1- انا مبرمج اريد الانتقال من البرمجة بترميز ANSI الى الترميز UTF-8 ولكن المتصفح يظهر خطأ برمجي دائما مع العلم بان الكود سليم وخالي من الشوائب البرمجية .

الجواب : من الواضح انك تستخدم دالة php طلائعية اي انها لا تقبل لاي رمز ان يسقبها في الملف والا تعطل عملها نهائيا وهنا فانك تستعمل الدالتين Session و Header … الحل ان تقوم بتحميل اي محرر يحتوي على خاصية تحرير رموز HEX مثل PSPad وتقوم بحذف القيم الاولى في الملف وهي EF BB EF او ان تقوم بتحميل محلل يحوي خاصية حفظ الملف بدون BOM اي انك عند حفظك للملف فانه سيجعلك تختار ترميز الملف وانت اكيد ستختار الترميز UTF-8 واسفل هذا الخيار هناك مربع اختيار بالنقر عليه سوف يتم حفظ الملف مع الرموز الاضافية BOM وعند سحب علامة الصح من داخله فان الملف سوف يحفظ بدون هذه الرموز وانا ارشح محرر EMeditor او البرنامج الرائع Dreamweaver لهذه المهمة … وبعدها قم بحفظ الملف وان شاء الله لن تعود هذه الأخطاء البرمجية للظهور مجددا .

2- بحمد الله تم التخلص من مشكلة الرموز الاضافية ببداية الملف BOM واشتغل الملف بنجاح لكني عندما اريد ان اعدل على الملف اقوم بفتحه بواسطة المفكرة Notepad لكن لا يظهر لي بان الملف بترميز UTF-8 وانما يظهر على انها صاحب الترميز ANSI او لا يظهر الترميز بالمرة ؟!! اعتقد باني سأعدل عن فكرة البرمجة بواسطة الترميز UTF-8 !!

الجواب : أخي، كل شي بالصبر وحب المعرفة يأتيك على رجليه … برنامج المفكرة Notepad ومع الأسف فانه يعتبر كل ملف لا يحوي الرموز الاضافية BOM يعتبره بترميز ANSI !!! وليس المفكرة فقط وانما برنامج المفكرة ++ (Notepad ++ ) ايضا به نفس المشكلة طيب ما الحل ؟؟ من الافضل اخوي ان تقوم باستعمال محررات محترمة وصديقة للترميز UTF-8 لكي تتخطى هذه المشكلة وانا ارشح هنا برنامج Dreamweaver مرة اخرى لهذه المهمة لان الامور لا تلتبس عليه عند فتح ملف UTF-8 بواسطته وحتى لو كان الملف بدون BOM فأنه سوف يعتبره ملف يونيكود UTF-8 وارشح ايضا برنامج EMeditor لهذه المهمة ايضا .

وفي النهاية اقول لأخواني بان اي شيء تراه مفيد وغير متواجد عربيا وغير مكرر بعالم تطوير المواقع فعليك ثم عليك ان تقوم بنشره ولا تحتكر العلم !!

في إمان الله إخواني في مقالات قادمة .

المراجع :