اینم یه تجربه پراکنده!

توی پست قبل من OpenWrt رو معرفی کردم. بعدش هم من پول دادم و یدونه از این روترهای به نسبت ارزون خریدم که usb رو پشتیبانی می‌کرد. بعد از یک سال اینترنت خونه به دلایل عملیاتی بایستی قطع میشد و من رفتم یه مودم lte با مدل Huawei E3372 خریدم. البته این مودم من sim lock ایرانسل هست ولی مدلهای بدون sim lock هم وجود داره.

خیلی ساده می‌تونید که این دستگاه رو راه‌اندازی کنید. کافیه که دوتا پکیج اضافه زیر رو نصب کنید

  • kmod-usb-net-cdc-ether
  • usb-modeswitch

مودم بصورت معمول توی مد HiLink هست که یک کارت شبکه رو شبیه سازی میکنه. پس در نهایت شما یه کارت شبکه جدید دارید که بایستی اون رو به عنوان Wan انتخاب کنید. ایراد مد هایلینک این هست که اگه شما valid ip ثابت روی سیم‌کارتتون داشته باشید نمی‌تونید چیزی رو port forward کنید.

حالت دیگه ای که مودم کار میکنه بصورت پورت سریال درمیاد که at command قبول میکنه. این مد هم البته قابل راه‌اندازی هست که یکم دردسر داره ولی ممکنه. البته این رو من هنوز امتحان نکردم

امیدوارم به دردتون خورده باشه!

همین!

اینم یه تجربه پراکنده دیگه!

من مدتی میشه که با مجله هایو همکاری دوستانه دارم و سعی میکنم مطالبی که عمومی تره رو اونجا بنویسم. حالا توی این مدت من ۳ تا مقاله در مورد git نوشتم که اونجا منتشر شده. پیشنهاد میکنم اگه دوست داشتید برید و بهش سر بزنید

لیست مقالات از این قراره

همین!

پ.ن. خوشحال میشم به مابقی نوشته‌های من توی اونجا سر بزنید.

اینم یه تجربه پراکنده دیگه!

خب توی این پست یه ابزار جایگزین برای build کردن نرم‌افزار‌های c و c++ معرفی کنم به اسم ninja. داستان بوجود اومدنش از این قراره که آقای اوان مارتین که توی گوگل روی توسعه google chrome کار میکرده متوجه میشه روند کامپایل کدهاشون بیش از حد کنده و دست و آستینش رو بالا زدن که یه سیستم سریعتر برای build بنویسه که حاصل شد ninja. پیشنهاد میکنم در اولین گام سیستمتون رو اگه cmake نیست cmake کنید و در گام دوم از ninja استفاده کنید

ویژگی‌های ninja

خب ویژگی‌هایی که من بلدم از این قراره

  • سعی در انجام یک کار بصورت درست
  • سعی در خیلی سریع بودن
  • حداقل محدودیت روی نحوه کامپیال شدن کد و سپردن اونها به ابزارهای سطح بالاتر مانند cmake و gyp
  • تشخیص درست وابستگی‌ها
  • سرعت بر سادگی ارجحیت دارد

نمونه موردی

خب همونطور که قبلا هم گفته بودم نحوه کامپایل کدها منتقل شده بود به cmake و تنها کاری که لازم بود من انجام بدم دستورات زیر بود

برای کدهای ما در یک تست غیر علمی نتیجه‌های حدودی زیر برای ۲ یا ۳ بار اجرا بدست اومد

type make ninja
clean build ۶۰s ۱۳s
rebuild ۱۰s ۰٫۳s

همین!

اینم یه تجربه پراکنده دیگه!

چند شب پیش یکی از دوستان با این سوال به سراغ من اومد:

مشکل اینه که وقتی با malloc یا new یک حافظه تخصیص میدی و با free یا delete حافظه رو برمیگیردونی, اون حافظه شاید بلاک هاش خالی بشه اما توی تسک لیست خالی به عنوان منابع استفاده شده میاره و تا پایان پروسه پاک نمیشه. از دوستانی که آشنایی دارن پیگیری کن ببین جریان چیه. مهمه .

خدا خیرت بده. یه جایی از حافظه نمایی رشد میکه و وقتی خالیش میکنیم (با اینکه از لیست heap سیستم عامل خالی میشه) اما توی لیست پروسه‌ها(مثل نتیجه ps) هنوز به عنوان حافظه استفاده شده هست و حافظه آزاد نمیشه !!!‌ عجیبه . کلی توی اینترنت اینو سوال کردن !!

من که لینوکسم. اما فکر کنم ویندوزم همینه. چون سوالای اینترنت هردوشونه

کلا بخوام سوال رو خلاصه کنم اینجوریه که چرا وقتی حافظه رو به سیستم‌عامل پس میدیم واقعا پس داده نمیشه. من یکم از دانسته‌هام استفاده کردم و یکم هم تحقیقات کردم

پیش‌نیازها

پیش نیازهایی که به نظرم باید بدونیم ایناست:

  • نکته صفر اینکه با توجه به تحقیقات من زیر کلمه کلیدی new از همون malloc استفاده میشه. پس بررسی malloc به تنهایی میتونه جوابی برای ما فراهم کنه.
  • اول اینکه باید بدونیم که وقتی malloc صدا زده میشه چه اتفاقی میفته. کاری که malloc میکنه اینه که heap پروسه رو بهت اختصاص میده. حالا heap توسط سیستم عامل مدیریت میشه و در صورت نیاز به پروسه‌ی شما حافظه بیشتری تخصیص میده.
  • دوم اینکه فضای heap توسط کرنل مدیریت میشه و به اصطلاح نگاشته میشه به یه چیزی به نام Virtual Memory
  • سوم اینکهVirtual Memory نگاشته میشن به چیزی به نام Memory Page که نزدیک به سخت افزار تره
  • چهارم اینکه Memory Page نگاشته میشن بلوک‌های واقعی حافظه. از این مطمئن نیستم اما این نزدکترین لایه به سخت افزاره که من باهاش آشنا هستم.

بررسی مساله

حالا اگه بخوایم مساله رو بررسی کنیم باید به چند‌تا سوال جواب بدیم:

  • اول اینکه malloc چطور عمل میکنه؟ در پیاده‌سازیش ساز و کارش چیه؟
  • دوم اینکه روند افزایش طول Virtual Memory و اضافه شدن Memory Pageها چطوره؟
  • سوم اینکه بعد از پس دادن Memory Pageها سیستم عامل چطور اونها رو از یک پروسه پس میگیره؟

خب جواب سوالا به ترتیب اینا به نظر میرسن:

  • پیاده‌سازی‌های متفاوتی از malloc وجود داره
    • پیاده‌سازی معمولا اون اینطوریه که پس از گرفتن حافظه وقتی free شد معمولا اونها رو به سیستم عامل پس نمیده و نگه میداره که شاید بعدا بخواد دوباره تخصیص بده.
    • دوم اینکه درخواست یک Memory Page جدید توسط دستوراتی مثل mmap و sbrk درخواست یک بلاک بزرگ حافظه میکنه و اون رو بنا به درخواست نرم‌افزار تخصیص میده.
    • بعدش هم اینکه برای اینکه یک Memory Page رو برگردونه به سیستم عامل بایستی تمام حافظه‌هایی که روی اون تخصیص داده شدن برگشت داده بشه. که این هم همیشه اتفاق نمی‌افته.
    • معمولا هم پیاده‌سازی‌ها اینجورین که حافظه‌ای که توسط sbrk افزایش پیدا کرده رو دست نمیزنن(دلیل دقیقش رو نمیدونم) و حافظه‌ای که توسط mmap اضافه شده رو به راحتی برمیگردونن.
  • تقریبا جواب سوال دوم رو هم تا الان دادم. مقدار Virtual Memory توسط glibc کنترل میشه و بوسیله malloc تخصیص داده میشه.
  • جواب سوال سوم هم اینه که کرنل لینوکس همیشه حافظه برگشت داده شده رو برنمیگردونه چون که هزینه داره فقط اون رو علامت میزنه که در صورت نیاز اون رو حذف کنه یا به swap ببره.

راه حل مساله

حالا بریم سراغ مساله اصلی(چرا حافظه برگشت داده شده برگشت نخورده) و توجیهی که براش پیدا کردیم:
* مهمترین دلیل این اتفاق به نظرم malloc هست که حافظه رو نگه داشته و برنگردونده
* دومین دلیلش هم میتونه این باشه که کرنل هنوز Memory Page رو برنداشته و فقط علامت زده

حالا راه حل چیه:
* اول اینکه به کرنل و glibc اعتماد کنیم
* دوم اینکه بیایم و این پارامتر مروبط به malloc رو تنظیم کنیم۴
* سوم اینکه بیایم از یه پیاده‌سازی دیگه برای تخصیص حافظه و آزاد سازی اون استفاده کنیم
* چهارم اینکه بیایم خودمون مستقم از mmap و munmap استفاده کنیم

امیدوارم اینا راه گشای دیگران هم باشه

برای مطالعه بیشتر:

۱

۲

۳

۴

همین!

اینم یه تجربه پراکنده دیگه!

من قبلا هم در مورد ابزارهایی مثل makefile و cmake که کامپیال کردن نرم‌افزارها بالاخص در زبان‌های C/C++ رو راحت می‌کنن نوشتم. البته باید بگم که هیچوقت بصورت کامل و درستی یاد نگرفتم که makefile چطوره و چطور میشه باهاش سرو کله زد تا اینکه در یکی از پروژه‌ها مجبور به استفاده از makefile شدم و با کمک یکی از دوستان یه پروژه متن‌باز پیدا کرد که یه مدل آماده makefile که توش تقریبا همه کارهای معمول انجام شده بود رو آورده بود.

توی این پست سعی درام که این پروژه متن‌باز رو معرفی کنم. خب اول باید بگم که شما برای هر پروژه جدید نیاز دارید که چندتا چیز رو مشخص کنید

  1. اینکه بدونید سورس پروژه کجاست.
  2. اینکه فولدرهایی که header ها توش قرار گرفته کجاست
  3. اینکه بدونید برنامه‌تون به چه کتابخانه‌هایی نیاز داره
  4. اینکه بدونید برنامه‌تون برای کامپیال شدن به کمک GCC به چه flagهایی نیاز داره.

بعد از اینکه این موارد رو دونستید و اونها رو پیدا کردید باید برید و بخشها مرتبط با این موارد رو توی makefile تغییر بدید به عنوان Customizable Section مشخص شده.



		

خب هر یک از این بخش‌های قابل تغییر برای خودش معنایی داره

  1. بخش مقدار flag هایی هست که برای کامپیال کردن فایلها با پسوند c به کار میره. لازه به ذکره که بدونید flagهای C با C++ می‌تونن تفاوت اساسی داشته باشند
  2. بخش نشون‌دهنده flag هایی هست که در فاز link قرار به linker داده بشه و با استفاده از اون کتابخانه ها شناسونده بشن. یه مثال برای این مقدار هست که میگه کتابخانه مورد نیاز این نرم‌افزار هست
  3. بخش بخشی هست که نشون میده flagهای کامپایل c++ چیا هستن. مثلا که نشون میده میخوایم از استاندارد C++ 2011 استفاده کنیم. فولدر headerها رو هم توی این بخش اضافه می‌کنیم
  4. اگه به هر دلیل بخوایم flagهای دیگه ای به linker بدیم از استفاده می‌کنیم.
  5. سورس نرم‌افزار رو با جاهایی که سورس قرار گرفته رو نشون میده.
  6. و در نهایت نام نرم‌افزار رو نشون میده.

امیدوارم با این توضیحات کوتاه دستتون اومده باشه که چه کاری رو به چه صورت باید انجام بدید و در صورت هرگونه سوالی کامنت بگذارید و یادتون نره که من هنوز makefile رو بخوبی بلد نیستم! 😉

اینم یه تجربه پراکنده دیگه!

من این چند روز بخاطر یه کاری نیاز داشتم یه مساله تئوری گراف رو حل کنم. من معمولا سعی میکنم که توی کارها یه چیز جدید رو یاد بگیرم. به همین خاطر با استفاده از ipython notebook یا jupyter notebook مساله رو حل کردم. اتفاقا جادی هم یه ویدئوی آموزشی خوب در موردش ساخته.

چرا Jupyter Notebook

خب اول از همه میخوام یه چیزایی رو توضیح بدم که به نظر من چرا شاید کسی بخواد از این سیستم‌ها استفاده کنه. مهم‌ترین استفاده‌ای که من براش داشتم اینه که هر جا که به نظرم میخواستم از matlab استفاده کنم میتونستم از jupyter notebook استفاده کنم. بدین شکل که شما برای خیلی کارهای علمی یه کارهایی رو توی matlab پیاده‌سازی میکنی و تست می‌کنی و وقتی لازم شد واقعا در محیط عملیاتی ازش استفاده کنی اون‌ها رو در محیط عملیاتی دوباره پیاده‌سازی می‌کنی.

خب اولین زبانی که jupyter notebook پشتیبانی میکرده python بوده که مثل زبان matlab ساده بوده و بخاطر پکیج‌های عملی که هر دو زبان دارن پیاده‌سازی کارهای علمی به شدت ساده می‌شه.

دوم اینکه هر دو از مفهوم به نام متغیرهای مشترک بین همه برنامه‌های مختلف پشتیبانی می‌کنن که باعث میشه شما یه کار پر هزینه رو یه بار انجام بدی و نتیجه رو داشته باشی و مراحل بعدی رو براساس اون و بدون نیاز به اجرای از اول اون بخش پر هزینه انجام بدی

سوم اینکه هر دو ابزارهای بسیار خوب و قوی برای کشیدن نمودارهای علمی دارن که باعث میشه گزارش ساختن با اونها راحت باشه.

چهارم اینکه در jupyter notebook شما می‌تونید همزمان که کد می‌نویسید گزارش هم بنویسید. یعنی بلوک‌هایی داریم که توش میشه با استفاده از markdown متن هم بنویسید که در نهایت گزارش کاری که دارید انجام می‌دید هم آماده باشه. لازم نیست تکرار کنم که markdown رو من خیلی دوست دارم(۱ و ۲ و ۳)

یه مثال ساده

حالا کار من این بود که بتونم یه گراف جهت‌دار بدون دور بسازم و بتونم اون رو بکشم. خب اول از هم نحوه ساختن اون. کلا در ریاضی اثبات میشه که اگه بخواید گراف جهت‌دار بدون دور بسازید تنها چیزی که نیاز دارید اینه که توی ماتریس مجاورت اون گراف تنها درایه‌های زیر قطر اصلی ۱ باشن. این تضمین می‌کنه که گراف تولید شده گراف جهت‌دار بدون دور باشه.

اول از همه باید نیازمندی ها رو وارد کرد



		

بعد نوبت به کد ساختن DAG میرسه که کد این کار اینه



		

بعدش هم میشه نمایش دادنش که به سادگی میشه این



		

نتیجه کار هم توی github قرار گرفته و از اینجا قابل مشاهده است.
همین!

اینم یه تجربه پراکنده دیگه!

این ماه‌ها خیلی شلوغه و من نرسیدم به وبلاگ سر بزنم و این پست قرار نیست خیلی بلند باشه. من مدت‌هاست که هرجا میرم pfsense رو به عنوان ورتر و فایروال اونجا توصیه میکنم و خب همه جا هم از استفاده ازش راضی بودن. کل این پست در مورد captive portal هست.

یکی از ویژگی‌های این محصول استفاده می‌کنیم captive portal هست. کاری که میکنه اینه که اولین چیزی که شما توی بروزر میزنی رو redirect میکنه به صفحه لاگین. حالا یکی از چیزایی که من توی محصولاتی مثل cyberoam دیدم که یه کلاینت دارن واسه لاگین کردن توی captive portal هست. من هم دچار این مشکل بودم که چون معمولا tab های زیادی توی بروزر باز دارم همه صفحات redirect میشه و خیلی مدیریتش سخت میشه. حالا من هم یه کلاینت با پایتون توسعه دادم که خیلی ساده این کار رو انجام میده. اون رو هم توی github گذاشتم که اگه کسی خواست استفاده کنه. امیدوارم این کلاینت کمک کنه که آدم‌های بیشتری از محصولات متن باز استفاده کنن.

همین!

اینم یه تجربه پراکنده دیگه!

توی پست قبل من OpenWrt رو معرفی کردم. بعدش هم من پول دادم و یدونه از این روترهای به نسبت ارزون خریدم که usb رو پشتیبانی می‌کرد. حالا خواستم یه پست کوتاه بنویسم که با این دستگاه میشه چه کاری‌های دیگه ای انجام داد انجام داد.

به نظرم لیست کارهای ایناست:
– بخاطر داشتن پکیجهای aria2 و transmission به همراه داشتن usb گزینه مناسبی برای دانلود کردن اتوماتیک هست
– میشه کارهای مدل Internet of Things انجام داد. مثلا میشه یه سری کلید تحت شبکه رو کنترل کرد. این کلیدها با گرفتن یه دستور خاص خاموش یا روشن میشن. پس میشه کلی کار جذاب تو مایه‌های اتوماسیون خانگی و خانه هوشمند و اینا انجام داد.
– میشه بصورت ساده دسترسی به اینترنت رو به ساعاتی محدود کرد. مثلا میشه گفت که فلان دستگاه فقط تو این ساعات به اینترنت درسترسی داره. این به درد دستگاه‌هایی میخوره که امکان زمانبندی کارها توشون وجود نداره
– میشه با کمک minidlna یا emby تبدیلش کرد به یه media server برای اشتراک گذاری فیلم و موسیقی

و کلا چون یه لینوکس با کلی پکیج هست کارهایی بسیار دیگه‌ای هم میشه انجام داد.

همین!

پ. ن. من واسه اینکه usb رو روی یکی از مدلهای tp-link راه بندازم یکبار روتر رو تا دم مرگ بردم و با روشهایی سخت افزاری که تو عکس هست دوباره زندش کردم!

اینم یه تجربه پراکنده!

خب همونطور که میدونید علاقه مند به تکنولوژی‌های عجیب غریب در خونم هستم. یکی دیگه از اون چیزایی که از قبل می‌شناختمش و اخیرا سعادت کار عملی باهاش رو پیدا کردم OpenWrt هست. این یک لینوکس کوچک شده برای مسیریابهای بی سیم هست. البته باید بگم که استفاده از مسیریاب‌های بی‌سیم در ایران به علت اینکه adsl زیرساخت رایج ارائه خدمات هست، خیلی رایج نیست. من سعی می‌کنم که چیزهایی رو که از این تجربه یاد گرفتم اینجا مستند کنم که شاید به درد کسی بخوره.

در قدم اول باید بدونید که هر روتر وایرلسی سخت افزار خاص خودش رو داره و برخی از این روترها هستند که میشه روشون OpenWrt نصب کرد. پس اولین کاری که من انجام دادم این بود که بگردم و یه مدل روتر وایرلس ارزون پیدا کنم که رسیدم به TP-Link TL-701ND بود که قیمتش زیر ۸۰ هزار تومن هست و تست من رو میشه باهاش انجام داد. مدلهای دیگه هم هستن ولی همه از این مدل گرونتر هستن یا اصلا دیگه تولید نمیشن. نکته دیگه اینکه میشه اون رو روی روتربردهای Mikrotik و Raspberry Pi نصب کرد.

دومین موضوع مورد علاقه من اینه که این توزیع لینوکس تقریبا هرچیزی که فکرش رو بکنید پشتیبانی میکنه حتی سرور پایگاه داده مثل mysql و postgresq1. این خیلی من رو جذب کرد و باعث شد لذت زیادی ببرم. چون شما روی یک دستگاه کوچک می‌تونی پکیج‌هایی داشته باشی که کارهای خاص مثل دانلود تورنت رو برات انجام بده.

سومین مورد قابل توجه اینه که هنگام انتخاب مدل دستگاه به فضای محدود این دستگاه‌ها دقت کنید. یعنی فضای Flash دستگاه شما بسیار براتون حیاتی خواهد بود. یعنی روی این دستگاهی که من خریدم و ۴ مگ بیشتر Flash نداشت من فقط و فقط حدود ۶۴۰ کیلو بایت فضا خالی داشتم. هنگامی که میخواستم بسیاری از پکیج‌ها رو نصب کنم با مشکل جا مواجه میشدم. پیشنهاد اینه که دستگاه شما حداقل ۸ مگ Flash داشته باشه. اما اگه دستگاه USB داشته باشه میشه بخش‌های از سیستم عامل رو به اون منتقل کرد و پکیج‌ها روی یک حافظه خارجی نصب بشن. پس دقت کنید که دستگاه که میخرید یا بالای ۴ مگ Flash داشته باشه و یا از USB پشتیبانی کنه.

چهارمین نکته اینکه توی این سیستم عامل از lua بسیار استفاده شده. این اواخر lua یکی از زبان‌های اسکریپی مورد علاقه من روی دستگاه‌های کم قدرت تبدیل شده و دیدنش اینجا باعث خوشحالیه. جالبه که بدونید کل واسط کاربری وب این روتر بوسیله lua توسعه پیدا کرده.

پنجمین نکته اینه که شما می‌تونید این توزیع رو به شکل تقریبا راحتی برای خودتون اختصاصی سازی کنید و تنها یه زیر مجموعه از توزیع اصلی رو استفاده کنید که این هم مزیت به حساب می‌آد.

همین!

QR Code

اینم یه تجربه پراکنده دیگه!

همه ما با مفهوم QR Code کم و بیش آشنا هستیم. یک نوع بارکد دو بعدی هست که درون خودش اطلاعاتی رو مخفی می‌کنه. استانداردهای متفاوتی هم داره. نسخه‌های متفاوتی هم داره. همچنین افزونگی اطلاعات هم توش در نظر گرفته شده که میشه در صورت خراب شدن QR Code اون رو تا حدی پوشش داد.

بعد از این مقدمه کوتاه باید بگم که توی یکی از کارهایی که من انجام میدادم نیاز داشتم که یک کتابخانه بیاد و برام متن‌هایی رو که از سمت سرور برای من ارسال میشه رو تبدیل به QR Code و اونها یا چاپ کنه یا نمایش بده! بعد از یه جستجوی ساده پیدا کردم که کتابخانه‌ای وجود داره به اسم libqrencode که این کار رو انجام میده. تنها کافیه که کد رو کامپایل کنید و اون رو در کنار برنامتون قرار بدید. و تقریبا هر چیزی رو تبدیل به QR Code کنید!

همچنین باید بگم که این کد رو میشه توی زبان‌های دیگه هم مورد استفاده قرار داد.

راه اندازی QR Code در فدورا و یک نمونه کد ساده

تنهای کاری که توی فدورا باید بکنید اینه که



		

رو نصب کنید.
نمونه کد استفاده از این کتابخانه هم ساده است:



		

همین!
پ.ن: نتیجه کار هم در عکس این پست قابل مشاهده است.