среда, 25 декабря 2013 г.

LockLib update

Обновился LockLib на GitHub: https://github.com/coolsoftware/LockLib.

1. Классы VLock, VRWLock, VLockPtr, VReadLockPtr, VWriteLockPtr теперь "uncopyable", то есть их нельзя скопировать (см. Листинг 1: Ошибка 1 и Ошибка 2). Запрет на копирование осуществляется путем наследования этих классов от VUncopyable. При компиляции кода, содержащего запрещенное копирование, будет выдано сообщение ошибке:

VLock.h(62): error C2248: 'VUncopyable::VUncopyable' : cannot access private member declared in class 'VUncopyable'

2. Конструктор класса VRWLock объявлен с ключевым словом explicit для того, чтобы исключить неявное создание экземпляра этого класса при вызове функции (см. Листинг 1: Ошибка 3). При компиляции кода, содержащего такое неявное создание VRWLock, будет выдано сообщение об ошибке:

TestLock.cpp(184): error C2664: 'RWFunc' : cannot convert parameter 1 from 'int' to 'const VRWLock &'
          Reason: cannot convert from 'int' to 'const VRWLock'
          Constructor for class 'VRWLock' is declared 'explicit'

Листинг. 1.

  1. void RWFunc(const VRWLock&)
  2. {
  3.     //do something here
  4.     //...
  5.     
  6. VLock lock1;
  7. VLock lock2 = lock1; //Ошибка 1
  8. VRWLock rwlock1;
  9. VRWLock rwlock2 = rwlock1; //Ошибка 2
  10. RWFunc(1); //Ошибка 3
  11.      

===
Перепечатка материалов блога разрешается с обязательной ссылкой на blog.coolsoftware.ru

четверг, 19 декабря 2013 г.

LockLib

LockLib это набор классов для организации доступа к разделяемым ресурсам в программе на C++ под Windows.
Исходники доступны на GitHub: https://github.com/coolsoftware/LockLib.

class VLock


Класс VLock используется как альтернатива CRITICAL_SECTION (на самом деле это "обертка" над CRITICAL_SECTION).

void Lock(int lPosition, volatile LONG * lpThreadLock = NULL)


Блокировка ресурса для монопольного использования. Если ресурс уже кем-то заблокирован, то происходит ожидание когда ресурс снова станет свободен и его удастся заблокировать.

Параметр lPosition служит для идентификации места вызова метода Lock и может использоваться при отладке.

Необязательный параметр lpThreadLock служит для подсчета вызовов метода Lock в текущем потоке. Подробности смотрите ниже в разделе посвященном lpThreadLock.

void Unlock(volatile LONG * lpThreadLock = NULL)


Снятие блокировки.

static void OutputDebugLocks()


При отладке и оптимизации приложений иногда нужно видеть список всех существующих блокировок и статистику по ним: сколько в данный момент активных блокировок, в каком месте они заблокированы. Посмотреть такую статистику можно вызвав OutputDebugLocks. Эта статистика доступна в Debug-версии приложении, когда объявлен _DEBUG, или когда объявлен макрос DEBUG_LOCK.

volatile LONG * lpThreadLock


Проблема с блокировками в много-поточном приложении связана с тем, что поток, который установил блокировку, может быть остановлен с помощью TerminateThread. В этом случае Unlock не будет вызван никогда и блокировка ресурса "повиснет", а другие потоки, которые попытаются заблокировать этот ресурс, также "повиснут".
Чтобы разрулить эту ситуацию, необходимо вести подсчет блокировок для каждого потока и вызывать Unlock после TerminateThread.

  1. VLock lock;
  2.  
  3. unsigned int __stdcall LockThreadProc(void * lpParam)
  4. {
  5.     lock.Lock(1, reinterpret_cast<volatile LONG *>(lpParam)); //lock resource
  6.  
  7.     //do something here
  8.  
  9.     lock.Unlock( reinterpret_cast<volatile LONG *>(lpParam)); //unlock resource
  10.  
  11.     //contuinue working
  12.  
  13.     return 0;
  14. }
  15.  
  16. void main(int argc, char* argv[])
  17. {
  18.     volatile LONG lThreadLock = 0; //initialize with zero
  19.     //create thread
  20.     HANDLE hThread = (HANDLE)_beginthreadex(NULL, 0, LockThreadProc, (void*)&lThreadLock, CREATE_SUSPENDED, NULL);
  21.     //start thread
  22.     ::ResumeThread(hThread);
  23.     //wait for 5 seconds
  24.     if(::WaitForSingleObject(hThread, 5000) == WAIT_TIMEOUT)
  25.     {
  26.         //terminate thread
  27.         ::TerminateThread(hThread, 0);
  28.         //release lock
  29.         lock.Unlock(&lThreadLock);
  30.     }
  31.     //close thread handle
  32.     ::CloseHandle(hThread);
  33. }

class VRWLock


Класс VRWLock позволяет реализовать стратегию блокировки ресурса "один писатель - много читателей".

VRWLock(LONG lMaxReaders = 65535, DWORD dwSpinCount = 1000, DWORD dwTimeout = 5)


Конструктор класса VRWLock имеет следующие параметры:

lMaxReaders - максимальное количество читателей, которые могут одновременно читать ресурс (не должно быть = 0!). Значение по-умолчанию 65535.

dwSpinCount - количество неудачных попыток блокировки ресурса (занятого), после которых происходит переключение контекста с небольшой задержкой, определяемой параметром dwTimeout (в миллисекундах).

void LockRead(int lPosition, volatile LONG * lpThreadLock = NULL)


Блокировка ресурса читателем. Если ресурс занят писателем или превышено максимальное количество читателей, то происходит ожидание освобождения ресурса, когда удастся его заблокировать. Смотрите описание параметров в описании метода Lock класса VLock.

void LockWrite(int lPosition, volatile LONG * lpThreadLock = NULL)


Блокировка ресурса писателем. Если ресурс занят писателем или одним или несколькими читателями, то происходит ожидание освобождения ресурса, когда удастся его заблокировать. Смотрите описание параметров в описании метода Lock класса VLock.

void ReLockWrite(int lPosition, volatile LONG * lpThreadLock = NULL)


Изменение статуса блокировки с читателя на писателя. Если ресурс не занят ни читателем ни писателем, то действие функции аналогично LockWrite (блокировка писателем). Если ресурс занят одним читателем, то происходит переключение его статуса с читателя на писателя. Если ресурс занят писателем или более чем одним читателем, то происходит ожидание момента, когда ресурс будет не занят писателями и занят не более чем одним читателем. Смотрите описание параметров в описании метода Lock класса VLock.

void Unlock(volatile LONG * lpThreadLock = NULL)


Снятие блокировки.

static void OutputDebugLocks()


Вывод статистики блокировок (см. выше описание одноименного метода для класса VLock).

class VLockPtr, class VReadLockPtr, class VWriteLockPtr


Есть такая идиома: RAII - захват ресурса есть инициализация. Суть ее в следующем: создается класс-обертка такой, что в конструкторе класса вызывается соответствующая функция блокировки ресурса, а в деструкторе блокировка снимается. Это удобно по двум причинам:
  1. Нет необходимости делать явный вызов Unlock (а это часто, как показывает практика, забывают сделать).
  2. В случае возбуждения исключения между вызовами Lock и Unlock ресурс может оказаться занят "навсегда". А при использования RAII, деструктор класса-обертки, а следовательно и Unlock, будет вызван и в случае исключительной ситуации.
VLockPtr - RAII класс-обертка над VLock.
VReadLockPtr - RAII класс-обертка над VRWLock::LockRead.
VWriteLockPtr - RAII класс-обертка над VRWLock::LockWrite.

  1. unsigned int __stdcall LockPtrThreadProc(void * lpParam)
  2. {
  3.     {
  4.         VLockPtr lockptr(&lock, 1, reinterpret_cast<volatile LONG *>(lpParam)); //lock resource
  5.  
  6.         //do something here
  7.  
  8.     } //unlock will be done here
  9.  
  10.     //contuinue working
  11.  
  12.     return 0;
  13. }

===
Перепечатка материалов блога разрешается с обязательной ссылкой на blog.coolsoftware.ru

четверг, 28 ноября 2013 г.

Failure during conversion to COFF: file invalid or corrupt

Вылезла сегодня с утра ошибка при компиляции любого проекта в  Visual Studio 2010:

LINK : fatal error LNK1123: failure during conversion to COFF: file invalid or corrupt

Установка в свойствах проекта Linker->Enable Incremental Linking значения NO (/INCREMENTAL:NO) на помогла.

Полез смотреть, что же поменялось за последнее время. Оказалось вечером с авто-обновлениями винды поставился .NET Framework 4.5.1. Он то и нагадил!

1. Снес .NET Framework 4.5.1. Visual Studio перестал запускаться.
2. Установил .NET 4.0. Visual Studio починился, все проекты стали компилироваться нормально.
3. Слетел Mysql .Net Connector. Переустановил. Причем, Repair не помог, сделал сперва Remove, потом Install.

===
Перепечатка материалов блога разрешается с обязательной ссылкой на blog.coolsoftware.ru

пятница, 26 июля 2013 г.

MySQL не видит my.ini

Понадобилось мне поднять max_connections в MySQL, который по-умолчанию был установлен инсталлером в C:\Program Files\MySQL\MySQL Server 5.6.
В этом каталоге лежит my-default.ini, который я переименовал в my.ini и прописал в нем max_connections=250. Перезапустил сервис MySQL - не работает! select @@max_connections возвращает 100. Не видит MySQL моего my.ini.
Полчаса потратил на поиски откуда же MySQL читает настройки. Поэтому и решил написать это сообщение здесь - вдруг кому-нибудь поможет и сэкономит время.


Оказывается сервис запускается с параметром --defaults-file="C:\ProgramData\MySQL\MySQL Server 5.6\my.ini". Вот, значит, где находится my.ini.

===
Перепечатка материалов блога разрешается с обязательной ссылкой на blog.coolsoftware.ru

суббота, 15 июня 2013 г.

PerlVCBuildScripts

Выложил на github perl-скрипты, которые я использую для автоматического изменения номера билда в проектах на Visual C++, а также генерации файлов xxx-build.txt с информацией о версии и контрольной суммой (MD5). Взять можно тут: https://github.com/coolsoftware/PerlVCBuildScripts

Использовать просто:

1) Нужно создать файл с информацией о билде (build-файл) в каталоге Release (где будет создан exe или dll). Например, мой проект называется HTTPGet, имя исполняемого (генерируемого) файла HTTPGet.exe, значит имя build-файла должно быть HTTPGet-build.txt. Вот как выглядит структура каталогов проекта:

HTTPGet \
  HTTPGet.sln
  HTTPGet.aspr
  Release \
    HTTPGet-build.txt
    HTTPGet.exe

Содержимое build-файла должно быть таким:

1.0.0.0
http://127.0.0.1/HTTPGet.exe
HTTPGet.exe
b9f2c07999dcafe9fe544a00521829c1

Первая строка - версия приложения (будет автоматически обновляться при сборке).
Вторая строка - URL для скачки последней версии.
Третья строка - имя файла.
Четвертая строка - MD5-подпись (будет автоматически обновляться при сборке).

Я использую build-файлы в функции авто-обновления в приложениях. Реализацию этой функции я выложу как-нибудь позже.

2) Нужно прописать в Pre-Build Event->Command Line вызов:

perl $(ProjectDir)..\incbuild.pl $(ProjectDir) $(Configuration)


а в Post-Build Event->Command Line прописать:

perl $(ProjectDir)..\makebuildinfo.pl $(TargetPath)


Если вы используете ASProtect для упаковки/защиты приложения, то можно прописать путь к вашему ASPR-проекту, чтобы ASProtect был вызван автоматически при сборке:

perl $(ProjectDir)..\makebuildinfo.pl $(TargetPath) $(ProjectDir)..\$(TargetName).aspr

===
Перепечатка материалов блога разрешается с обязательной ссылкой на blog.coolsoftware.ru

понедельник, 29 апреля 2013 г.

Сборка boost в Visual Studio 2010

1. Скачиваем boost с официального сайта http://www.boost.org/. Текущая версия на момент написания поста: 1.53.0.

2. Распаковываем архив на диск (я распаковал в c:\boost\boost_1_53_0).

3. Запускаем Visual Studio Command Prompt (2010).

4. Переходим в каталог boost и собираем bjam запустив bootstrap.bat.

5. Собираем boost командой: bjam toolset=msvc-10.0 variant=debug,release threading=multi link=static runtime-link=static


6. Пьем кофе... Ждем завершения...


7. Выполняем шаги 5,6 еще разок с другой командой: bjam toolset=msvc-10.0 variant=debug,release threading=multi link=static

8. Прописываем в Visual Studio пути к бусту. Для этого открываем проект C++ (либо создаем новый), открываем вкладку Property Manager, выбираем Microsoft.Cpp.Win32.user в Debug | Win32 и Release | Win32 и в Property Pages->VC++ Directories добавляем в Include Directories C:\boost\boost_1_53_0, а в Library Directories C:\boost\boost_1_53_0\stage\lib


===
Перепечатка материалов блога разрешается с обязательной ссылкой на blog.coolsoftware.ru

воскресенье, 24 марта 2013 г.

C++: обработка исключений

В C++ под Windows есть два способа обработки исключений - традиционный для C++ с пом. try/catch и т.н. структурная обработка исключений или SEH. Основная разница между ними в том, что с помощью try/catch можно реализовывать для разных типов исключений C++ различную реакцию (поведение), а структурная обработка  исключений способна отловить ситуации, которые с пом. catch не ловятся, например, Divide By Zero или Access Violation. SEH - это механизм, предоставляемый операционной системой и на самом деле try/catch реализуется также через него.

Одновременно в одной и той же процедуре использовать оба метода обработки исключений (try/catch и SEH) нельзя. Но можно использовать в одной процедуре try/cath, а в другой SEH.

Оба метода обработки исключений не идеальны и имеют свои достоинства и недостатки.

Основной недостаток try/catch заключается в том, что он не позволяет отловить и обработать все ошибки, а также не показывает место возникновения ошибки. Впрочем, в книжке Джеффри Рихтера (Windows для профессионалов. Создание эффективных Win32-пpилoжeний с учетом специфики 64-разрядной версии Windows) приводится способ перехвата структурных исключений:

1. Нужно создать класс CSE для идентификации структурного исключения:

  1. #include <eh.h>
  2. #include <stdexcept>
  3.  
  4. class CSE
  5. {
  6. public:
  7.     static void MapSEToCE(){ _set_se_translator(TranslateSEToCE); }
  8.     operator DWORD() { return (m_er.ExceptionCode);}
  9.  
  10. private:
  11.     CSE(PEXCEPTION_POINTERS pep)
  12.     {
  13.         m_er = *pep->ExceptionRecord;
  14.         m_context = *pep->ContextRecord;
  15.         if (m_er.ExceptionCode == 0xe06d7363)
  16.         {
  17.             printf("C++ Exception: Code 0x%x, Address 0x%x\n", m_er.ExceptionCode, m_er.ExceptionAddress);
  18.         }
  19.         else
  20.         {
  21.             printf("SEH Exception: Code 0x%x, Address 0x%x\n", m_er.ExceptionCode, m_er.ExceptionAddress);
  22.         }
  23.     }
  24.     static void _cdecl TranslateSEToCE(UINT deEC,PEXCEPTION_POINTERS pep)
  25.     {
  26.         throw CSE(pep);
  27.     }
  28.  
  29. private:
  30.     EXCEPTION_RECORD m_er;
  31.     CONTEXT m_context;
  32. };

2. Для каждого потока надо вызвать один раз CSE::MapSEToCE(), после чего можно обрабатывать структурные исключения как обычные исключения C++:

  1. int DivideByZero()
  2. {
  3.     int x = 100;
  4.     int y = 0;
  5.     return x / y;
  6. }
  7.  
  8. void ThrowException()
  9. {
  10.     throw std::out_of_range("out_of_range");
  11. }
  12.  
  13. void TestCSE()
  14. {
  15.  
  16.     CSE::MapSEToCE();
  17.     try
  18.     {
  19.         //DivideByZero();
  20.         ThrowException();
  21.     }
  22.     catch (CSE se)
  23.     {
  24.         switch(se)
  25.         {
  26.             case EXCEPTION_INT_DIVIDE_BY_ZERO:
  27.                 printf("Divide by zero!\n");
  28.                 break;
  29.         }
  30.     }
  31.     catch (std::exception & e)
  32.     {
  33.         printf("std::exception: %s\n", e.what());
  34.     }
  35. }

3. Компилировать нужно с опцией /EHa. В противном случае _set_se_translator не сработает и исключения SEH с помощью catch (...) отлавливаться не будут, а компилятор (Visual Studio 2010) выдаст следующее предупреждение:
warning C4535: calling _set_se_translator() requires /EHa


SEH способен отлавливать все исключения и, что важно на мой взгляд, показывать место возникновения ошибки (ExceptionAddress), а также позволяет продолжить выполнение программы с прерванного места. Но, к сожалению, при возникновении исключения C++ в обработчике (фильтре) SEH документированными способами нельзя узнать тип исключения C++ и получить его текст ошибки. Ниже описан недокументированный способ.

Все исключения C++ в фильтре SEH имеют один и тот же код 0xe06d7363. При этом поле NumberParameters содержит 3 (для 32-разрядных приложений), ExceptionInformation[1] указывает на объект-исключение C++, а ExceptionInformation[2] указывает на структуру _ThrowInfo (ExceptionInformation[0] не интересно). _ThrowInfo относится к так называемым Predefined C++ Types. Для использования предопределенных типов не нужно подключать никаких .h файлов. При редактировании IDE Visual Studio подчеркивает их красным цветом и пишет: Error: identifier "_ThrowInfo" is undefined. Но при этом все успешно компилируется и выполняется :-)

Ниже приведен SEH-фильтр, который способен анализировать исключения C++ и выводить информацию об исключении (what()). Стоит отметить, однако, что хотя эта процедура успешно работает в Visual Studio 2010, но нет никаких гарантий, что в будущем Microsoft не поменяет структуру _ThrowInfo.

  1. #include <eh.h>
  2. #include <stdexcept>
  3.  
  4. LONG ExceptionFilter(PEXCEPTION_POINTERS pEP, const char * file, const char * function, int line)
  5. {
  6.     PEXCEPTION_RECORD pER = pEP->ExceptionRecord;
  7.     if (pER->ExceptionCode == 0xe06d7363)
  8.     {
  9.         if (pER->NumberParameters == 3)
  10.         {
  11.             const _ThrowInfo * pThrowInfo = (_ThrowInfo*)pER->ExceptionInformation[2];
  12.             if (pThrowInfo != NULL)
  13.             {
  14.                 const _CatchableTypeArray * pTypeArray = pThrowInfo->pCatchableTypeArray;
  15.                 if (pTypeArray != NULL)
  16.                 {
  17.                     const _TypeDescriptor * pExceptionDesc = (_TypeDescriptor*)&typeid(std::exception);  
  18.                     for (int i = 0; i < pTypeArray->nCatchableTypes; i++)
  19.                     {
  20.                         const _CatchableType * pCatchableType = pTypeArray->arrayOfCatchableTypes[i];
  21.                         if (pCatchableType != NULL && pExceptionDesc == pCatchableType->pType)
  22.                         {
  23.                             std::exception * e = (std::exception*)pER->ExceptionInformation[1];
  24.                             printf("File: %s\nFunction: %s\nLine: %i\nC++ Exception: %s\n", file, function, line, e->what());
  25.                             return EXCEPTION_EXECUTE_HANDLER;
  26.                         }
  27.                     }
  28.                 }
  29.             }
  30.         }
  31.         printf("File: %s\nFunction: %s\nLine: %i\nC++ Exception (code 0x%x at 0x%x)\n", file, function, line, pER->ExceptionCode, pER->ExceptionAddress);
  32.         return EXCEPTION_EXECUTE_HANDLER;
  33.     }
  34.     else
  35.     {
  36.         printf("File: %s\nFunction: %s\nLine: %i\nSEH Exception (code 0x%x at 0x%x)\n", file, function, line, pER->ExceptionCode, pER->ExceptionAddress);
  37.         return EXCEPTION_EXECUTE_HANDLER;
  38.     }
  39. }
  40.  
  41. int main(int argc, char* argv[])
  42. {
  43.     __try
  44.     {
  45.         //DivideByZero();
  46.         ThrowException();
  47.     }
  48.     __except(ExceptionFilter(GetExceptionInformation(), __FILE__, __FUNCTION__, __LINE__))
  49.     {
  50.         //handle exception here
  51.     }
  52.  
  53.     return 0;
  54. }

В заключении хочу отметить, что ExceptionAddress для исключений C++ не имеет особого смысла, потому что указывает всегда на один и тот же адрес внутри функции __CxxThrowException(), которая выполняется каждый раз, когда вызывается исключение с помощью throw.

===
Перепечатка материалов блога разрешается с обязательной ссылкой на blog.coolsoftware.ru

суббота, 23 марта 2013 г.

C++: конструкторы и виртуальные функции

Как говорится, век - живи, век учись.

Захотелось мне вынести инициализацию данных класса в виртуальную функцию init(), с тем, чтобы классы-наследники могли переопределить ее и добавить в инициализацию что-то своё. Примерно так:

  1. class C1
  2. {
  3. protected:
  4.     int m_count;
  5.     virtual void init() { m_count = 1; }
  6. public:
  7.     C1() { init(); }
  8.     inline int count() const { return m_count; }
  9. };
  10.  
  11. class C2: public C1
  12. {
  13. protected:
  14.     virtual void init() { C1::init(); m_count = m_count+1; }
  15. public:
  16.     C2() : C1() {}
  17. };
  18.  
  19. int _tmain(int argc, _TCHAR* argv[])
  20. {
  21.     C1 c1;
  22.     _tprintf(_T("C1 count: %i\n"), c1.count());
  23.     C2 c2;
  24.     _tprintf(_T("C2 count: %i\n"), c2.count());
  25.     return 0;
  26. }

Результат получается такой:

C1 count: 1
C2 count: 1

Опа! Оказывается переопределенная в классе C2 функция init() не вызывается. Получается, что если вызвать из конструктора класса виртуальную функцию этого же класса, то обычный метод вызова виртуальных функций через vtable задействован не будет - функция будет вызвана как если бы они была не-виртуальной. По-моему такое поведение не выглядит логичным, поэтому от вызова виртуальных функций из конструктора лучше отказаться.

PS. Из деструктора вызывать виртуальные функции тоже не следует.

По поводу того, что при вызове виртуальных функций из конструктора (и деструктора) не используется vtable, - тут я, похоже, был не прав. vtable используется, только в конструкторе класса C1 (см. пример) используется vtable класса C1, а не класса-потомка C2 - вот в чем дело. Аналогично, в деструкторе C1 также используется vtable класса С1.

===
Перепечатка материалов блога разрешается с обязательной ссылкой на blog.coolsoftware.ru

суббота, 12 января 2013 г.

Парсеры

Связь событийного парсера, типа SAX-парсера, с вызывающим приложением обычно осуществляется следующим образом: нужно создать экземпляр класса, реализующего Callback-интерфейс и сообщить о нем парсеру:

class MyCallback : public Callback
{
    virtual void doc_start(printf("Start of document"); }
    virtual void doc_end() printf("End of document"); }

    // ...
};

MyCallback obj;
Parser parser;
parser.parse("c:\\test.xml", &obj);


Вся "сила" событийного SAX-парсера заключается в том, что нет необходимости держать в памяти весь XML-документ (или его DOM-модель).

А как может выглядеть парсер, который бы также не требовал загрузки всего документа в память, на не-объектно ориентированном языке программирования, например, на C ? Оказывается это может выглядеть достаточно просто и элегантно:

struct ParseStatus
{
    int currentPos; //current position in file
    int tagName[MAX_TAG_NAME_SIZE]; //current tag name

    // ...
};

ParseStatus status;
if (parse_begin("c:\\test.xml", &status))
{
    while (parse_next_tag(&status))
    {
        printf("Next tag: %s", status.tagName);
    }
}

===
Перепечатка материалов блога разрешается с обязательной ссылкой на blog.coolsoftware.ru