아래처럼 해보세요..
오래되서 정확하진 않지만 이렇게 처리했던 기억이 ...

[Builder DLL] ---------------
// 참고 : extern "C" __declspec(dllexport)는 생략함

HWND g_hAppWnd = NULL;
void Open(HWND hWnd)
{
    g_hAppWnd = Application->Handle;
    Application->Handle = hWnd;
}

void Close()
{
    Application->Handle = g_hAppWnd;
}

[MFC] --------------

DLL_Open(m_hWnd); // m_hWnd 는 MainFrame의 m_hWnd값입니다
....
DLL_Close()