Edit1->Text에 "ABC"가 있다면 이 삽ㄱ들을 0x41, 0x42, 0x43으로 변수에 넣고 싶으시다는 말씀이라면...이렇게 테스트 해보세요.
{
    BYTE hexa[3];
    for(int i=0; i<3; i++)
    {
        hexa[i] = Edit1->Text.c_str()[i];
    }
}

이렇게 하면 char(서수) 형으로 그냥 대입됩니다...
hexa 라는 변수의 타입은 int 혹은 short를 써도 됩니다.