git.maemo.org Git - qemu/blob - target-mips/op_helper.c

   1 /*
   2  *  MIPS emulation helpers for qemu.
   3  *
   4  *  Copyright (c) 2004-2005 Jocelyn Mayer
   5  *
   6  * This library is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2 of the License, or (at your option) any later version.
  10  *
  11  * This library is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with this library; if not, write to the Free Software
  18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  19  */
  20 #include <stdlib.h>
  21 #include "exec.h"
  22
  23 #include "host-utils.h"
  24
  25 #ifdef __s390__
  26 # define GETPC() ((void*)((unsigned long)__builtin_return_address(0) & 0x7fffffffUL))
  27 #else
  28 # define GETPC() (__builtin_return_address(0))
  29 #endif
  30
  31 /*****************************************************************************/
  32 /* Exceptions processing helpers */
  33
  34 void do_raise_exception_err (uint32_t exception, int error_code)
  35 {
  36 #if 1
  37     if (logfile && exception < 0x100)
  38         fprintf(logfile, "%s: %d %d\n", __func__, exception, error_code);
  39 #endif
  40     env->exception_index = exception;
  41     env->error_code = error_code;
  42     T0 = 0;
  43     cpu_loop_exit();
  44 }
  45
  46 void do_raise_exception (uint32_t exception)
  47 {
  48     do_raise_exception_err(exception, 0);
  49 }
  50
  51 void do_restore_state (void *pc_ptr)
  52 {
  53   TranslationBlock *tb;
  54   unsigned long pc = (unsigned long) pc_ptr;
  55
  56   tb = tb_find_pc (pc);
  57   cpu_restore_state (tb, env, pc, NULL);
  58 }
  59
  60 void do_raise_exception_direct_err (uint32_t exception, int error_code)
  61 {
  62     do_restore_state (GETPC ());
  63     do_raise_exception_err (exception, error_code);
  64 }
  65
  66 void do_raise_exception_direct (uint32_t exception)
  67 {
  68     do_raise_exception_direct_err (exception, 0);
  69 }
  70
  71 #if defined(TARGET_MIPS64)
  72 #if TARGET_LONG_BITS > HOST_LONG_BITS
  73 /* Those might call libgcc functions.  */
  74 void do_dsll (void)
  75 {
  76     T0 = T0 << T1;
  77 }
  78
  79 void do_dsll32 (void)
  80 {
  81     T0 = T0 << (T1 + 32);
  82 }
  83
  84 void do_dsra (void)
  85 {
  86     T0 = (int64_t)T0 >> T1;
  87 }
  88
  89 void do_dsra32 (void)
  90 {
  91     T0 = (int64_t)T0 >> (T1 + 32);
  92 }
  93
  94 void do_dsrl (void)
  95 {
  96     T0 = T0 >> T1;
  97 }
  98
  99 void do_dsrl32 (void)
 100 {
 101     T0 = T0 >> (T1 + 32);
 102 }
 103
 104 void do_drotr (void)
 105 {
 106     target_ulong tmp;
 107
 108     if (T1) {
 109        tmp = T0 << (0x40 - T1);
 110        T0 = (T0 >> T1) | tmp;
 111     }
 112 }
 113
 114 void do_drotr32 (void)
 115 {
 116     target_ulong tmp;
 117
 118     if (T1) {
 119        tmp = T0 << (0x40 - (32 + T1));
 120        T0 = (T0 >> (32 + T1)) | tmp;
 121     }
 122 }
 123
 124 void do_dsllv (void)
 125 {
 126     T0 = T1 << (T0 & 0x3F);
 127 }
 128
 129 void do_dsrav (void)
 130 {
 131     T0 = (int64_t)T1 >> (T0 & 0x3F);
 132 }
 133
 134 void do_dsrlv (void)
 135 {
 136     T0 = T1 >> (T0 & 0x3F);
 137 }
 138
 139 void do_drotrv (void)
 140 {
 141     target_ulong tmp;
 142
 143     T0 &= 0x3F;
 144     if (T0) {
 145        tmp = T1 << (0x40 - T0);
 146        T0 = (T1 >> T0) | tmp;
 147     } else
 148        T0 = T1;
 149 }
 150
 151 void do_dclo (void)
 152 {
 153     T0 = clo64(T0);
 154 }
 155
 156 void do_dclz (void)
 157 {
 158     T0 = clz64(T0);
 159 }
 160
 161 #endif /* TARGET_LONG_BITS > HOST_LONG_BITS */
 162 #endif /* TARGET_MIPS64 */
 163
 164 /* 64 bits arithmetic for 32 bits hosts */
 165 #if TARGET_LONG_BITS > HOST_LONG_BITS
 166 static always_inline uint64_t get_HILO (void)
 167 {
 168     return (env->HI[0][env->current_tc] << 32) | (uint32_t)env->LO[0][env->current_tc];
 169 }
 170
 171 static always_inline void set_HILO (uint64_t HILO)
 172 {
 173     env->LO[0][env->current_tc] = (int32_t)HILO;
 174     env->HI[0][env->current_tc] = (int32_t)(HILO >> 32);
 175 }
 176
 177 void do_mult (void)
 178 {
 179     set_HILO((int64_t)(int32_t)T0 * (int64_t)(int32_t)T1);
 180 }
 181
 182 void do_multu (void)
 183 {
 184     set_HILO((uint64_t)(uint32_t)T0 * (uint64_t)(uint32_t)T1);
 185 }
 186
 187 void do_madd (void)
 188 {
 189     int64_t tmp;
 190
 191     tmp = ((int64_t)(int32_t)T0 * (int64_t)(int32_t)T1);
 192     set_HILO((int64_t)get_HILO() + tmp);
 193 }
 194
 195 void do_maddu (void)
 196 {
 197     uint64_t tmp;
 198
 199     tmp = ((uint64_t)(uint32_t)T0 * (uint64_t)(uint32_t)T1);
 200     set_HILO(get_HILO() + tmp);
 201 }
 202
 203 void do_msub (void)
 204 {
 205     int64_t tmp;
 206
 207     tmp = ((int64_t)(int32_t)T0 * (int64_t)(int32_t)T1);
 208     set_HILO((int64_t)get_HILO() - tmp);
 209 }
 210
 211 void do_msubu (void)
 212 {
 213     uint64_t tmp;
 214
 215     tmp = ((uint64_t)(uint32_t)T0 * (uint64_t)(uint32_t)T1);
 216     set_HILO(get_HILO() - tmp);
 217 }
 218 #endif
 219
 220 #if HOST_LONG_BITS < 64
 221 void do_div (void)
 222 {
 223     /* 64bit datatypes because we may see overflow/underflow. */
 224     if (T1 != 0) {
 225         env->LO[0][env->current_tc] = (int32_t)((int64_t)(int32_t)T0 / (int32_t)T1);
 226         env->HI[0][env->current_tc] = (int32_t)((int64_t)(int32_t)T0 % (int32_t)T1);
 227     }
 228 }
 229 #endif
 230
 231 #if defined(TARGET_MIPS64)
 232 void do_ddiv (void)
 233 {
 234     if (T1 != 0) {
 235         lldiv_t res = lldiv((int64_t)T0, (int64_t)T1);
 236         env->LO[0][env->current_tc] = res.quot;
 237         env->HI[0][env->current_tc] = res.rem;
 238     }
 239 }
 240
 241 #if TARGET_LONG_BITS > HOST_LONG_BITS
 242 void do_ddivu (void)
 243 {
 244     if (T1 != 0) {
 245         env->LO[0][env->current_tc] = T0 / T1;
 246         env->HI[0][env->current_tc] = T0 % T1;
 247     }
 248 }
 249 #endif
 250 #endif /* TARGET_MIPS64 */
 251
 252 #if defined(CONFIG_USER_ONLY)
 253 void do_mfc0_random (void)
 254 {
 255     cpu_abort(env, "mfc0 random\n");
 256 }
 257
 258 void do_mfc0_count (void)
 259 {
 260     cpu_abort(env, "mfc0 count\n");
 261 }
 262
 263 void cpu_mips_store_count(CPUState *env, uint32_t value)
 264 {
 265     cpu_abort(env, "mtc0 count\n");
 266 }
 267
 268 void cpu_mips_store_compare(CPUState *env, uint32_t value)
 269 {
 270     cpu_abort(env, "mtc0 compare\n");
 271 }
 272
 273 void cpu_mips_start_count(CPUState *env)
 274 {
 275     cpu_abort(env, "start count\n");
 276 }
 277
 278 void cpu_mips_stop_count(CPUState *env)
 279 {
 280     cpu_abort(env, "stop count\n");
 281 }
 282
 283 void cpu_mips_update_irq(CPUState *env)
 284 {
 285     cpu_abort(env, "mtc0 status / mtc0 cause\n");
 286 }
 287
 288 void do_mtc0_status_debug(uint32_t old, uint32_t val)
 289 {
 290     cpu_abort(env, "mtc0 status debug\n");
 291 }
 292
 293 void do_mtc0_status_irqraise_debug (void)
 294 {
 295     cpu_abort(env, "mtc0 status irqraise debug\n");
 296 }
 297
 298 void cpu_mips_tlb_flush (CPUState *env, int flush_global)
 299 {
 300     cpu_abort(env, "mips_tlb_flush\n");
 301 }
 302
 303 #else
 304
 305 /* CP0 helpers */
 306 void do_mfc0_random (void)
 307 {
 308     T0 = (int32_t)cpu_mips_get_random(env);
 309 }
 310
 311 void do_mfc0_count (void)
 312 {
 313     T0 = (int32_t)cpu_mips_get_count(env);
 314 }
 315
 316 void do_mtc0_status_debug(uint32_t old, uint32_t val)
 317 {
 318     fprintf(logfile, "Status %08x (%08x) => %08x (%08x) Cause %08x",
 319             old, old & env->CP0_Cause & CP0Ca_IP_mask,
 320             val, val & env->CP0_Cause & CP0Ca_IP_mask,
 321             env->CP0_Cause);
 322     switch (env->hflags & MIPS_HFLAG_KSU) {
 323     case MIPS_HFLAG_UM: fputs(", UM\n", logfile); break;
 324     case MIPS_HFLAG_SM: fputs(", SM\n", logfile); break;
 325     case MIPS_HFLAG_KM: fputs("\n", logfile); break;
 326     default: cpu_abort(env, "Invalid MMU mode!\n"); break;
 327     }
 328 }
 329
 330 void do_mtc0_status_irqraise_debug(void)
 331 {
 332     fprintf(logfile, "Raise pending IRQs\n");
 333 }
 334
 335 void fpu_handle_exception(void)
 336 {
 337 #ifdef CONFIG_SOFTFLOAT
 338     int flags = get_float_exception_flags(&env->fpu->fp_status);
 339     unsigned int cpuflags = 0, enable, cause = 0;
 340
 341     enable = GET_FP_ENABLE(env->fpu->fcr31);
 342
 343     /* determine current flags */
 344     if (flags & float_flag_invalid) {
 345         cpuflags |= FP_INVALID;
 346         cause |= FP_INVALID & enable;
 347     }
 348     if (flags & float_flag_divbyzero) {
 349         cpuflags |= FP_DIV0;
 350         cause |= FP_DIV0 & enable;
 351     }
 352     if (flags & float_flag_overflow) {
 353         cpuflags |= FP_OVERFLOW;
 354         cause |= FP_OVERFLOW & enable;
 355     }
 356     if (flags & float_flag_underflow) {
 357         cpuflags |= FP_UNDERFLOW;
 358         cause |= FP_UNDERFLOW & enable;
 359     }
 360     if (flags & float_flag_inexact) {
 361         cpuflags |= FP_INEXACT;
 362         cause |= FP_INEXACT & enable;
 363     }
 364     SET_FP_FLAGS(env->fpu->fcr31, cpuflags);
 365     SET_FP_CAUSE(env->fpu->fcr31, cause);
 366 #else
 367     SET_FP_FLAGS(env->fpu->fcr31, 0);
 368     SET_FP_CAUSE(env->fpu->fcr31, 0);
 369 #endif
 370 }
 371
 372 /* TLB management */
 373 void cpu_mips_tlb_flush (CPUState *env, int flush_global)
 374 {
 375     /* Flush qemu's TLB and discard all shadowed entries.  */
 376     tlb_flush (env, flush_global);
 377     env->tlb->tlb_in_use = env->tlb->nb_tlb;
 378 }
 379
 380 static void r4k_mips_tlb_flush_extra (CPUState *env, int first)
 381 {
 382     /* Discard entries from env->tlb[first] onwards.  */
 383     while (env->tlb->tlb_in_use > first) {
 384         r4k_invalidate_tlb(env, --env->tlb->tlb_in_use, 0);
 385     }
 386 }
 387
 388 static void r4k_fill_tlb (int idx)
 389 {
 390     r4k_tlb_t *tlb;
 391
 392     /* XXX: detect conflicting TLBs and raise a MCHECK exception when needed */
 393     tlb = &env->tlb->mmu.r4k.tlb[idx];
 394     tlb->VPN = env->CP0_EntryHi & (TARGET_PAGE_MASK << 1);
 395 #if defined(TARGET_MIPS64)
 396     tlb->VPN &= env->SEGMask;
 397 #endif
 398     tlb->ASID = env->CP0_EntryHi & 0xFF;
 399     tlb->PageMask = env->CP0_PageMask;
 400     tlb->G = env->CP0_EntryLo0 & env->CP0_EntryLo1 & 1;
 401     tlb->V0 = (env->CP0_EntryLo0 & 2) != 0;
 402     tlb->D0 = (env->CP0_EntryLo0 & 4) != 0;
 403     tlb->C0 = (env->CP0_EntryLo0 >> 3) & 0x7;
 404     tlb->PFN[0] = (env->CP0_EntryLo0 >> 6) << 12;
 405     tlb->V1 = (env->CP0_EntryLo1 & 2) != 0;
 406     tlb->D1 = (env->CP0_EntryLo1 & 4) != 0;
 407     tlb->C1 = (env->CP0_EntryLo1 >> 3) & 0x7;
 408     tlb->PFN[1] = (env->CP0_EntryLo1 >> 6) << 12;
 409 }
 410
 411 void r4k_do_tlbwi (void)
 412 {
 413     /* Discard cached TLB entries.  We could avoid doing this if the
 414        tlbwi is just upgrading access permissions on the current entry;
 415        that might be a further win.  */
 416     r4k_mips_tlb_flush_extra (env, env->tlb->nb_tlb);
 417
 418     r4k_invalidate_tlb(env, env->CP0_Index % env->tlb->nb_tlb, 0);
 419     r4k_fill_tlb(env->CP0_Index % env->tlb->nb_tlb);
 420 }
 421
 422 void r4k_do_tlbwr (void)
 423 {
 424     int r = cpu_mips_get_random(env);
 425
 426     r4k_invalidate_tlb(env, r, 1);
 427     r4k_fill_tlb(r);
 428 }
 429
 430 void r4k_do_tlbp (void)
 431 {
 432     r4k_tlb_t *tlb;
 433     target_ulong mask;
 434     target_ulong tag;
 435     target_ulong VPN;
 436     uint8_t ASID;
 437     int i;
 438
 439     ASID = env->CP0_EntryHi & 0xFF;
 440     for (i = 0; i < env->tlb->nb_tlb; i++) {
 441         tlb = &env->tlb->mmu.r4k.tlb[i];
 442         /* 1k pages are not supported. */
 443         mask = tlb->PageMask | ~(TARGET_PAGE_MASK << 1);
 444         tag = env->CP0_EntryHi & ~mask;
 445         VPN = tlb->VPN & ~mask;
 446         /* Check ASID, virtual page number & size */
 447         if ((tlb->G == 1 || tlb->ASID == ASID) && VPN == tag) {
 448             /* TLB match */
 449             env->CP0_Index = i;
 450             break;
 451         }
 452     }
 453     if (i == env->tlb->nb_tlb) {
 454         /* No match.  Discard any shadow entries, if any of them match.  */
 455         for (i = env->tlb->nb_tlb; i < env->tlb->tlb_in_use; i++) {
 456             tlb = &env->tlb->mmu.r4k.tlb[i];
 457             /* 1k pages are not supported. */
 458             mask = tlb->PageMask | ~(TARGET_PAGE_MASK << 1);
 459             tag = env->CP0_EntryHi & ~mask;
 460             VPN = tlb->VPN & ~mask;
 461             /* Check ASID, virtual page number & size */
 462             if ((tlb->G == 1 || tlb->ASID == ASID) && VPN == tag) {
 463                 r4k_mips_tlb_flush_extra (env, i);
 464                 break;
 465             }
 466         }
 467
 468         env->CP0_Index |= 0x80000000;
 469     }
 470 }
 471
 472 void r4k_do_tlbr (void)
 473 {
 474     r4k_tlb_t *tlb;
 475     uint8_t ASID;
 476
 477     ASID = env->CP0_EntryHi & 0xFF;
 478     tlb = &env->tlb->mmu.r4k.tlb[env->CP0_Index % env->tlb->nb_tlb];
 479
 480     /* If this will change the current ASID, flush qemu's TLB.  */
 481     if (ASID != tlb->ASID)
 482         cpu_mips_tlb_flush (env, 1);
 483
 484     r4k_mips_tlb_flush_extra(env, env->tlb->nb_tlb);
 485
 486     env->CP0_EntryHi = tlb->VPN | tlb->ASID;
 487     env->CP0_PageMask = tlb->PageMask;
 488     env->CP0_EntryLo0 = tlb->G | (tlb->V0 << 1) | (tlb->D0 << 2) |
 489                         (tlb->C0 << 3) | (tlb->PFN[0] >> 6);
 490     env->CP0_EntryLo1 = tlb->G | (tlb->V1 << 1) | (tlb->D1 << 2) |
 491                         (tlb->C1 << 3) | (tlb->PFN[1] >> 6);
 492 }
 493
 494 #endif /* !CONFIG_USER_ONLY */
 495
 496 void dump_ldst (const unsigned char *func)
 497 {
 498     if (loglevel)
 499         fprintf(logfile, "%s => " TARGET_FMT_lx " " TARGET_FMT_lx "\n", __func__, T0, T1);
 500 }
 501
 502 void dump_sc (void)
 503 {
 504     if (loglevel) {
 505         fprintf(logfile, "%s " TARGET_FMT_lx " at " TARGET_FMT_lx " (" TARGET_FMT_lx ")\n", __func__,
 506                 T1, T0, env->CP0_LLAddr);
 507     }
 508 }
 509
 510 void debug_pre_eret (void)
 511 {
 512     fprintf(logfile, "ERET: PC " TARGET_FMT_lx " EPC " TARGET_FMT_lx,
 513             env->PC[env->current_tc], env->CP0_EPC);
 514     if (env->CP0_Status & (1 << CP0St_ERL))
 515         fprintf(logfile, " ErrorEPC " TARGET_FMT_lx, env->CP0_ErrorEPC);
 516     if (env->hflags & MIPS_HFLAG_DM)
 517         fprintf(logfile, " DEPC " TARGET_FMT_lx, env->CP0_DEPC);
 518     fputs("\n", logfile);
 519 }
 520
 521 void debug_post_eret (void)
 522 {
 523     fprintf(logfile, "  =>  PC " TARGET_FMT_lx " EPC " TARGET_FMT_lx,
 524             env->PC[env->current_tc], env->CP0_EPC);
 525     if (env->CP0_Status & (1 << CP0St_ERL))
 526         fprintf(logfile, " ErrorEPC " TARGET_FMT_lx, env->CP0_ErrorEPC);
 527     if (env->hflags & MIPS_HFLAG_DM)
 528         fprintf(logfile, " DEPC " TARGET_FMT_lx, env->CP0_DEPC);
 529     switch (env->hflags & MIPS_HFLAG_KSU) {
 530     case MIPS_HFLAG_UM: fputs(", UM\n", logfile); break;
 531     case MIPS_HFLAG_SM: fputs(", SM\n", logfile); break;
 532     case MIPS_HFLAG_KM: fputs("\n", logfile); break;
 533     default: cpu_abort(env, "Invalid MMU mode!\n"); break;
 534     }
 535 }
 536
 537 void do_pmon (int function)
 538 {
 539     function /= 2;
 540     switch (function) {
 541     case 2: /* TODO: char inbyte(int waitflag); */
 542         if (env->gpr[4][env->current_tc] == 0)
 543             env->gpr[2][env->current_tc] = -1;
 544         /* Fall through */
 545     case 11: /* TODO: char inbyte (void); */
 546         env->gpr[2][env->current_tc] = -1;
 547         break;
 548     case 3:
 549     case 12:
 550         printf("%c", (char)(env->gpr[4][env->current_tc] & 0xFF));
 551         break;
 552     case 17:
 553         break;
 554     case 158:
 555         {
 556             unsigned char *fmt = (void *)(unsigned long)env->gpr[4][env->current_tc];
 557             printf("%s", fmt);
 558         }
 559         break;
 560     }
 561 }
 562
 563 #if !defined(CONFIG_USER_ONLY)
 564
 565 static void do_unaligned_access (target_ulong addr, int is_write, int is_user, void *retaddr);
 566
 567 #define MMUSUFFIX _mmu
 568 #define ALIGNED_ONLY
 569
 570 #define SHIFT 0
 571 #include "softmmu_template.h"
 572
 573 #define SHIFT 1
 574 #include "softmmu_template.h"
 575
 576 #define SHIFT 2
 577 #include "softmmu_template.h"
 578
 579 #define SHIFT 3
 580 #include "softmmu_template.h"
 581
 582 static void do_unaligned_access (target_ulong addr, int is_write, int is_user, void *retaddr)
 583 {
 584     env->CP0_BadVAddr = addr;
 585     do_restore_state (retaddr);
 586     do_raise_exception ((is_write == 1) ? EXCP_AdES : EXCP_AdEL);
 587 }
 588
 589 void tlb_fill (target_ulong addr, int is_write, int mmu_idx, void *retaddr)
 590 {
 591     TranslationBlock *tb;
 592     CPUState *saved_env;
 593     unsigned long pc;
 594     int ret;
 595
 596     /* XXX: hack to restore env in all cases, even if not called from
 597        generated code */
 598     saved_env = env;
 599     env = cpu_single_env;
 600     ret = cpu_mips_handle_mmu_fault(env, addr, is_write, mmu_idx, 1);
 601     if (ret) {
 602         if (retaddr) {
 603             /* now we have a real cpu fault */
 604             pc = (unsigned long)retaddr;
 605             tb = tb_find_pc(pc);
 606             if (tb) {
 607                 /* the PC is inside the translated code. It means that we have
 608                    a virtual CPU fault */
 609                 cpu_restore_state(tb, env, pc, NULL);
 610             }
 611         }
 612         do_raise_exception_err(env->exception_index, env->error_code);
 613     }
 614     env = saved_env;
 615 }
 616
 617 void do_unassigned_access(target_phys_addr_t addr, int is_write, int is_exec,
 618                           int unused)
 619 {
 620     if (is_exec)
 621         do_raise_exception(EXCP_IBE);
 622     else
 623         do_raise_exception(EXCP_DBE);
 624 }
 625 #endif
 626
 627 /* Complex FPU operations which may need stack space. */
 628
 629 #define FLOAT_ONE32 (0x3f8 << 20)
 630 #define FLOAT_ONE64 (0x3ffULL << 52)
 631 #define FLOAT_TWO32 (1 << 30)
 632 #define FLOAT_TWO64 (1ULL << 62)
 633 #define FLOAT_QNAN32 0x7fbfffff
 634 #define FLOAT_QNAN64 0x7ff7ffffffffffffULL
 635 #define FLOAT_SNAN32 0x7fffffff
 636 #define FLOAT_SNAN64 0x7fffffffffffffffULL
 637
 638 /* convert MIPS rounding mode in FCR31 to IEEE library */
 639 unsigned int ieee_rm[] = {
 640     float_round_nearest_even,
 641     float_round_to_zero,
 642     float_round_up,
 643     float_round_down
 644 };
 645
 646 #define RESTORE_ROUNDING_MODE \
 647     set_float_rounding_mode(ieee_rm[env->fpu->fcr31 & 3], &env->fpu->fp_status)
 648
 649 void do_cfc1 (int reg)
 650 {
 651     switch (reg) {
 652     case 0:
 653         T0 = (int32_t)env->fpu->fcr0;
 654         break;
 655     case 25:
 656         T0 = ((env->fpu->fcr31 >> 24) & 0xfe) | ((env->fpu->fcr31 >> 23) & 0x1);
 657         break;
 658     case 26:
 659         T0 = env->fpu->fcr31 & 0x0003f07c;
 660         break;
 661     case 28:
 662         T0 = (env->fpu->fcr31 & 0x00000f83) | ((env->fpu->fcr31 >> 22) & 0x4);
 663         break;
 664     default:
 665         T0 = (int32_t)env->fpu->fcr31;
 666         break;
 667     }
 668 }
 669
 670 void do_ctc1 (int reg)
 671 {
 672     switch(reg) {
 673     case 25:
 674         if (T0 & 0xffffff00)
 675             return;
 676         env->fpu->fcr31 = (env->fpu->fcr31 & 0x017fffff) | ((T0 & 0xfe) << 24) |
 677                      ((T0 & 0x1) << 23);
 678         break;
 679     case 26:
 680         if (T0 & 0x007c0000)
 681             return;
 682         env->fpu->fcr31 = (env->fpu->fcr31 & 0xfffc0f83) | (T0 & 0x0003f07c);
 683         break;
 684     case 28:
 685         if (T0 & 0x007c0000)
 686             return;
 687         env->fpu->fcr31 = (env->fpu->fcr31 & 0xfefff07c) | (T0 & 0x00000f83) |
 688                      ((T0 & 0x4) << 22);
 689         break;
 690     case 31:
 691         if (T0 & 0x007c0000)
 692             return;
 693         env->fpu->fcr31 = T0;
 694         break;
 695     default:
 696         return;
 697     }
 698     /* set rounding mode */
 699     RESTORE_ROUNDING_MODE;
 700     set_float_exception_flags(0, &env->fpu->fp_status);
 701     if ((GET_FP_ENABLE(env->fpu->fcr31) | 0x20) & GET_FP_CAUSE(env->fpu->fcr31))
 702         do_raise_exception(EXCP_FPE);
 703 }
 704
 705 static always_inline char ieee_ex_to_mips(char xcpt)
 706 {
 707     return (xcpt & float_flag_inexact) >> 5 |
 708            (xcpt & float_flag_underflow) >> 3 |
 709            (xcpt & float_flag_overflow) >> 1 |
 710            (xcpt & float_flag_divbyzero) << 1 |
 711            (xcpt & float_flag_invalid) << 4;
 712 }
 713
 714 static always_inline char mips_ex_to_ieee(char xcpt)
 715 {
 716     return (xcpt & FP_INEXACT) << 5 |
 717            (xcpt & FP_UNDERFLOW) << 3 |
 718            (xcpt & FP_OVERFLOW) << 1 |
 719            (xcpt & FP_DIV0) >> 1 |
 720            (xcpt & FP_INVALID) >> 4;
 721 }
 722
 723 static always_inline void update_fcr31(void)
 724 {
 725     int tmp = ieee_ex_to_mips(get_float_exception_flags(&env->fpu->fp_status));
 726
 727     SET_FP_CAUSE(env->fpu->fcr31, tmp);
 728     if (GET_FP_ENABLE(env->fpu->fcr31) & tmp)
 729         do_raise_exception(EXCP_FPE);
 730     else
 731         UPDATE_FP_FLAGS(env->fpu->fcr31, tmp);
 732 }
 733
 734 #define FLOAT_OP(name, p) void do_float_##name##_##p(void)
 735
 736 FLOAT_OP(cvtd, s)
 737 {
 738     set_float_exception_flags(0, &env->fpu->fp_status);
 739     FDT2 = float32_to_float64(FST0, &env->fpu->fp_status);
 740     update_fcr31();
 741 }
 742 FLOAT_OP(cvtd, w)
 743 {
 744     set_float_exception_flags(0, &env->fpu->fp_status);
 745     FDT2 = int32_to_float64(WT0, &env->fpu->fp_status);
 746     update_fcr31();
 747 }
 748 FLOAT_OP(cvtd, l)
 749 {
 750     set_float_exception_flags(0, &env->fpu->fp_status);
 751     FDT2 = int64_to_float64(DT0, &env->fpu->fp_status);
 752     update_fcr31();
 753 }
 754 FLOAT_OP(cvtl, d)
 755 {
 756     set_float_exception_flags(0, &env->fpu->fp_status);
 757     DT2 = float64_to_int64(FDT0, &env->fpu->fp_status);
 758     update_fcr31();
 759     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 760         DT2 = FLOAT_SNAN64;
 761 }
 762 FLOAT_OP(cvtl, s)
 763 {
 764     set_float_exception_flags(0, &env->fpu->fp_status);
 765     DT2 = float32_to_int64(FST0, &env->fpu->fp_status);
 766     update_fcr31();
 767     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 768         DT2 = FLOAT_SNAN64;
 769 }
 770
 771 FLOAT_OP(cvtps, pw)
 772 {
 773     set_float_exception_flags(0, &env->fpu->fp_status);
 774     FST2 = int32_to_float32(WT0, &env->fpu->fp_status);
 775     FSTH2 = int32_to_float32(WTH0, &env->fpu->fp_status);
 776     update_fcr31();
 777 }
 778 FLOAT_OP(cvtpw, ps)
 779 {
 780     set_float_exception_flags(0, &env->fpu->fp_status);
 781     WT2 = float32_to_int32(FST0, &env->fpu->fp_status);
 782     WTH2 = float32_to_int32(FSTH0, &env->fpu->fp_status);
 783     update_fcr31();
 784     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 785         WT2 = FLOAT_SNAN32;
 786 }
 787 FLOAT_OP(cvts, d)
 788 {
 789     set_float_exception_flags(0, &env->fpu->fp_status);
 790     FST2 = float64_to_float32(FDT0, &env->fpu->fp_status);
 791     update_fcr31();
 792 }
 793 FLOAT_OP(cvts, w)
 794 {
 795     set_float_exception_flags(0, &env->fpu->fp_status);
 796     FST2 = int32_to_float32(WT0, &env->fpu->fp_status);
 797     update_fcr31();
 798 }
 799 FLOAT_OP(cvts, l)
 800 {
 801     set_float_exception_flags(0, &env->fpu->fp_status);
 802     FST2 = int64_to_float32(DT0, &env->fpu->fp_status);
 803     update_fcr31();
 804 }
 805 FLOAT_OP(cvts, pl)
 806 {
 807     set_float_exception_flags(0, &env->fpu->fp_status);
 808     WT2 = WT0;
 809     update_fcr31();
 810 }
 811 FLOAT_OP(cvts, pu)
 812 {
 813     set_float_exception_flags(0, &env->fpu->fp_status);
 814     WT2 = WTH0;
 815     update_fcr31();
 816 }
 817 FLOAT_OP(cvtw, s)
 818 {
 819     set_float_exception_flags(0, &env->fpu->fp_status);
 820     WT2 = float32_to_int32(FST0, &env->fpu->fp_status);
 821     update_fcr31();
 822     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 823         WT2 = FLOAT_SNAN32;
 824 }
 825 FLOAT_OP(cvtw, d)
 826 {
 827     set_float_exception_flags(0, &env->fpu->fp_status);
 828     WT2 = float64_to_int32(FDT0, &env->fpu->fp_status);
 829     update_fcr31();
 830     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 831         WT2 = FLOAT_SNAN32;
 832 }
 833
 834 FLOAT_OP(roundl, d)
 835 {
 836     set_float_rounding_mode(float_round_nearest_even, &env->fpu->fp_status);
 837     DT2 = float64_to_int64(FDT0, &env->fpu->fp_status);
 838     RESTORE_ROUNDING_MODE;
 839     update_fcr31();
 840     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 841         DT2 = FLOAT_SNAN64;
 842 }
 843 FLOAT_OP(roundl, s)
 844 {
 845     set_float_rounding_mode(float_round_nearest_even, &env->fpu->fp_status);
 846     DT2 = float32_to_int64(FST0, &env->fpu->fp_status);
 847     RESTORE_ROUNDING_MODE;
 848     update_fcr31();
 849     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 850         DT2 = FLOAT_SNAN64;
 851 }
 852 FLOAT_OP(roundw, d)
 853 {
 854     set_float_rounding_mode(float_round_nearest_even, &env->fpu->fp_status);
 855     WT2 = float64_to_int32(FDT0, &env->fpu->fp_status);
 856     RESTORE_ROUNDING_MODE;
 857     update_fcr31();
 858     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 859         WT2 = FLOAT_SNAN32;
 860 }
 861 FLOAT_OP(roundw, s)
 862 {
 863     set_float_rounding_mode(float_round_nearest_even, &env->fpu->fp_status);
 864     WT2 = float32_to_int32(FST0, &env->fpu->fp_status);
 865     RESTORE_ROUNDING_MODE;
 866     update_fcr31();
 867     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 868         WT2 = FLOAT_SNAN32;
 869 }
 870
 871 FLOAT_OP(truncl, d)
 872 {
 873     DT2 = float64_to_int64_round_to_zero(FDT0, &env->fpu->fp_status);
 874     update_fcr31();
 875     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 876         DT2 = FLOAT_SNAN64;
 877 }
 878 FLOAT_OP(truncl, s)
 879 {
 880     DT2 = float32_to_int64_round_to_zero(FST0, &env->fpu->fp_status);
 881     update_fcr31();
 882     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 883         DT2 = FLOAT_SNAN64;
 884 }
 885 FLOAT_OP(truncw, d)
 886 {
 887     WT2 = float64_to_int32_round_to_zero(FDT0, &env->fpu->fp_status);
 888     update_fcr31();
 889     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 890         WT2 = FLOAT_SNAN32;
 891 }
 892 FLOAT_OP(truncw, s)
 893 {
 894     WT2 = float32_to_int32_round_to_zero(FST0, &env->fpu->fp_status);
 895     update_fcr31();
 896     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 897         WT2 = FLOAT_SNAN32;
 898 }
 899
 900 FLOAT_OP(ceill, d)
 901 {
 902     set_float_rounding_mode(float_round_up, &env->fpu->fp_status);
 903     DT2 = float64_to_int64(FDT0, &env->fpu->fp_status);
 904     RESTORE_ROUNDING_MODE;
 905     update_fcr31();
 906     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 907         DT2 = FLOAT_SNAN64;
 908 }
 909 FLOAT_OP(ceill, s)
 910 {
 911     set_float_rounding_mode(float_round_up, &env->fpu->fp_status);
 912     DT2 = float32_to_int64(FST0, &env->fpu->fp_status);
 913     RESTORE_ROUNDING_MODE;
 914     update_fcr31();
 915     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 916         DT2 = FLOAT_SNAN64;
 917 }
 918 FLOAT_OP(ceilw, d)
 919 {
 920     set_float_rounding_mode(float_round_up, &env->fpu->fp_status);
 921     WT2 = float64_to_int32(FDT0, &env->fpu->fp_status);
 922     RESTORE_ROUNDING_MODE;
 923     update_fcr31();
 924     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 925         WT2 = FLOAT_SNAN32;
 926 }
 927 FLOAT_OP(ceilw, s)
 928 {
 929     set_float_rounding_mode(float_round_up, &env->fpu->fp_status);
 930     WT2 = float32_to_int32(FST0, &env->fpu->fp_status);
 931     RESTORE_ROUNDING_MODE;
 932     update_fcr31();
 933     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 934         WT2 = FLOAT_SNAN32;
 935 }
 936
 937 FLOAT_OP(floorl, d)
 938 {
 939     set_float_rounding_mode(float_round_down, &env->fpu->fp_status);
 940     DT2 = float64_to_int64(FDT0, &env->fpu->fp_status);
 941     RESTORE_ROUNDING_MODE;
 942     update_fcr31();
 943     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 944         DT2 = FLOAT_SNAN64;
 945 }
 946 FLOAT_OP(floorl, s)
 947 {
 948     set_float_rounding_mode(float_round_down, &env->fpu->fp_status);
 949     DT2 = float32_to_int64(FST0, &env->fpu->fp_status);
 950     RESTORE_ROUNDING_MODE;
 951     update_fcr31();
 952     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 953         DT2 = FLOAT_SNAN64;
 954 }
 955 FLOAT_OP(floorw, d)
 956 {
 957     set_float_rounding_mode(float_round_down, &env->fpu->fp_status);
 958     WT2 = float64_to_int32(FDT0, &env->fpu->fp_status);
 959     RESTORE_ROUNDING_MODE;
 960     update_fcr31();
 961     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 962         WT2 = FLOAT_SNAN32;
 963 }
 964 FLOAT_OP(floorw, s)
 965 {
 966     set_float_rounding_mode(float_round_down, &env->fpu->fp_status);
 967     WT2 = float32_to_int32(FST0, &env->fpu->fp_status);
 968     RESTORE_ROUNDING_MODE;
 969     update_fcr31();
 970     if (GET_FP_CAUSE(env->fpu->fcr31) & (FP_OVERFLOW | FP_INVALID))
 971         WT2 = FLOAT_SNAN32;
 972 }
 973
 974 /* MIPS specific unary operations */
 975 FLOAT_OP(recip, d)
 976 {
 977     set_float_exception_flags(0, &env->fpu->fp_status);
 978     FDT2 = float64_div(FLOAT_ONE64, FDT0, &env->fpu->fp_status);
 979     update_fcr31();
 980 }
 981 FLOAT_OP(recip, s)
 982 {
 983     set_float_exception_flags(0, &env->fpu->fp_status);
 984     FST2 = float32_div(FLOAT_ONE32, FST0, &env->fpu->fp_status);
 985     update_fcr31();
 986 }
 987
 988 FLOAT_OP(rsqrt, d)
 989 {
 990     set_float_exception_flags(0, &env->fpu->fp_status);
 991     FDT2 = float64_sqrt(FDT0, &env->fpu->fp_status);
 992     FDT2 = float64_div(FLOAT_ONE64, FDT2, &env->fpu->fp_status);
 993     update_fcr31();
 994 }
 995 FLOAT_OP(rsqrt, s)
 996 {
 997     set_float_exception_flags(0, &env->fpu->fp_status);
 998     FST2 = float32_sqrt(FST0, &env->fpu->fp_status);
 999     FST2 = float32_div(FLOAT_ONE32, FST2, &env->fpu->fp_status);
1000     update_fcr31();
1001 }
1002
1003 FLOAT_OP(recip1, d)
1004 {
1005     set_float_exception_flags(0, &env->fpu->fp_status);
1006     FDT2 = float64_div(FLOAT_ONE64, FDT0, &env->fpu->fp_status);
1007     update_fcr31();
1008 }
1009 FLOAT_OP(recip1, s)
1010 {
1011     set_float_exception_flags(0, &env->fpu->fp_status);
1012     FST2 = float32_div(FLOAT_ONE32, FST0, &env->fpu->fp_status);
1013     update_fcr31();
1014 }
1015 FLOAT_OP(recip1, ps)
1016 {
1017     set_float_exception_flags(0, &env->fpu->fp_status);
1018     FST2 = float32_div(FLOAT_ONE32, FST0, &env->fpu->fp_status);
1019     FSTH2 = float32_div(FLOAT_ONE32, FSTH0, &env->fpu->fp_status);
1020     update_fcr31();
1021 }
1022
1023 FLOAT_OP(rsqrt1, d)
1024 {
1025     set_float_exception_flags(0, &env->fpu->fp_status);
1026     FDT2 = float64_sqrt(FDT0, &env->fpu->fp_status);
1027     FDT2 = float64_div(FLOAT_ONE64, FDT2, &env->fpu->fp_status);
1028     update_fcr31();
1029 }
1030 FLOAT_OP(rsqrt1, s)
1031 {
1032     set_float_exception_flags(0, &env->fpu->fp_status);
1033     FST2 = float32_sqrt(FST0, &env->fpu->fp_status);
1034     FST2 = float32_div(FLOAT_ONE32, FST2, &env->fpu->fp_status);
1035     update_fcr31();
1036 }
1037 FLOAT_OP(rsqrt1, ps)
1038 {
1039     set_float_exception_flags(0, &env->fpu->fp_status);
1040     FST2 = float32_sqrt(FST0, &env->fpu->fp_status);
1041     FSTH2 = float32_sqrt(FSTH0, &env->fpu->fp_status);
1042     FST2 = float32_div(FLOAT_ONE32, FST2, &env->fpu->fp_status);
1043     FSTH2 = float32_div(FLOAT_ONE32, FSTH2, &env->fpu->fp_status);
1044     update_fcr31();
1045 }
1046
1047 /* binary operations */
1048 #define FLOAT_BINOP(name) \
1049 FLOAT_OP(name, d)         \
1050 {                         \
1051     set_float_exception_flags(0, &env->fpu->fp_status);            \
1052     FDT2 = float64_ ## name (FDT0, FDT1, &env->fpu->fp_status);    \
1053     update_fcr31();                                                \
1054     if (GET_FP_CAUSE(env->fpu->fcr31) & FP_INVALID)                \
1055         DT2 = FLOAT_QNAN64;                                        \
1056 }                         \
1057 FLOAT_OP(name, s)         \
1058 {                         \
1059     set_float_exception_flags(0, &env->fpu->fp_status);            \
1060     FST2 = float32_ ## name (FST0, FST1, &env->fpu->fp_status);    \
1061     update_fcr31();                                                \
1062     if (GET_FP_CAUSE(env->fpu->fcr31) & FP_INVALID)                \
1063         WT2 = FLOAT_QNAN32;                                        \
1064 }                         \
1065 FLOAT_OP(name, ps)        \
1066 {                         \
1067     set_float_exception_flags(0, &env->fpu->fp_status);            \
1068     FST2 = float32_ ## name (FST0, FST1, &env->fpu->fp_status);    \
1069     FSTH2 = float32_ ## name (FSTH0, FSTH1, &env->fpu->fp_status); \
1070     update_fcr31();       \
1071     if (GET_FP_CAUSE(env->fpu->fcr31) & FP_INVALID) {              \
1072         WT2 = FLOAT_QNAN32;                                        \
1073         WTH2 = FLOAT_QNAN32;                                       \
1074     }                     \
1075 }
1076 FLOAT_BINOP(add)
1077 FLOAT_BINOP(sub)
1078 FLOAT_BINOP(mul)
1079 FLOAT_BINOP(div)
1080 #undef FLOAT_BINOP
1081
1082 /* MIPS specific binary operations */
1083 FLOAT_OP(recip2, d)
1084 {
1085     set_float_exception_flags(0, &env->fpu->fp_status);
1086     FDT2 = float64_mul(FDT0, FDT2, &env->fpu->fp_status);
1087     FDT2 = float64_chs(float64_sub(FDT2, FLOAT_ONE64, &env->fpu->fp_status));
1088     update_fcr31();
1089 }
1090 FLOAT_OP(recip2, s)
1091 {
1092     set_float_exception_flags(0, &env->fpu->fp_status);
1093     FST2 = float32_mul(FST0, FST2, &env->fpu->fp_status);
1094     FST2 = float32_chs(float32_sub(FST2, FLOAT_ONE32, &env->fpu->fp_status));
1095     update_fcr31();
1096 }
1097 FLOAT_OP(recip2, ps)
1098 {
1099     set_float_exception_flags(0, &env->fpu->fp_status);
1100     FST2 = float32_mul(FST0, FST2, &env->fpu->fp_status);
1101     FSTH2 = float32_mul(FSTH0, FSTH2, &env->fpu->fp_status);
1102     FST2 = float32_chs(float32_sub(FST2, FLOAT_ONE32, &env->fpu->fp_status));
1103     FSTH2 = float32_chs(float32_sub(FSTH2, FLOAT_ONE32, &env->fpu->fp_status));
1104     update_fcr31();
1105 }
1106
1107 FLOAT_OP(rsqrt2, d)
1108 {
1109     set_float_exception_flags(0, &env->fpu->fp_status);
1110     FDT2 = float64_mul(FDT0, FDT2, &env->fpu->fp_status);
1111     FDT2 = float64_sub(FDT2, FLOAT_ONE64, &env->fpu->fp_status);
1112     FDT2 = float64_chs(float64_div(FDT2, FLOAT_TWO64, &env->fpu->fp_status));
1113     update_fcr31();
1114 }
1115 FLOAT_OP(rsqrt2, s)
1116 {
1117     set_float_exception_flags(0, &env->fpu->fp_status);
1118     FST2 = float32_mul(FST0, FST2, &env->fpu->fp_status);
1119     FST2 = float32_sub(FST2, FLOAT_ONE32, &env->fpu->fp_status);
1120     FST2 = float32_chs(float32_div(FST2, FLOAT_TWO32, &env->fpu->fp_status));
1121     update_fcr31();
1122 }
1123 FLOAT_OP(rsqrt2, ps)
1124 {
1125     set_float_exception_flags(0, &env->fpu->fp_status);
1126     FST2 = float32_mul(FST0, FST2, &env->fpu->fp_status);
1127     FSTH2 = float32_mul(FSTH0, FSTH2, &env->fpu->fp_status);
1128     FST2 = float32_sub(FST2, FLOAT_ONE32, &env->fpu->fp_status);
1129     FSTH2 = float32_sub(FSTH2, FLOAT_ONE32, &env->fpu->fp_status);
1130     FST2 = float32_chs(float32_div(FST2, FLOAT_TWO32, &env->fpu->fp_status));
1131     FSTH2 = float32_chs(float32_div(FSTH2, FLOAT_TWO32, &env->fpu->fp_status));
1132     update_fcr31();
1133 }
1134
1135 FLOAT_OP(addr, ps)
1136 {
1137     set_float_exception_flags(0, &env->fpu->fp_status);
1138     FST2 = float32_add (FST0, FSTH0, &env->fpu->fp_status);
1139     FSTH2 = float32_add (FST1, FSTH1, &env->fpu->fp_status);
1140     update_fcr31();
1141 }
1142
1143 FLOAT_OP(mulr, ps)
1144 {
1145     set_float_exception_flags(0, &env->fpu->fp_status);
1146     FST2 = float32_mul (FST0, FSTH0, &env->fpu->fp_status);
1147     FSTH2 = float32_mul (FST1, FSTH1, &env->fpu->fp_status);
1148     update_fcr31();
1149 }
1150
1151 /* compare operations */
1152 #define FOP_COND_D(op, cond)                   \
1153 void do_cmp_d_ ## op (long cc)                 \
1154 {                                              \
1155     int c = cond;                              \
1156     update_fcr31();                            \
1157     if (c)                                     \
1158         SET_FP_COND(cc, env->fpu);             \
1159     else                                       \
1160         CLEAR_FP_COND(cc, env->fpu);           \
1161 }                                              \
1162 void do_cmpabs_d_ ## op (long cc)              \
1163 {                                              \
1164     int c;                                     \
1165     FDT0 = float64_chs(FDT0);                  \
1166     FDT1 = float64_chs(FDT1);                  \
1167     c = cond;                                  \
1168     update_fcr31();                            \
1169     if (c)                                     \
1170         SET_FP_COND(cc, env->fpu);             \
1171     else                                       \
1172         CLEAR_FP_COND(cc, env->fpu);           \
1173 }
1174
1175 int float64_is_unordered(int sig, float64 a, float64 b STATUS_PARAM)
1176 {
1177     if (float64_is_signaling_nan(a) ||
1178         float64_is_signaling_nan(b) ||
1179         (sig && (float64_is_nan(a) || float64_is_nan(b)))) {
1180         float_raise(float_flag_invalid, status);
1181         return 1;
1182     } else if (float64_is_nan(a) || float64_is_nan(b)) {
1183         return 1;
1184     } else {
1185         return 0;
1186     }
1187 }
1188
1189 /* NOTE: the comma operator will make "cond" to eval to false,
1190  * but float*_is_unordered() is still called. */
1191 FOP_COND_D(f,   (float64_is_unordered(0, FDT1, FDT0, &env->fpu->fp_status), 0))
1192 FOP_COND_D(un,  float64_is_unordered(0, FDT1, FDT0, &env->fpu->fp_status))
1193 FOP_COND_D(eq,  !float64_is_unordered(0, FDT1, FDT0, &env->fpu->fp_status) && float64_eq(FDT0, FDT1, &env->fpu->fp_status))
1194 FOP_COND_D(ueq, float64_is_unordered(0, FDT1, FDT0, &env->fpu->fp_status)  || float64_eq(FDT0, FDT1, &env->fpu->fp_status))
1195 FOP_COND_D(olt, !float64_is_unordered(0, FDT1, FDT0, &env->fpu->fp_status) && float64_lt(FDT0, FDT1, &env->fpu->fp_status))
1196 FOP_COND_D(ult, float64_is_unordered(0, FDT1, FDT0, &env->fpu->fp_status)  || float64_lt(FDT0, FDT1, &env->fpu->fp_status))
1197 FOP_COND_D(ole, !float64_is_unordered(0, FDT1, FDT0, &env->fpu->fp_status) && float64_le(FDT0, FDT1, &env->fpu->fp_status))
1198 FOP_COND_D(ule, float64_is_unordered(0, FDT1, FDT0, &env->fpu->fp_status)  || float64_le(FDT0, FDT1, &env->fpu->fp_status))
1199 /* NOTE: the comma operator will make "cond" to eval to false,
1200  * but float*_is_unordered() is still called. */
1201 FOP_COND_D(sf,  (float64_is_unordered(1, FDT1, FDT0, &env->fpu->fp_status), 0))
1202 FOP_COND_D(ngle,float64_is_unordered(1, FDT1, FDT0, &env->fpu->fp_status))
1203 FOP_COND_D(seq, !float64_is_unordered(1, FDT1, FDT0, &env->fpu->fp_status) && float64_eq(FDT0, FDT1, &env->fpu->fp_status))
1204 FOP_COND_D(ngl, float64_is_unordered(1, FDT1, FDT0, &env->fpu->fp_status)  || float64_eq(FDT0, FDT1, &env->fpu->fp_status))
1205 FOP_COND_D(lt,  !float64_is_unordered(1, FDT1, FDT0, &env->fpu->fp_status) && float64_lt(FDT0, FDT1, &env->fpu->fp_status))
1206 FOP_COND_D(nge, float64_is_unordered(1, FDT1, FDT0, &env->fpu->fp_status)  || float64_lt(FDT0, FDT1, &env->fpu->fp_status))
1207 FOP_COND_D(le,  !float64_is_unordered(1, FDT1, FDT0, &env->fpu->fp_status) && float64_le(FDT0, FDT1, &env->fpu->fp_status))
1208 FOP_COND_D(ngt, float64_is_unordered(1, FDT1, FDT0, &env->fpu->fp_status)  || float64_le(FDT0, FDT1, &env->fpu->fp_status))
1209
1210 #define FOP_COND_S(op, cond)                   \
1211 void do_cmp_s_ ## op (long cc)                 \
1212 {                                              \
1213     int c = cond;                              \
1214     update_fcr31();                            \
1215     if (c)                                     \
1216         SET_FP_COND(cc, env->fpu);             \
1217     else                                       \
1218         CLEAR_FP_COND(cc, env->fpu);           \
1219 }                                              \
1220 void do_cmpabs_s_ ## op (long cc)              \
1221 {                                              \
1222     int c;                                     \
1223     FST0 = float32_abs(FST0);                  \
1224     FST1 = float32_abs(FST1);                  \
1225     c = cond;                                  \
1226     update_fcr31();                            \
1227     if (c)                                     \
1228         SET_FP_COND(cc, env->fpu);             \
1229     else                                       \
1230         CLEAR_FP_COND(cc, env->fpu);           \
1231 }
1232
1233 flag float32_is_unordered(int sig, float32 a, float32 b STATUS_PARAM)
1234 {
1235     if (float32_is_signaling_nan(a) ||
1236         float32_is_signaling_nan(b) ||
1237         (sig && (float32_is_nan(a) || float32_is_nan(b)))) {
1238         float_raise(float_flag_invalid, status);
1239         return 1;
1240     } else if (float32_is_nan(a) || float32_is_nan(b)) {
1241         return 1;
1242     } else {
1243         return 0;
1244     }
1245 }
1246
1247 /* NOTE: the comma operator will make "cond" to eval to false,
1248  * but float*_is_unordered() is still called. */
1249 FOP_COND_S(f,   (float32_is_unordered(0, FST1, FST0, &env->fpu->fp_status), 0))
1250 FOP_COND_S(un,  float32_is_unordered(0, FST1, FST0, &env->fpu->fp_status))
1251 FOP_COND_S(eq,  !float32_is_unordered(0, FST1, FST0, &env->fpu->fp_status) && float32_eq(FST0, FST1, &env->fpu->fp_status))
1252 FOP_COND_S(ueq, float32_is_unordered(0, FST1, FST0, &env->fpu->fp_status)  || float32_eq(FST0, FST1, &env->fpu->fp_status))
1253 FOP_COND_S(olt, !float32_is_unordered(0, FST1, FST0, &env->fpu->fp_status) && float32_lt(FST0, FST1, &env->fpu->fp_status))
1254 FOP_COND_S(ult, float32_is_unordered(0, FST1, FST0, &env->fpu->fp_status)  || float32_lt(FST0, FST1, &env->fpu->fp_status))
1255 FOP_COND_S(ole, !float32_is_unordered(0, FST1, FST0, &env->fpu->fp_status) && float32_le(FST0, FST1, &env->fpu->fp_status))
1256 FOP_COND_S(ule, float32_is_unordered(0, FST1, FST0, &env->fpu->fp_status)  || float32_le(FST0, FST1, &env->fpu->fp_status))
1257 /* NOTE: the comma operator will make "cond" to eval to false,
1258  * but float*_is_unordered() is still called. */
1259 FOP_COND_S(sf,  (float32_is_unordered(1, FST1, FST0, &env->fpu->fp_status), 0))
1260 FOP_COND_S(ngle,float32_is_unordered(1, FST1, FST0, &env->fpu->fp_status))
1261 FOP_COND_S(seq, !float32_is_unordered(1, FST1, FST0, &env->fpu->fp_status) && float32_eq(FST0, FST1, &env->fpu->fp_status))
1262 FOP_COND_S(ngl, float32_is_unordered(1, FST1, FST0, &env->fpu->fp_status)  || float32_eq(FST0, FST1, &env->fpu->fp_status))
1263 FOP_COND_S(lt,  !float32_is_unordered(1, FST1, FST0, &env->fpu->fp_status) && float32_lt(FST0, FST1, &env->fpu->fp_status))
1264 FOP_COND_S(nge, float32_is_unordered(1, FST1, FST0, &env->fpu->fp_status)  || float32_lt(FST0, FST1, &env->fpu->fp_status))
1265 FOP_COND_S(le,  !float32_is_unordered(1, FST1, FST0, &env->fpu->fp_status) && float32_le(FST0, FST1, &env->fpu->fp_status))
1266 FOP_COND_S(ngt, float32_is_unordered(1, FST1, FST0, &env->fpu->fp_status)  || float32_le(FST0, FST1, &env->fpu->fp_status))
1267
1268 #define FOP_COND_PS(op, condl, condh)          \
1269 void do_cmp_ps_ ## op (long cc)                \
1270 {                                              \
1271     int cl = condl;                            \
1272     int ch = condh;                            \
1273     update_fcr31();                            \
1274     if (cl)                                    \
1275         SET_FP_COND(cc, env->fpu);             \
1276     else                                       \
1277         CLEAR_FP_COND(cc, env->fpu);           \
1278     if (ch)                                    \
1279         SET_FP_COND(cc + 1, env->fpu);         \
1280     else                                       \
1281         CLEAR_FP_COND(cc + 1, env->fpu);       \
1282 }                                              \
1283 void do_cmpabs_ps_ ## op (long cc)             \
1284 {                                              \
1285     int cl, ch;                                \
1286     FST0 = float32_abs(FST0);                  \
1287     FSTH0 = float32_abs(FSTH0);                \
1288     FST1 = float32_abs(FST1);                  \
1289     FSTH1 = float32_abs(FSTH1);                \
1290     cl = condl;                                \
1291     ch = condh;                                \
1292     update_fcr31();                            \
1293     if (cl)                                    \
1294         SET_FP_COND(cc, env->fpu);             \
1295     else                                       \
1296         CLEAR_FP_COND(cc, env->fpu);           \
1297     if (ch)                                    \
1298         SET_FP_COND(cc + 1, env->fpu);         \
1299     else                                       \
1300         CLEAR_FP_COND(cc + 1, env->fpu);       \
1301 }
1302
1303 /* NOTE: the comma operator will make "cond" to eval to false,
1304  * but float*_is_unordered() is still called. */
1305 FOP_COND_PS(f,   (float32_is_unordered(0, FST1, FST0, &env->fpu->fp_status), 0),
1306                  (float32_is_unordered(0, FSTH1, FSTH0, &env->fpu->fp_status), 0))
1307 FOP_COND_PS(un,  float32_is_unordered(0, FST1, FST0, &env->fpu->fp_status),
1308                  float32_is_unordered(0, FSTH1, FSTH0, &env->fpu->fp_status))
1309 FOP_COND_PS(eq,  !float32_is_unordered(0, FST1, FST0, &env->fpu->fp_status)   && float32_eq(FST0, FST1, &env->fpu->fp_status),
1310                  !float32_is_unordered(0, FSTH1, FSTH0, &env->fpu->fp_status) && float32_eq(FSTH0, FSTH1, &env->fpu->fp_status))
1311 FOP_COND_PS(ueq, float32_is_unordered(0, FST1, FST0, &env->fpu->fp_status)    || float32_eq(FST0, FST1, &env->fpu->fp_status),
1312                  float32_is_unordered(0, FSTH1, FSTH0, &env->fpu->fp_status)  || float32_eq(FSTH0, FSTH1, &env->fpu->fp_status))
1313 FOP_COND_PS(olt, !float32_is_unordered(0, FST1, FST0, &env->fpu->fp_status)   && float32_lt(FST0, FST1, &env->fpu->fp_status),
1314                  !float32_is_unordered(0, FSTH1, FSTH0, &env->fpu->fp_status) && float32_lt(FSTH0, FSTH1, &env->fpu->fp_status))
1315 FOP_COND_PS(ult, float32_is_unordered(0, FST1, FST0, &env->fpu->fp_status)    || float32_lt(FST0, FST1, &env->fpu->fp_status),
1316                  float32_is_unordered(0, FSTH1, FSTH0, &env->fpu->fp_status)  || float32_lt(FSTH0, FSTH1, &env->fpu->fp_status))
1317 FOP_COND_PS(ole, !float32_is_unordered(0, FST1, FST0, &env->fpu->fp_status)   && float32_le(FST0, FST1, &env->fpu->fp_status),
1318                  !float32_is_unordered(0, FSTH1, FSTH0, &env->fpu->fp_status) && float32_le(FSTH0, FSTH1, &env->fpu->fp_status))
1319 FOP_COND_PS(ule, float32_is_unordered(0, FST1, FST0, &env->fpu->fp_status)    || float32_le(FST0, FST1, &env->fpu->fp_status),
1320                  float32_is_unordered(0, FSTH1, FSTH0, &env->fpu->fp_status)  || float32_le(FSTH0, FSTH1, &env->fpu->fp_status))
1321 /* NOTE: the comma operator will make "cond" to eval to false,
1322  * but float*_is_unordered() is still called. */
1323 FOP_COND_PS(sf,  (float32_is_unordered(1, FST1, FST0, &env->fpu->fp_status), 0),
1324                  (float32_is_unordered(1, FSTH1, FSTH0, &env->fpu->fp_status), 0))
1325 FOP_COND_PS(ngle,float32_is_unordered(1, FST1, FST0, &env->fpu->fp_status),
1326                  float32_is_unordered(1, FSTH1, FSTH0, &env->fpu->fp_status))
1327 FOP_COND_PS(seq, !float32_is_unordered(1, FST1, FST0, &env->fpu->fp_status)   && float32_eq(FST0, FST1, &env->fpu->fp_status),
1328                  !float32_is_unordered(1, FSTH1, FSTH0, &env->fpu->fp_status) && float32_eq(FSTH0, FSTH1, &env->fpu->fp_status))
1329 FOP_COND_PS(ngl, float32_is_unordered(1, FST1, FST0, &env->fpu->fp_status)    || float32_eq(FST0, FST1, &env->fpu->fp_status),
1330                  float32_is_unordered(1, FSTH1, FSTH0, &env->fpu->fp_status)  || float32_eq(FSTH0, FSTH1, &env->fpu->fp_status))
1331 FOP_COND_PS(lt,  !float32_is_unordered(1, FST1, FST0, &env->fpu->fp_status)   && float32_lt(FST0, FST1, &env->fpu->fp_status),
1332                  !float32_is_unordered(1, FSTH1, FSTH0, &env->fpu->fp_status) && float32_lt(FSTH0, FSTH1, &env->fpu->fp_status))
1333 FOP_COND_PS(nge, float32_is_unordered(1, FST1, FST0, &env->fpu->fp_status)    || float32_lt(FST0, FST1, &env->fpu->fp_status),
1334                  float32_is_unordered(1, FSTH1, FSTH0, &env->fpu->fp_status)  || float32_lt(FSTH0, FSTH1, &env->fpu->fp_status))
1335 FOP_COND_PS(le,  !float32_is_unordered(1, FST1, FST0, &env->fpu->fp_status)   && float32_le(FST0, FST1, &env->fpu->fp_status),
1336                  !float32_is_unordered(1, FSTH1, FSTH0, &env->fpu->fp_status) && float32_le(FSTH0, FSTH1, &env->fpu->fp_status))
1337 FOP_COND_PS(ngt, float32_is_unordered(1, FST1, FST0, &env->fpu->fp_status)    || float32_le(FST0, FST1, &env->fpu->fp_status),
1338                  float32_is_unordered(1, FSTH1, FSTH0, &env->fpu->fp_status)  || float32_le(FSTH0, FSTH1, &env->fpu->fp_status))