git.maemo.org Git - qemu/blob - target-ppc/translate.c

   1 /*
   2  *  PowerPC emulation for qemu: main translation routines.
   3  *
   4  *  Copyright (c) 2003-2007 Jocelyn Mayer
   5  *
   6  * This library is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2 of the License, or (at your option) any later version.
  10  *
  11  * This library is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with this library; if not, write to the Free Software
  18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  19  */
  20 #include <stdarg.h>
  21 #include <stdlib.h>
  22 #include <stdio.h>
  23 #include <string.h>
  24 #include <inttypes.h>
  25
  26 #include "cpu.h"
  27 #include "exec-all.h"
  28 #include "disas.h"
  29 #include "helper.h"
  30 #include "tcg-op.h"
  31 #include "qemu-common.h"
  32
  33 #define CPU_SINGLE_STEP 0x1
  34 #define CPU_BRANCH_STEP 0x2
  35 #define GDBSTUB_SINGLE_STEP 0x4
  36
  37 /* Include definitions for instructions classes and implementations flags */
  38 //#define DO_SINGLE_STEP
  39 //#define PPC_DEBUG_DISAS
  40 //#define DO_PPC_STATISTICS
  41 //#define OPTIMIZE_FPRF_UPDATE
  42
  43 /*****************************************************************************/
  44 /* Code translation helpers                                                  */
  45
  46 /* global register indexes */
  47 static TCGv cpu_env;
  48 static char cpu_reg_names[10*3 + 22*4 /* GPR */
  49 #if !defined(TARGET_PPC64)
  50     + 10*4 + 22*5 /* SPE GPRh */
  51 #endif
  52     + 10*4 + 22*5 /* FPR */
  53     + 2*(10*6 + 22*7) /* AVRh, AVRl */
  54     + 8*5 /* CRF */];
  55 static TCGv cpu_gpr[32];
  56 #if !defined(TARGET_PPC64)
  57 static TCGv cpu_gprh[32];
  58 #endif
  59 static TCGv cpu_fpr[32];
  60 static TCGv cpu_avrh[32], cpu_avrl[32];
  61 static TCGv cpu_crf[8];
  62 static TCGv cpu_nip;
  63 static TCGv cpu_ctr;
  64 static TCGv cpu_lr;
  65
  66 /* dyngen register indexes */
  67 static TCGv cpu_T[3];
  68 #if defined(TARGET_PPC64)
  69 #define cpu_T64 cpu_T
  70 #else
  71 static TCGv cpu_T64[3];
  72 #endif
  73 static TCGv cpu_FT[3];
  74 static TCGv cpu_AVRh[3], cpu_AVRl[3];
  75
  76 #include "gen-icount.h"
  77
  78 void ppc_translate_init(void)
  79 {
  80     int i;
  81     char* p;
  82     static int done_init = 0;
  83
  84     if (done_init)
  85         return;
  86
  87     cpu_env = tcg_global_reg_new(TCG_TYPE_PTR, TCG_AREG0, "env");
  88 #if TARGET_LONG_BITS > HOST_LONG_BITS
  89     cpu_T[0] = tcg_global_mem_new(TCG_TYPE_TL,
  90                                   TCG_AREG0, offsetof(CPUState, t0), "T0");
  91     cpu_T[1] = tcg_global_mem_new(TCG_TYPE_TL,
  92                                   TCG_AREG0, offsetof(CPUState, t1), "T1");
  93     cpu_T[2] = tcg_global_mem_new(TCG_TYPE_TL,
  94                                   TCG_AREG0, offsetof(CPUState, t2), "T2");
  95 #else
  96     cpu_T[0] = tcg_global_reg_new(TCG_TYPE_TL, TCG_AREG1, "T0");
  97     cpu_T[1] = tcg_global_reg_new(TCG_TYPE_TL, TCG_AREG2, "T1");
  98     cpu_T[2] = tcg_global_reg_new(TCG_TYPE_TL, TCG_AREG3, "T2");
  99 #endif
 100 #if !defined(TARGET_PPC64)
 101     cpu_T64[0] = tcg_global_mem_new(TCG_TYPE_I64,
 102                                     TCG_AREG0, offsetof(CPUState, t0_64),
 103                                     "T0_64");
 104     cpu_T64[1] = tcg_global_mem_new(TCG_TYPE_I64,
 105                                     TCG_AREG0, offsetof(CPUState, t1_64),
 106                                     "T1_64");
 107     cpu_T64[2] = tcg_global_mem_new(TCG_TYPE_I64,
 108                                     TCG_AREG0, offsetof(CPUState, t2_64),
 109                                     "T2_64");
 110 #endif
 111
 112     cpu_FT[0] = tcg_global_mem_new(TCG_TYPE_I64, TCG_AREG0,
 113                                    offsetof(CPUState, ft0), "FT0");
 114     cpu_FT[1] = tcg_global_mem_new(TCG_TYPE_I64, TCG_AREG0,
 115                                    offsetof(CPUState, ft1), "FT1");
 116     cpu_FT[2] = tcg_global_mem_new(TCG_TYPE_I64, TCG_AREG0,
 117                                    offsetof(CPUState, ft2), "FT2");
 118
 119     cpu_AVRh[0] = tcg_global_mem_new(TCG_TYPE_I64, TCG_AREG0,
 120                                      offsetof(CPUState, avr0.u64[0]), "AVR0H");
 121     cpu_AVRl[0] = tcg_global_mem_new(TCG_TYPE_I64, TCG_AREG0,
 122                                      offsetof(CPUState, avr0.u64[1]), "AVR0L");
 123     cpu_AVRh[1] = tcg_global_mem_new(TCG_TYPE_I64, TCG_AREG0,
 124                                      offsetof(CPUState, avr1.u64[0]), "AVR1H");
 125     cpu_AVRl[1] = tcg_global_mem_new(TCG_TYPE_I64, TCG_AREG0,
 126                                      offsetof(CPUState, avr1.u64[1]), "AVR1L");
 127     cpu_AVRh[2] = tcg_global_mem_new(TCG_TYPE_I64, TCG_AREG0,
 128                                      offsetof(CPUState, avr2.u64[0]), "AVR2H");
 129     cpu_AVRl[2] = tcg_global_mem_new(TCG_TYPE_I64, TCG_AREG0,
 130                                      offsetof(CPUState, avr2.u64[1]), "AVR2L");
 131
 132     p = cpu_reg_names;
 133
 134     for (i = 0; i < 8; i++) {
 135         sprintf(p, "crf%d", i);
 136         cpu_crf[i] = tcg_global_mem_new(TCG_TYPE_I32, TCG_AREG0,
 137                                         offsetof(CPUState, crf[i]), p);
 138         p += 5;
 139     }
 140
 141     for (i = 0; i < 32; i++) {
 142         sprintf(p, "r%d", i);
 143         cpu_gpr[i] = tcg_global_mem_new(TCG_TYPE_TL, TCG_AREG0,
 144                                         offsetof(CPUState, gpr[i]), p);
 145         p += (i < 10) ? 3 : 4;
 146 #if !defined(TARGET_PPC64)
 147         sprintf(p, "r%dH", i);
 148         cpu_gprh[i] = tcg_global_mem_new(TCG_TYPE_I32, TCG_AREG0,
 149                                          offsetof(CPUState, gprh[i]), p);
 150         p += (i < 10) ? 4 : 5;
 151 #endif
 152
 153         sprintf(p, "fp%d", i);
 154         cpu_fpr[i] = tcg_global_mem_new(TCG_TYPE_I64, TCG_AREG0,
 155                                         offsetof(CPUState, fpr[i]), p);
 156         p += (i < 10) ? 4 : 5;
 157
 158         sprintf(p, "avr%dH", i);
 159         cpu_avrh[i] = tcg_global_mem_new(TCG_TYPE_I64, TCG_AREG0,
 160                                          offsetof(CPUState, avr[i].u64[0]), p);
 161         p += (i < 10) ? 6 : 7;
 162
 163         sprintf(p, "avr%dL", i);
 164         cpu_avrl[i] = tcg_global_mem_new(TCG_TYPE_I64, TCG_AREG0,
 165                                          offsetof(CPUState, avr[i].u64[1]), p);
 166         p += (i < 10) ? 6 : 7;
 167     }
 168
 169     cpu_nip = tcg_global_mem_new(TCG_TYPE_TL, TCG_AREG0,
 170                                  offsetof(CPUState, nip), "nip");
 171
 172     cpu_ctr = tcg_global_mem_new(TCG_TYPE_TL, TCG_AREG0,
 173                                  offsetof(CPUState, ctr), "ctr");
 174
 175     cpu_lr = tcg_global_mem_new(TCG_TYPE_TL, TCG_AREG0,
 176                                 offsetof(CPUState, lr), "lr");
 177
 178     /* register helpers */
 179 #undef DEF_HELPER
 180 #define DEF_HELPER(ret, name, params) tcg_register_helper(name, #name);
 181 #include "helper.h"
 182
 183     done_init = 1;
 184 }
 185
 186 #if defined(OPTIMIZE_FPRF_UPDATE)
 187 static uint16_t *gen_fprf_buf[OPC_BUF_SIZE];
 188 static uint16_t **gen_fprf_ptr;
 189 #endif
 190
 191 /* internal defines */
 192 typedef struct DisasContext {
 193     struct TranslationBlock *tb;
 194     target_ulong nip;
 195     uint32_t opcode;
 196     uint32_t exception;
 197     /* Routine used to access memory */
 198     int mem_idx;
 199     /* Translation flags */
 200 #if !defined(CONFIG_USER_ONLY)
 201     int supervisor;
 202 #endif
 203 #if defined(TARGET_PPC64)
 204     int sf_mode;
 205 #endif
 206     int fpu_enabled;
 207     int altivec_enabled;
 208     int spe_enabled;
 209     ppc_spr_t *spr_cb; /* Needed to check rights for mfspr/mtspr */
 210     int singlestep_enabled;
 211     int dcache_line_size;
 212 } DisasContext;
 213
 214 struct opc_handler_t {
 215     /* invalid bits */
 216     uint32_t inval;
 217     /* instruction type */
 218     uint64_t type;
 219     /* handler */
 220     void (*handler)(DisasContext *ctx);
 221 #if defined(DO_PPC_STATISTICS) || defined(PPC_DUMP_CPU)
 222     const char *oname;
 223 #endif
 224 #if defined(DO_PPC_STATISTICS)
 225     uint64_t count;
 226 #endif
 227 };
 228
 229 static always_inline void gen_set_Rc0 (DisasContext *ctx)
 230 {
 231 #if defined(TARGET_PPC64)
 232     if (ctx->sf_mode)
 233         gen_op_cmpi_64(0);
 234     else
 235 #endif
 236         gen_op_cmpi(0);
 237     gen_op_set_Rc0();
 238 }
 239
 240 static always_inline void gen_reset_fpstatus (void)
 241 {
 242 #ifdef CONFIG_SOFTFLOAT
 243     gen_op_reset_fpstatus();
 244 #endif
 245 }
 246
 247 static always_inline void gen_compute_fprf (int set_fprf, int set_rc)
 248 {
 249     if (set_fprf != 0) {
 250         /* This case might be optimized later */
 251 #if defined(OPTIMIZE_FPRF_UPDATE)
 252         *gen_fprf_ptr++ = gen_opc_ptr;
 253 #endif
 254         gen_op_compute_fprf(1);
 255         if (unlikely(set_rc))
 256             tcg_gen_andi_i32(cpu_crf[1], cpu_T[0], 0xf);
 257         gen_op_float_check_status();
 258     } else if (unlikely(set_rc)) {
 259         /* We always need to compute fpcc */
 260         gen_op_compute_fprf(0);
 261         tcg_gen_andi_i32(cpu_crf[1], cpu_T[0], 0xf);
 262         if (set_fprf)
 263             gen_op_float_check_status();
 264     }
 265 }
 266
 267 static always_inline void gen_optimize_fprf (void)
 268 {
 269 #if defined(OPTIMIZE_FPRF_UPDATE)
 270     uint16_t **ptr;
 271
 272     for (ptr = gen_fprf_buf; ptr != (gen_fprf_ptr - 1); ptr++)
 273         *ptr = INDEX_op_nop1;
 274     gen_fprf_ptr = gen_fprf_buf;
 275 #endif
 276 }
 277
 278 static always_inline void gen_update_nip (DisasContext *ctx, target_ulong nip)
 279 {
 280 #if defined(TARGET_PPC64)
 281     if (ctx->sf_mode)
 282         tcg_gen_movi_tl(cpu_nip, nip);
 283     else
 284 #endif
 285         tcg_gen_movi_tl(cpu_nip, (uint32_t)nip);
 286 }
 287
 288 #define GEN_EXCP(ctx, excp, error)                                            \
 289 do {                                                                          \
 290     if ((ctx)->exception == POWERPC_EXCP_NONE) {                              \
 291         gen_update_nip(ctx, (ctx)->nip);                                      \
 292     }                                                                         \
 293     gen_op_raise_exception_err((excp), (error));                              \
 294     ctx->exception = (excp);                                                  \
 295 } while (0)
 296
 297 #define GEN_EXCP_INVAL(ctx)                                                   \
 298 GEN_EXCP((ctx), POWERPC_EXCP_PROGRAM,                                         \
 299          POWERPC_EXCP_INVAL | POWERPC_EXCP_INVAL_INVAL)
 300
 301 #define GEN_EXCP_PRIVOPC(ctx)                                                 \
 302 GEN_EXCP((ctx), POWERPC_EXCP_PROGRAM,                                         \
 303          POWERPC_EXCP_INVAL | POWERPC_EXCP_PRIV_OPC)
 304
 305 #define GEN_EXCP_PRIVREG(ctx)                                                 \
 306 GEN_EXCP((ctx), POWERPC_EXCP_PROGRAM,                                         \
 307          POWERPC_EXCP_INVAL | POWERPC_EXCP_PRIV_REG)
 308
 309 #define GEN_EXCP_NO_FP(ctx)                                                   \
 310 GEN_EXCP(ctx, POWERPC_EXCP_FPU, 0)
 311
 312 #define GEN_EXCP_NO_AP(ctx)                                                   \
 313 GEN_EXCP(ctx, POWERPC_EXCP_APU, 0)
 314
 315 #define GEN_EXCP_NO_VR(ctx)                                                   \
 316 GEN_EXCP(ctx, POWERPC_EXCP_VPU, 0)
 317
 318 /* Stop translation */
 319 static always_inline void GEN_STOP (DisasContext *ctx)
 320 {
 321     gen_update_nip(ctx, ctx->nip);
 322     ctx->exception = POWERPC_EXCP_STOP;
 323 }
 324
 325 /* No need to update nip here, as execution flow will change */
 326 static always_inline void GEN_SYNC (DisasContext *ctx)
 327 {
 328     ctx->exception = POWERPC_EXCP_SYNC;
 329 }
 330
 331 #define GEN_HANDLER(name, opc1, opc2, opc3, inval, type)                      \
 332 static void gen_##name (DisasContext *ctx);                                   \
 333 GEN_OPCODE(name, opc1, opc2, opc3, inval, type);                              \
 334 static void gen_##name (DisasContext *ctx)
 335
 336 #define GEN_HANDLER2(name, onam, opc1, opc2, opc3, inval, type)               \
 337 static void gen_##name (DisasContext *ctx);                                   \
 338 GEN_OPCODE2(name, onam, opc1, opc2, opc3, inval, type);                       \
 339 static void gen_##name (DisasContext *ctx)
 340
 341 typedef struct opcode_t {
 342     unsigned char opc1, opc2, opc3;
 343 #if HOST_LONG_BITS == 64 /* Explicitly align to 64 bits */
 344     unsigned char pad[5];
 345 #else
 346     unsigned char pad[1];
 347 #endif
 348     opc_handler_t handler;
 349     const char *oname;
 350 } opcode_t;
 351
 352 /*****************************************************************************/
 353 /***                           Instruction decoding                        ***/
 354 #define EXTRACT_HELPER(name, shift, nb)                                       \
 355 static always_inline uint32_t name (uint32_t opcode)                          \
 356 {                                                                             \
 357     return (opcode >> (shift)) & ((1 << (nb)) - 1);                           \
 358 }
 359
 360 #define EXTRACT_SHELPER(name, shift, nb)                                      \
 361 static always_inline int32_t name (uint32_t opcode)                           \
 362 {                                                                             \
 363     return (int16_t)((opcode >> (shift)) & ((1 << (nb)) - 1));                \
 364 }
 365
 366 /* Opcode part 1 */
 367 EXTRACT_HELPER(opc1, 26, 6);
 368 /* Opcode part 2 */
 369 EXTRACT_HELPER(opc2, 1, 5);
 370 /* Opcode part 3 */
 371 EXTRACT_HELPER(opc3, 6, 5);
 372 /* Update Cr0 flags */
 373 EXTRACT_HELPER(Rc, 0, 1);
 374 /* Destination */
 375 EXTRACT_HELPER(rD, 21, 5);
 376 /* Source */
 377 EXTRACT_HELPER(rS, 21, 5);
 378 /* First operand */
 379 EXTRACT_HELPER(rA, 16, 5);
 380 /* Second operand */
 381 EXTRACT_HELPER(rB, 11, 5);
 382 /* Third operand */
 383 EXTRACT_HELPER(rC, 6, 5);
 384 /***                               Get CRn                                 ***/
 385 EXTRACT_HELPER(crfD, 23, 3);
 386 EXTRACT_HELPER(crfS, 18, 3);
 387 EXTRACT_HELPER(crbD, 21, 5);
 388 EXTRACT_HELPER(crbA, 16, 5);
 389 EXTRACT_HELPER(crbB, 11, 5);
 390 /* SPR / TBL */
 391 EXTRACT_HELPER(_SPR, 11, 10);
 392 static always_inline uint32_t SPR (uint32_t opcode)
 393 {
 394     uint32_t sprn = _SPR(opcode);
 395
 396     return ((sprn >> 5) & 0x1F) | ((sprn & 0x1F) << 5);
 397 }
 398 /***                              Get constants                            ***/
 399 EXTRACT_HELPER(IMM, 12, 8);
 400 /* 16 bits signed immediate value */
 401 EXTRACT_SHELPER(SIMM, 0, 16);
 402 /* 16 bits unsigned immediate value */
 403 EXTRACT_HELPER(UIMM, 0, 16);
 404 /* Bit count */
 405 EXTRACT_HELPER(NB, 11, 5);
 406 /* Shift count */
 407 EXTRACT_HELPER(SH, 11, 5);
 408 /* Mask start */
 409 EXTRACT_HELPER(MB, 6, 5);
 410 /* Mask end */
 411 EXTRACT_HELPER(ME, 1, 5);
 412 /* Trap operand */
 413 EXTRACT_HELPER(TO, 21, 5);
 414
 415 EXTRACT_HELPER(CRM, 12, 8);
 416 EXTRACT_HELPER(FM, 17, 8);
 417 EXTRACT_HELPER(SR, 16, 4);
 418 EXTRACT_HELPER(FPIMM, 12, 4);
 419
 420 /***                            Jump target decoding                       ***/
 421 /* Displacement */
 422 EXTRACT_SHELPER(d, 0, 16);
 423 /* Immediate address */
 424 static always_inline target_ulong LI (uint32_t opcode)
 425 {
 426     return (opcode >> 0) & 0x03FFFFFC;
 427 }
 428
 429 static always_inline uint32_t BD (uint32_t opcode)
 430 {
 431     return (opcode >> 0) & 0xFFFC;
 432 }
 433
 434 EXTRACT_HELPER(BO, 21, 5);
 435 EXTRACT_HELPER(BI, 16, 5);
 436 /* Absolute/relative address */
 437 EXTRACT_HELPER(AA, 1, 1);
 438 /* Link */
 439 EXTRACT_HELPER(LK, 0, 1);
 440
 441 /* Create a mask between <start> and <end> bits */
 442 static always_inline target_ulong MASK (uint32_t start, uint32_t end)
 443 {
 444     target_ulong ret;
 445
 446 #if defined(TARGET_PPC64)
 447     if (likely(start == 0)) {
 448         ret = UINT64_MAX << (63 - end);
 449     } else if (likely(end == 63)) {
 450         ret = UINT64_MAX >> start;
 451     }
 452 #else
 453     if (likely(start == 0)) {
 454         ret = UINT32_MAX << (31  - end);
 455     } else if (likely(end == 31)) {
 456         ret = UINT32_MAX >> start;
 457     }
 458 #endif
 459     else {
 460         ret = (((target_ulong)(-1ULL)) >> (start)) ^
 461             (((target_ulong)(-1ULL) >> (end)) >> 1);
 462         if (unlikely(start > end))
 463             return ~ret;
 464     }
 465
 466     return ret;
 467 }
 468
 469 /*****************************************************************************/
 470 /* PowerPC Instructions types definitions                                    */
 471 enum {
 472     PPC_NONE           = 0x0000000000000000ULL,
 473     /* PowerPC base instructions set                                         */
 474     PPC_INSNS_BASE     = 0x0000000000000001ULL,
 475     /*   integer operations instructions                                     */
 476 #define PPC_INTEGER PPC_INSNS_BASE
 477     /*   flow control instructions                                           */
 478 #define PPC_FLOW    PPC_INSNS_BASE
 479     /*   virtual memory instructions                                         */
 480 #define PPC_MEM     PPC_INSNS_BASE
 481     /*   ld/st with reservation instructions                                 */
 482 #define PPC_RES     PPC_INSNS_BASE
 483     /*   spr/msr access instructions                                         */
 484 #define PPC_MISC    PPC_INSNS_BASE
 485     /* Deprecated instruction sets                                           */
 486     /*   Original POWER instruction set                                      */
 487     PPC_POWER          = 0x0000000000000002ULL,
 488     /*   POWER2 instruction set extension                                    */
 489     PPC_POWER2         = 0x0000000000000004ULL,
 490     /*   Power RTC support                                                   */
 491     PPC_POWER_RTC      = 0x0000000000000008ULL,
 492     /*   Power-to-PowerPC bridge (601)                                       */
 493     PPC_POWER_BR       = 0x0000000000000010ULL,
 494     /* 64 bits PowerPC instruction set                                       */
 495     PPC_64B            = 0x0000000000000020ULL,
 496     /*   New 64 bits extensions (PowerPC 2.0x)                               */
 497     PPC_64BX           = 0x0000000000000040ULL,
 498     /*   64 bits hypervisor extensions                                       */
 499     PPC_64H            = 0x0000000000000080ULL,
 500     /*   New wait instruction (PowerPC 2.0x)                                 */
 501     PPC_WAIT           = 0x0000000000000100ULL,
 502     /*   Time base mftb instruction                                          */
 503     PPC_MFTB           = 0x0000000000000200ULL,
 504
 505     /* Fixed-point unit extensions                                           */
 506     /*   PowerPC 602 specific                                                */
 507     PPC_602_SPEC       = 0x0000000000000400ULL,
 508     /*   isel instruction                                                    */
 509     PPC_ISEL           = 0x0000000000000800ULL,
 510     /*   popcntb instruction                                                 */
 511     PPC_POPCNTB        = 0x0000000000001000ULL,
 512     /*   string load / store                                                 */
 513     PPC_STRING         = 0x0000000000002000ULL,
 514
 515     /* Floating-point unit extensions                                        */
 516     /*   Optional floating point instructions                                */
 517     PPC_FLOAT          = 0x0000000000010000ULL,
 518     /* New floating-point extensions (PowerPC 2.0x)                          */
 519     PPC_FLOAT_EXT      = 0x0000000000020000ULL,
 520     PPC_FLOAT_FSQRT    = 0x0000000000040000ULL,
 521     PPC_FLOAT_FRES     = 0x0000000000080000ULL,
 522     PPC_FLOAT_FRSQRTE  = 0x0000000000100000ULL,
 523     PPC_FLOAT_FRSQRTES = 0x0000000000200000ULL,
 524     PPC_FLOAT_FSEL     = 0x0000000000400000ULL,
 525     PPC_FLOAT_STFIWX   = 0x0000000000800000ULL,
 526
 527     /* Vector/SIMD extensions                                                */
 528     /*   Altivec support                                                     */
 529     PPC_ALTIVEC        = 0x0000000001000000ULL,
 530     /*   PowerPC 2.03 SPE extension                                          */
 531     PPC_SPE            = 0x0000000002000000ULL,
 532     /*   PowerPC 2.03 SPE floating-point extension                           */
 533     PPC_SPEFPU         = 0x0000000004000000ULL,
 534
 535     /* Optional memory control instructions                                  */
 536     PPC_MEM_TLBIA      = 0x0000000010000000ULL,
 537     PPC_MEM_TLBIE      = 0x0000000020000000ULL,
 538     PPC_MEM_TLBSYNC    = 0x0000000040000000ULL,
 539     /*   sync instruction                                                    */
 540     PPC_MEM_SYNC       = 0x0000000080000000ULL,
 541     /*   eieio instruction                                                   */
 542     PPC_MEM_EIEIO      = 0x0000000100000000ULL,
 543
 544     /* Cache control instructions                                            */
 545     PPC_CACHE          = 0x0000000200000000ULL,
 546     /*   icbi instruction                                                    */
 547     PPC_CACHE_ICBI     = 0x0000000400000000ULL,
 548     /*   dcbz instruction with fixed cache line size                         */
 549     PPC_CACHE_DCBZ     = 0x0000000800000000ULL,
 550     /*   dcbz instruction with tunable cache line size                       */
 551     PPC_CACHE_DCBZT    = 0x0000001000000000ULL,
 552     /*   dcba instruction                                                    */
 553     PPC_CACHE_DCBA     = 0x0000002000000000ULL,
 554     /*   Freescale cache locking instructions                                */
 555     PPC_CACHE_LOCK     = 0x0000004000000000ULL,
 556
 557     /* MMU related extensions                                                */
 558     /*   external control instructions                                       */
 559     PPC_EXTERN         = 0x0000010000000000ULL,
 560     /*   segment register access instructions                                */
 561     PPC_SEGMENT        = 0x0000020000000000ULL,
 562     /*   PowerPC 6xx TLB management instructions                             */
 563     PPC_6xx_TLB        = 0x0000040000000000ULL,
 564     /* PowerPC 74xx TLB management instructions                              */
 565     PPC_74xx_TLB       = 0x0000080000000000ULL,
 566     /*   PowerPC 40x TLB management instructions                             */
 567     PPC_40x_TLB        = 0x0000100000000000ULL,
 568     /*   segment register access instructions for PowerPC 64 "bridge"        */
 569     PPC_SEGMENT_64B    = 0x0000200000000000ULL,
 570     /*   SLB management                                                      */
 571     PPC_SLBI           = 0x0000400000000000ULL,
 572
 573     /* Embedded PowerPC dedicated instructions                               */
 574     PPC_WRTEE          = 0x0001000000000000ULL,
 575     /* PowerPC 40x exception model                                           */
 576     PPC_40x_EXCP       = 0x0002000000000000ULL,
 577     /* PowerPC 405 Mac instructions                                          */
 578     PPC_405_MAC        = 0x0004000000000000ULL,
 579     /* PowerPC 440 specific instructions                                     */
 580     PPC_440_SPEC       = 0x0008000000000000ULL,
 581     /* BookE (embedded) PowerPC specification                                */
 582     PPC_BOOKE          = 0x0010000000000000ULL,
 583     /* mfapidi instruction                                                   */
 584     PPC_MFAPIDI        = 0x0020000000000000ULL,
 585     /* tlbiva instruction                                                    */
 586     PPC_TLBIVA         = 0x0040000000000000ULL,
 587     /* tlbivax instruction                                                   */
 588     PPC_TLBIVAX        = 0x0080000000000000ULL,
 589     /* PowerPC 4xx dedicated instructions                                    */
 590     PPC_4xx_COMMON     = 0x0100000000000000ULL,
 591     /* PowerPC 40x ibct instructions                                         */
 592     PPC_40x_ICBT       = 0x0200000000000000ULL,
 593     /* rfmci is not implemented in all BookE PowerPC                         */
 594     PPC_RFMCI          = 0x0400000000000000ULL,
 595     /* rfdi instruction                                                      */
 596     PPC_RFDI           = 0x0800000000000000ULL,
 597     /* DCR accesses                                                          */
 598     PPC_DCR            = 0x1000000000000000ULL,
 599     /* DCR extended accesse                                                  */
 600     PPC_DCRX           = 0x2000000000000000ULL,
 601     /* user-mode DCR access, implemented in PowerPC 460                      */
 602     PPC_DCRUX          = 0x4000000000000000ULL,
 603 };
 604
 605 /*****************************************************************************/
 606 /* PowerPC instructions table                                                */
 607 #if HOST_LONG_BITS == 64
 608 #define OPC_ALIGN 8
 609 #else
 610 #define OPC_ALIGN 4
 611 #endif
 612 #if defined(__APPLE__)
 613 #define OPCODES_SECTION                                                       \
 614     __attribute__ ((section("__TEXT,__opcodes"), unused, aligned (OPC_ALIGN) ))
 615 #else
 616 #define OPCODES_SECTION                                                       \
 617     __attribute__ ((section(".opcodes"), unused, aligned (OPC_ALIGN) ))
 618 #endif
 619
 620 #if defined(DO_PPC_STATISTICS)
 621 #define GEN_OPCODE(name, op1, op2, op3, invl, _typ)                           \
 622 OPCODES_SECTION opcode_t opc_##name = {                                       \
 623     .opc1 = op1,                                                              \
 624     .opc2 = op2,                                                              \
 625     .opc3 = op3,                                                              \
 626     .pad  = { 0, },                                                           \
 627     .handler = {                                                              \
 628         .inval   = invl,                                                      \
 629         .type = _typ,                                                         \
 630         .handler = &gen_##name,                                               \
 631         .oname = stringify(name),                                             \
 632     },                                                                        \
 633     .oname = stringify(name),                                                 \
 634 }
 635 #define GEN_OPCODE2(name, onam, op1, op2, op3, invl, _typ)                    \
 636 OPCODES_SECTION opcode_t opc_##name = {                                       \
 637     .opc1 = op1,                                                              \
 638     .opc2 = op2,                                                              \
 639     .opc3 = op3,                                                              \
 640     .pad  = { 0, },                                                           \
 641     .handler = {                                                              \
 642         .inval   = invl,                                                      \
 643         .type = _typ,                                                         \
 644         .handler = &gen_##name,                                               \
 645         .oname = onam,                                                        \
 646     },                                                                        \
 647     .oname = onam,                                                            \
 648 }
 649 #else
 650 #define GEN_OPCODE(name, op1, op2, op3, invl, _typ)                           \
 651 OPCODES_SECTION opcode_t opc_##name = {                                       \
 652     .opc1 = op1,                                                              \
 653     .opc2 = op2,                                                              \
 654     .opc3 = op3,                                                              \
 655     .pad  = { 0, },                                                           \
 656     .handler = {                                                              \
 657         .inval   = invl,                                                      \
 658         .type = _typ,                                                         \
 659         .handler = &gen_##name,                                               \
 660     },                                                                        \
 661     .oname = stringify(name),                                                 \
 662 }
 663 #define GEN_OPCODE2(name, onam, op1, op2, op3, invl, _typ)                    \
 664 OPCODES_SECTION opcode_t opc_##name = {                                       \
 665     .opc1 = op1,                                                              \
 666     .opc2 = op2,                                                              \
 667     .opc3 = op3,                                                              \
 668     .pad  = { 0, },                                                           \
 669     .handler = {                                                              \
 670         .inval   = invl,                                                      \
 671         .type = _typ,                                                         \
 672         .handler = &gen_##name,                                               \
 673     },                                                                        \
 674     .oname = onam,                                                            \
 675 }
 676 #endif
 677
 678 #define GEN_OPCODE_MARK(name)                                                 \
 679 OPCODES_SECTION opcode_t opc_##name = {                                       \
 680     .opc1 = 0xFF,                                                             \
 681     .opc2 = 0xFF,                                                             \
 682     .opc3 = 0xFF,                                                             \
 683     .pad  = { 0, },                                                           \
 684     .handler = {                                                              \
 685         .inval   = 0x00000000,                                                \
 686         .type = 0x00,                                                         \
 687         .handler = NULL,                                                      \
 688     },                                                                        \
 689     .oname = stringify(name),                                                 \
 690 }
 691
 692 /* Start opcode list */
 693 GEN_OPCODE_MARK(start);
 694
 695 /* Invalid instruction */
 696 GEN_HANDLER(invalid, 0x00, 0x00, 0x00, 0xFFFFFFFF, PPC_NONE)
 697 {
 698     GEN_EXCP_INVAL(ctx);
 699 }
 700
 701 static opc_handler_t invalid_handler = {
 702     .inval   = 0xFFFFFFFF,
 703     .type    = PPC_NONE,
 704     .handler = gen_invalid,
 705 };
 706
 707 /***                           Integer arithmetic                          ***/
 708 #define __GEN_INT_ARITH2(name, opc1, opc2, opc3, inval, type)                 \
 709 GEN_HANDLER(name, opc1, opc2, opc3, inval, type)                              \
 710 {                                                                             \
 711     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);                       \
 712     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);                       \
 713     gen_op_##name();                                                          \
 714     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);                       \
 715     if (unlikely(Rc(ctx->opcode) != 0))                                       \
 716         gen_set_Rc0(ctx);                                                     \
 717 }
 718
 719 #define __GEN_INT_ARITH2_O(name, opc1, opc2, opc3, inval, type)               \
 720 GEN_HANDLER(name, opc1, opc2, opc3, inval, type)                              \
 721 {                                                                             \
 722     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);                       \
 723     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);                       \
 724     gen_op_##name();                                                          \
 725     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);                       \
 726     if (unlikely(Rc(ctx->opcode) != 0))                                       \
 727         gen_set_Rc0(ctx);                                                     \
 728 }
 729
 730 #define __GEN_INT_ARITH1(name, opc1, opc2, opc3, type)                        \
 731 GEN_HANDLER(name, opc1, opc2, opc3, 0x0000F800, type)                         \
 732 {                                                                             \
 733     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);                       \
 734     gen_op_##name();                                                          \
 735     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);                       \
 736     if (unlikely(Rc(ctx->opcode) != 0))                                       \
 737         gen_set_Rc0(ctx);                                                     \
 738 }
 739 #define __GEN_INT_ARITH1_O(name, opc1, opc2, opc3, type)                      \
 740 GEN_HANDLER(name, opc1, opc2, opc3, 0x0000F800, type)                         \
 741 {                                                                             \
 742     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);                       \
 743     gen_op_##name();                                                          \
 744     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);                       \
 745     if (unlikely(Rc(ctx->opcode) != 0))                                       \
 746         gen_set_Rc0(ctx);                                                     \
 747 }
 748
 749 /* Two operands arithmetic functions */
 750 #define GEN_INT_ARITH2(name, opc1, opc2, opc3, type)                          \
 751 __GEN_INT_ARITH2(name, opc1, opc2, opc3, 0x00000000, type)                    \
 752 __GEN_INT_ARITH2_O(name##o, opc1, opc2, opc3 | 0x10, 0x00000000, type)
 753
 754 /* Two operands arithmetic functions with no overflow allowed */
 755 #define GEN_INT_ARITHN(name, opc1, opc2, opc3, type)                          \
 756 __GEN_INT_ARITH2(name, opc1, opc2, opc3, 0x00000400, type)
 757
 758 /* One operand arithmetic functions */
 759 #define GEN_INT_ARITH1(name, opc1, opc2, opc3, type)                          \
 760 __GEN_INT_ARITH1(name, opc1, opc2, opc3, type)                                \
 761 __GEN_INT_ARITH1_O(name##o, opc1, opc2, opc3 | 0x10, type)
 762
 763 #if defined(TARGET_PPC64)
 764 #define __GEN_INT_ARITH2_64(name, opc1, opc2, opc3, inval, type)              \
 765 GEN_HANDLER(name, opc1, opc2, opc3, inval, type)                              \
 766 {                                                                             \
 767     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);                       \
 768     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);                       \
 769     if (ctx->sf_mode)                                                         \
 770         gen_op_##name##_64();                                                 \
 771     else                                                                      \
 772         gen_op_##name();                                                      \
 773     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);                       \
 774     if (unlikely(Rc(ctx->opcode) != 0))                                       \
 775         gen_set_Rc0(ctx);                                                     \
 776 }
 777
 778 #define __GEN_INT_ARITH2_O_64(name, opc1, opc2, opc3, inval, type)            \
 779 GEN_HANDLER(name, opc1, opc2, opc3, inval, type)                              \
 780 {                                                                             \
 781     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);                       \
 782     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);                       \
 783     if (ctx->sf_mode)                                                         \
 784         gen_op_##name##_64();                                                 \
 785     else                                                                      \
 786         gen_op_##name();                                                      \
 787     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);                       \
 788     if (unlikely(Rc(ctx->opcode) != 0))                                       \
 789         gen_set_Rc0(ctx);                                                     \
 790 }
 791
 792 #define __GEN_INT_ARITH1_64(name, opc1, opc2, opc3, type)                     \
 793 GEN_HANDLER(name, opc1, opc2, opc3, 0x0000F800, type)                         \
 794 {                                                                             \
 795     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);                       \
 796     if (ctx->sf_mode)                                                         \
 797         gen_op_##name##_64();                                                 \
 798     else                                                                      \
 799         gen_op_##name();                                                      \
 800     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);                       \
 801     if (unlikely(Rc(ctx->opcode) != 0))                                       \
 802         gen_set_Rc0(ctx);                                                     \
 803 }
 804 #define __GEN_INT_ARITH1_O_64(name, opc1, opc2, opc3, type)                   \
 805 GEN_HANDLER(name, opc1, opc2, opc3, 0x0000F800, type)                         \
 806 {                                                                             \
 807     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);                       \
 808     if (ctx->sf_mode)                                                         \
 809         gen_op_##name##_64();                                                 \
 810     else                                                                      \
 811         gen_op_##name();                                                      \
 812     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);                       \
 813     if (unlikely(Rc(ctx->opcode) != 0))                                       \
 814         gen_set_Rc0(ctx);                                                     \
 815 }
 816
 817 /* Two operands arithmetic functions */
 818 #define GEN_INT_ARITH2_64(name, opc1, opc2, opc3, type)                       \
 819 __GEN_INT_ARITH2_64(name, opc1, opc2, opc3, 0x00000000, type)                 \
 820 __GEN_INT_ARITH2_O_64(name##o, opc1, opc2, opc3 | 0x10, 0x00000000, type)
 821
 822 /* Two operands arithmetic functions with no overflow allowed */
 823 #define GEN_INT_ARITHN_64(name, opc1, opc2, opc3, type)                       \
 824 __GEN_INT_ARITH2_64(name, opc1, opc2, opc3, 0x00000400, type)
 825
 826 /* One operand arithmetic functions */
 827 #define GEN_INT_ARITH1_64(name, opc1, opc2, opc3, type)                       \
 828 __GEN_INT_ARITH1_64(name, opc1, opc2, opc3, type)                             \
 829 __GEN_INT_ARITH1_O_64(name##o, opc1, opc2, opc3 | 0x10, type)
 830 #else
 831 #define GEN_INT_ARITH2_64 GEN_INT_ARITH2
 832 #define GEN_INT_ARITHN_64 GEN_INT_ARITHN
 833 #define GEN_INT_ARITH1_64 GEN_INT_ARITH1
 834 #endif
 835
 836 /* add    add.    addo    addo.    */
 837 static always_inline void gen_op_add (void)
 838 {
 839     tcg_gen_add_tl(cpu_T[0], cpu_T[0], cpu_T[1]);
 840 }
 841 static always_inline void gen_op_addo (void)
 842 {
 843     tcg_gen_mov_tl(cpu_T[2], cpu_T[0]);
 844     tcg_gen_add_tl(cpu_T[0], cpu_T[0], cpu_T[1]);
 845     gen_op_check_addo();
 846 }
 847 #if defined(TARGET_PPC64)
 848 #define gen_op_add_64 gen_op_add
 849 static always_inline void gen_op_addo_64 (void)
 850 {
 851     tcg_gen_mov_tl(cpu_T[2], cpu_T[0]);
 852     tcg_gen_add_tl(cpu_T[0], cpu_T[0], cpu_T[1]);
 853     gen_op_check_addo_64();
 854 }
 855 #endif
 856 GEN_INT_ARITH2_64 (add,    0x1F, 0x0A, 0x08, PPC_INTEGER);
 857 /* addc   addc.   addco   addco.   */
 858 static always_inline void gen_op_addc (void)
 859 {
 860     tcg_gen_mov_tl(cpu_T[2], cpu_T[0]);
 861     tcg_gen_add_tl(cpu_T[0], cpu_T[0], cpu_T[1]);
 862     gen_op_check_addc();
 863 }
 864 static always_inline void gen_op_addco (void)
 865 {
 866     tcg_gen_mov_tl(cpu_T[2], cpu_T[0]);
 867     tcg_gen_add_tl(cpu_T[0], cpu_T[0], cpu_T[1]);
 868     gen_op_check_addc();
 869     gen_op_check_addo();
 870 }
 871 #if defined(TARGET_PPC64)
 872 static always_inline void gen_op_addc_64 (void)
 873 {
 874     tcg_gen_mov_tl(cpu_T[2], cpu_T[0]);
 875     tcg_gen_add_tl(cpu_T[0], cpu_T[0], cpu_T[1]);
 876     gen_op_check_addc_64();
 877 }
 878 static always_inline void gen_op_addco_64 (void)
 879 {
 880     tcg_gen_mov_tl(cpu_T[2], cpu_T[0]);
 881     tcg_gen_add_tl(cpu_T[0], cpu_T[0], cpu_T[1]);
 882     gen_op_check_addc_64();
 883     gen_op_check_addo_64();
 884 }
 885 #endif
 886 GEN_INT_ARITH2_64 (addc,   0x1F, 0x0A, 0x00, PPC_INTEGER);
 887 /* adde   adde.   addeo   addeo.   */
 888 static always_inline void gen_op_addeo (void)
 889 {
 890     tcg_gen_mov_tl(cpu_T[2], cpu_T[0]);
 891     gen_op_adde();
 892     gen_op_check_addo();
 893 }
 894 #if defined(TARGET_PPC64)
 895 static always_inline void gen_op_addeo_64 (void)
 896 {
 897     tcg_gen_mov_tl(cpu_T[2], cpu_T[0]);
 898     gen_op_adde_64();
 899     gen_op_check_addo_64();
 900 }
 901 #endif
 902 GEN_INT_ARITH2_64 (adde,   0x1F, 0x0A, 0x04, PPC_INTEGER);
 903 /* addme  addme.  addmeo  addmeo.  */
 904 static always_inline void gen_op_addme (void)
 905 {
 906     tcg_gen_mov_tl(cpu_T[1], cpu_T[0]);
 907     gen_op_add_me();
 908 }
 909 #if defined(TARGET_PPC64)
 910 static always_inline void gen_op_addme_64 (void)
 911 {
 912     tcg_gen_mov_tl(cpu_T[1], cpu_T[0]);
 913     gen_op_add_me_64();
 914 }
 915 #endif
 916 GEN_INT_ARITH1_64 (addme,  0x1F, 0x0A, 0x07, PPC_INTEGER);
 917 /* addze  addze.  addzeo  addzeo.  */
 918 static always_inline void gen_op_addze (void)
 919 {
 920     tcg_gen_mov_tl(cpu_T[2], cpu_T[0]);
 921     gen_op_add_ze();
 922     gen_op_check_addc();
 923 }
 924 static always_inline void gen_op_addzeo (void)
 925 {
 926     tcg_gen_mov_tl(cpu_T[2], cpu_T[0]);
 927     gen_op_add_ze();
 928     gen_op_check_addc();
 929     gen_op_check_addo();
 930 }
 931 #if defined(TARGET_PPC64)
 932 static always_inline void gen_op_addze_64 (void)
 933 {
 934     tcg_gen_mov_tl(cpu_T[2], cpu_T[0]);
 935     gen_op_add_ze();
 936     gen_op_check_addc_64();
 937 }
 938 static always_inline void gen_op_addzeo_64 (void)
 939 {
 940     tcg_gen_mov_tl(cpu_T[2], cpu_T[0]);
 941     gen_op_add_ze();
 942     gen_op_check_addc_64();
 943     gen_op_check_addo_64();
 944 }
 945 #endif
 946 GEN_INT_ARITH1_64 (addze,  0x1F, 0x0A, 0x06, PPC_INTEGER);
 947 /* divw   divw.   divwo   divwo.   */
 948 GEN_INT_ARITH2 (divw,   0x1F, 0x0B, 0x0F, PPC_INTEGER);
 949 /* divwu  divwu.  divwuo  divwuo.  */
 950 GEN_INT_ARITH2 (divwu,  0x1F, 0x0B, 0x0E, PPC_INTEGER);
 951 /* mulhw  mulhw.                   */
 952 GEN_INT_ARITHN (mulhw,  0x1F, 0x0B, 0x02, PPC_INTEGER);
 953 /* mulhwu mulhwu.                  */
 954 GEN_INT_ARITHN (mulhwu, 0x1F, 0x0B, 0x00, PPC_INTEGER);
 955 /* mullw  mullw.  mullwo  mullwo.  */
 956 GEN_INT_ARITH2 (mullw,  0x1F, 0x0B, 0x07, PPC_INTEGER);
 957 /* neg    neg.    nego    nego.    */
 958 GEN_INT_ARITH1_64 (neg,    0x1F, 0x08, 0x03, PPC_INTEGER);
 959 /* subf   subf.   subfo   subfo.   */
 960 static always_inline void gen_op_subf (void)
 961 {
 962     tcg_gen_sub_tl(cpu_T[0], cpu_T[1], cpu_T[0]);
 963 }
 964 static always_inline void gen_op_subfo (void)
 965 {
 966     tcg_gen_not_tl(cpu_T[2], cpu_T[0]);
 967     tcg_gen_sub_tl(cpu_T[0], cpu_T[1], cpu_T[0]);
 968     gen_op_check_addo();
 969 }
 970 #if defined(TARGET_PPC64)
 971 #define gen_op_subf_64 gen_op_subf
 972 static always_inline void gen_op_subfo_64 (void)
 973 {
 974     tcg_gen_not_i64(cpu_T[2], cpu_T[0]);
 975     tcg_gen_sub_tl(cpu_T[0], cpu_T[1], cpu_T[0]);
 976     gen_op_check_addo_64();
 977 }
 978 #endif
 979 GEN_INT_ARITH2_64 (subf,   0x1F, 0x08, 0x01, PPC_INTEGER);
 980 /* subfc  subfc.  subfco  subfco.  */
 981 static always_inline void gen_op_subfc (void)
 982 {
 983     tcg_gen_sub_tl(cpu_T[0], cpu_T[1], cpu_T[0]);
 984     gen_op_check_subfc();
 985 }
 986 static always_inline void gen_op_subfco (void)
 987 {
 988     tcg_gen_not_tl(cpu_T[2], cpu_T[0]);
 989     tcg_gen_sub_tl(cpu_T[0], cpu_T[1], cpu_T[0]);
 990     gen_op_check_subfc();
 991     gen_op_check_addo();
 992 }
 993 #if defined(TARGET_PPC64)
 994 static always_inline void gen_op_subfc_64 (void)
 995 {
 996     tcg_gen_sub_tl(cpu_T[0], cpu_T[1], cpu_T[0]);
 997     gen_op_check_subfc_64();
 998 }
 999 static always_inline void gen_op_subfco_64 (void)
1000 {
1001     tcg_gen_not_i64(cpu_T[2], cpu_T[0]);
1002     tcg_gen_sub_tl(cpu_T[0], cpu_T[1], cpu_T[0]);
1003     gen_op_check_subfc_64();
1004     gen_op_check_addo_64();
1005 }
1006 #endif
1007 GEN_INT_ARITH2_64 (subfc,  0x1F, 0x08, 0x00, PPC_INTEGER);
1008 /* subfe  subfe.  subfeo  subfeo.  */
1009 static always_inline void gen_op_subfeo (void)
1010 {
1011     tcg_gen_not_tl(cpu_T[2], cpu_T[0]);
1012     gen_op_subfe();
1013     gen_op_check_addo();
1014 }
1015 #if defined(TARGET_PPC64)
1016 #define gen_op_subfe_64 gen_op_subfe
1017 static always_inline void gen_op_subfeo_64 (void)
1018 {
1019     tcg_gen_not_i64(cpu_T[2], cpu_T[0]);
1020     gen_op_subfe_64();
1021     gen_op_check_addo_64();
1022 }
1023 #endif
1024 GEN_INT_ARITH2_64 (subfe,  0x1F, 0x08, 0x04, PPC_INTEGER);
1025 /* subfme subfme. subfmeo subfmeo. */
1026 GEN_INT_ARITH1_64 (subfme, 0x1F, 0x08, 0x07, PPC_INTEGER);
1027 /* subfze subfze. subfzeo subfzeo. */
1028 GEN_INT_ARITH1_64 (subfze, 0x1F, 0x08, 0x06, PPC_INTEGER);
1029 /* addi */
1030 GEN_HANDLER(addi, 0x0E, 0xFF, 0xFF, 0x00000000, PPC_INTEGER)
1031 {
1032     target_long simm = SIMM(ctx->opcode);
1033
1034     if (rA(ctx->opcode) == 0) {
1035         /* li case */
1036         tcg_gen_movi_tl(cpu_T[0], simm);
1037     } else {
1038         tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
1039         if (likely(simm != 0))
1040             tcg_gen_addi_tl(cpu_T[0], cpu_T[0], simm);
1041     }
1042     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
1043 }
1044 /* addic */
1045 GEN_HANDLER(addic, 0x0C, 0xFF, 0xFF, 0x00000000, PPC_INTEGER)
1046 {
1047     target_long simm = SIMM(ctx->opcode);
1048
1049     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
1050     if (likely(simm != 0)) {
1051         tcg_gen_mov_tl(cpu_T[2], cpu_T[0]);
1052         tcg_gen_addi_tl(cpu_T[0], cpu_T[0], simm);
1053 #if defined(TARGET_PPC64)
1054         if (ctx->sf_mode)
1055             gen_op_check_addc_64();
1056         else
1057 #endif
1058             gen_op_check_addc();
1059     } else {
1060         gen_op_clear_xer_ca();
1061     }
1062     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
1063 }
1064 /* addic. */
1065 GEN_HANDLER2(addic_, "addic.", 0x0D, 0xFF, 0xFF, 0x00000000, PPC_INTEGER)
1066 {
1067     target_long simm = SIMM(ctx->opcode);
1068
1069     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
1070     if (likely(simm != 0)) {
1071         tcg_gen_mov_tl(cpu_T[2], cpu_T[0]);
1072         tcg_gen_addi_tl(cpu_T[0], cpu_T[0], simm);
1073 #if defined(TARGET_PPC64)
1074         if (ctx->sf_mode)
1075             gen_op_check_addc_64();
1076         else
1077 #endif
1078             gen_op_check_addc();
1079     } else {
1080         gen_op_clear_xer_ca();
1081     }
1082     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
1083     gen_set_Rc0(ctx);
1084 }
1085 /* addis */
1086 GEN_HANDLER(addis, 0x0F, 0xFF, 0xFF, 0x00000000, PPC_INTEGER)
1087 {
1088     target_long simm = SIMM(ctx->opcode);
1089
1090     if (rA(ctx->opcode) == 0) {
1091         /* lis case */
1092         tcg_gen_movi_tl(cpu_T[0], simm << 16);
1093     } else {
1094         tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
1095         if (likely(simm != 0))
1096             tcg_gen_addi_tl(cpu_T[0], cpu_T[0], simm << 16);
1097     }
1098     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
1099 }
1100 /* mulli */
1101 GEN_HANDLER(mulli, 0x07, 0xFF, 0xFF, 0x00000000, PPC_INTEGER)
1102 {
1103     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
1104     gen_op_mulli(SIMM(ctx->opcode));
1105     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
1106 }
1107 /* subfic */
1108 GEN_HANDLER(subfic, 0x08, 0xFF, 0xFF, 0x00000000, PPC_INTEGER)
1109 {
1110     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
1111 #if defined(TARGET_PPC64)
1112     if (ctx->sf_mode)
1113         gen_op_subfic_64(SIMM(ctx->opcode));
1114     else
1115 #endif
1116         gen_op_subfic(SIMM(ctx->opcode));
1117     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
1118 }
1119
1120 #if defined(TARGET_PPC64)
1121 /* mulhd  mulhd.                   */
1122 GEN_INT_ARITHN (mulhd,  0x1F, 0x09, 0x02, PPC_64B);
1123 /* mulhdu mulhdu.                  */
1124 GEN_INT_ARITHN (mulhdu, 0x1F, 0x09, 0x00, PPC_64B);
1125 /* mulld  mulld.  mulldo  mulldo.  */
1126 GEN_INT_ARITH2 (mulld,  0x1F, 0x09, 0x07, PPC_64B);
1127 /* divd   divd.   divdo   divdo.   */
1128 GEN_INT_ARITH2 (divd,   0x1F, 0x09, 0x0F, PPC_64B);
1129 /* divdu  divdu.  divduo  divduo.  */
1130 GEN_INT_ARITH2 (divdu,  0x1F, 0x09, 0x0E, PPC_64B);
1131 #endif
1132
1133 /***                           Integer comparison                          ***/
1134 #if defined(TARGET_PPC64)
1135 #define GEN_CMP(name, opc, type)                                              \
1136 GEN_HANDLER(name, 0x1F, 0x00, opc, 0x00400000, type)                          \
1137 {                                                                             \
1138     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);                       \
1139     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);                       \
1140     if (ctx->sf_mode && (ctx->opcode & 0x00200000))                           \
1141         gen_op_##name##_64();                                                 \
1142     else                                                                      \
1143         gen_op_##name();                                                      \
1144     tcg_gen_andi_i32(cpu_crf[crfD(ctx->opcode)], cpu_T[0], 0xf);              \
1145 }
1146 #else
1147 #define GEN_CMP(name, opc, type)                                              \
1148 GEN_HANDLER(name, 0x1F, 0x00, opc, 0x00400000, type)                          \
1149 {                                                                             \
1150     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);                       \
1151     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);                       \
1152     gen_op_##name();                                                          \
1153     tcg_gen_andi_i32(cpu_crf[crfD(ctx->opcode)], cpu_T[0], 0xf);              \
1154 }
1155 #endif
1156
1157 /* cmp */
1158 GEN_CMP(cmp, 0x00, PPC_INTEGER);
1159 /* cmpi */
1160 GEN_HANDLER(cmpi, 0x0B, 0xFF, 0xFF, 0x00400000, PPC_INTEGER)
1161 {
1162     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
1163 #if defined(TARGET_PPC64)
1164     if (ctx->sf_mode && (ctx->opcode & 0x00200000))
1165         gen_op_cmpi_64(SIMM(ctx->opcode));
1166     else
1167 #endif
1168         gen_op_cmpi(SIMM(ctx->opcode));
1169     tcg_gen_andi_i32(cpu_crf[crfD(ctx->opcode)], cpu_T[0], 0xf);
1170 }
1171 /* cmpl */
1172 GEN_CMP(cmpl, 0x01, PPC_INTEGER);
1173 /* cmpli */
1174 GEN_HANDLER(cmpli, 0x0A, 0xFF, 0xFF, 0x00400000, PPC_INTEGER)
1175 {
1176     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
1177 #if defined(TARGET_PPC64)
1178     if (ctx->sf_mode && (ctx->opcode & 0x00200000))
1179         gen_op_cmpli_64(UIMM(ctx->opcode));
1180     else
1181 #endif
1182         gen_op_cmpli(UIMM(ctx->opcode));
1183     tcg_gen_andi_i32(cpu_crf[crfD(ctx->opcode)], cpu_T[0], 0xf);
1184 }
1185
1186 /* isel (PowerPC 2.03 specification) */
1187 GEN_HANDLER(isel, 0x1F, 0x0F, 0xFF, 0x00000001, PPC_ISEL)
1188 {
1189     uint32_t bi = rC(ctx->opcode);
1190     uint32_t mask;
1191
1192     if (rA(ctx->opcode) == 0) {
1193         tcg_gen_movi_tl(cpu_T[0], 0);
1194     } else {
1195         tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rA(ctx->opcode)]);
1196     }
1197     tcg_gen_mov_tl(cpu_T[2], cpu_gpr[rB(ctx->opcode)]);
1198     mask = 1 << (3 - (bi & 0x03));
1199     tcg_gen_mov_i32(cpu_T[0], cpu_crf[bi >> 2]);
1200     gen_op_test_true(mask);
1201     gen_op_isel();
1202     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
1203 }
1204
1205 /***                            Integer logical                            ***/
1206 #define __GEN_LOGICAL2(name, opc2, opc3, type)                                \
1207 GEN_HANDLER(name, 0x1F, opc2, opc3, 0x00000000, type)                         \
1208 {                                                                             \
1209     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);                       \
1210     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);                       \
1211     gen_op_##name();                                                          \
1212     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);                       \
1213     if (unlikely(Rc(ctx->opcode) != 0))                                       \
1214         gen_set_Rc0(ctx);                                                     \
1215 }
1216 #define GEN_LOGICAL2(name, opc, type)                                         \
1217 __GEN_LOGICAL2(name, 0x1C, opc, type)
1218
1219 #define GEN_LOGICAL1(name, opc, type)                                         \
1220 GEN_HANDLER(name, 0x1F, 0x1A, opc, 0x00000000, type)                          \
1221 {                                                                             \
1222     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);                       \
1223     gen_op_##name();                                                          \
1224     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);                       \
1225     if (unlikely(Rc(ctx->opcode) != 0))                                       \
1226         gen_set_Rc0(ctx);                                                     \
1227 }
1228
1229 /* and & and. */
1230 GEN_LOGICAL2(and, 0x00, PPC_INTEGER);
1231 /* andc & andc. */
1232 GEN_LOGICAL2(andc, 0x01, PPC_INTEGER);
1233 /* andi. */
1234 GEN_HANDLER2(andi_, "andi.", 0x1C, 0xFF, 0xFF, 0x00000000, PPC_INTEGER)
1235 {
1236     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1237     tcg_gen_andi_tl(cpu_T[0], cpu_T[0], UIMM(ctx->opcode));
1238     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
1239     gen_set_Rc0(ctx);
1240 }
1241 /* andis. */
1242 GEN_HANDLER2(andis_, "andis.", 0x1D, 0xFF, 0xFF, 0x00000000, PPC_INTEGER)
1243 {
1244     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1245     tcg_gen_andi_tl(cpu_T[0], cpu_T[0], UIMM(ctx->opcode) << 16);
1246     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
1247     gen_set_Rc0(ctx);
1248 }
1249
1250 /* cntlzw */
1251 GEN_LOGICAL1(cntlzw, 0x00, PPC_INTEGER);
1252 /* eqv & eqv. */
1253 GEN_LOGICAL2(eqv, 0x08, PPC_INTEGER);
1254 /* extsb & extsb. */
1255 GEN_LOGICAL1(extsb, 0x1D, PPC_INTEGER);
1256 /* extsh & extsh. */
1257 GEN_LOGICAL1(extsh, 0x1C, PPC_INTEGER);
1258 /* nand & nand. */
1259 GEN_LOGICAL2(nand, 0x0E, PPC_INTEGER);
1260 /* nor & nor. */
1261 GEN_LOGICAL2(nor, 0x03, PPC_INTEGER);
1262
1263 /* or & or. */
1264 GEN_HANDLER(or, 0x1F, 0x1C, 0x0D, 0x00000000, PPC_INTEGER)
1265 {
1266     int rs, ra, rb;
1267
1268     rs = rS(ctx->opcode);
1269     ra = rA(ctx->opcode);
1270     rb = rB(ctx->opcode);
1271     /* Optimisation for mr. ri case */
1272     if (rs != ra || rs != rb) {
1273         tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rs]);
1274         if (rs != rb) {
1275             tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rb]);
1276             gen_op_or();
1277         }
1278         tcg_gen_mov_tl(cpu_gpr[ra], cpu_T[0]);
1279         if (unlikely(Rc(ctx->opcode) != 0))
1280             gen_set_Rc0(ctx);
1281     } else if (unlikely(Rc(ctx->opcode) != 0)) {
1282         tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rs]);
1283         gen_set_Rc0(ctx);
1284 #if defined(TARGET_PPC64)
1285     } else {
1286         switch (rs) {
1287         case 1:
1288             /* Set process priority to low */
1289             gen_op_store_pri(2);
1290             break;
1291         case 6:
1292             /* Set process priority to medium-low */
1293             gen_op_store_pri(3);
1294             break;
1295         case 2:
1296             /* Set process priority to normal */
1297             gen_op_store_pri(4);
1298             break;
1299 #if !defined(CONFIG_USER_ONLY)
1300         case 31:
1301             if (ctx->supervisor > 0) {
1302                 /* Set process priority to very low */
1303                 gen_op_store_pri(1);
1304             }
1305             break;
1306         case 5:
1307             if (ctx->supervisor > 0) {
1308                 /* Set process priority to medium-hight */
1309                 gen_op_store_pri(5);
1310             }
1311             break;
1312         case 3:
1313             if (ctx->supervisor > 0) {
1314                 /* Set process priority to high */
1315                 gen_op_store_pri(6);
1316             }
1317             break;
1318         case 7:
1319             if (ctx->supervisor > 1) {
1320                 /* Set process priority to very high */
1321                 gen_op_store_pri(7);
1322             }
1323             break;
1324 #endif
1325         default:
1326             /* nop */
1327             break;
1328         }
1329 #endif
1330     }
1331 }
1332
1333 /* orc & orc. */
1334 GEN_LOGICAL2(orc, 0x0C, PPC_INTEGER);
1335 /* xor & xor. */
1336 GEN_HANDLER(xor, 0x1F, 0x1C, 0x09, 0x00000000, PPC_INTEGER)
1337 {
1338     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1339     /* Optimisation for "set to zero" case */
1340     if (rS(ctx->opcode) != rB(ctx->opcode)) {
1341         tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
1342         gen_op_xor();
1343     } else {
1344         tcg_gen_movi_tl(cpu_T[0], 0);
1345     }
1346     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
1347     if (unlikely(Rc(ctx->opcode) != 0))
1348         gen_set_Rc0(ctx);
1349 }
1350 /* ori */
1351 GEN_HANDLER(ori, 0x18, 0xFF, 0xFF, 0x00000000, PPC_INTEGER)
1352 {
1353     target_ulong uimm = UIMM(ctx->opcode);
1354
1355     if (rS(ctx->opcode) == rA(ctx->opcode) && uimm == 0) {
1356         /* NOP */
1357         /* XXX: should handle special NOPs for POWER series */
1358         return;
1359     }
1360     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1361     if (likely(uimm != 0))
1362         gen_op_ori(uimm);
1363     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
1364 }
1365 /* oris */
1366 GEN_HANDLER(oris, 0x19, 0xFF, 0xFF, 0x00000000, PPC_INTEGER)
1367 {
1368     target_ulong uimm = UIMM(ctx->opcode);
1369
1370     if (rS(ctx->opcode) == rA(ctx->opcode) && uimm == 0) {
1371         /* NOP */
1372         return;
1373     }
1374     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1375     if (likely(uimm != 0))
1376         gen_op_ori(uimm << 16);
1377     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
1378 }
1379 /* xori */
1380 GEN_HANDLER(xori, 0x1A, 0xFF, 0xFF, 0x00000000, PPC_INTEGER)
1381 {
1382     target_ulong uimm = UIMM(ctx->opcode);
1383
1384     if (rS(ctx->opcode) == rA(ctx->opcode) && uimm == 0) {
1385         /* NOP */
1386         return;
1387     }
1388     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1389     if (likely(uimm != 0))
1390         gen_op_xori(uimm);
1391     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
1392 }
1393
1394 /* xoris */
1395 GEN_HANDLER(xoris, 0x1B, 0xFF, 0xFF, 0x00000000, PPC_INTEGER)
1396 {
1397     target_ulong uimm = UIMM(ctx->opcode);
1398
1399     if (rS(ctx->opcode) == rA(ctx->opcode) && uimm == 0) {
1400         /* NOP */
1401         return;
1402     }
1403     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1404     if (likely(uimm != 0))
1405         gen_op_xori(uimm << 16);
1406     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
1407 }
1408
1409 /* popcntb : PowerPC 2.03 specification */
1410 GEN_HANDLER(popcntb, 0x1F, 0x03, 0x03, 0x0000F801, PPC_POPCNTB)
1411 {
1412     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1413 #if defined(TARGET_PPC64)
1414     if (ctx->sf_mode)
1415         gen_op_popcntb_64();
1416     else
1417 #endif
1418         gen_op_popcntb();
1419     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
1420 }
1421
1422 #if defined(TARGET_PPC64)
1423 /* extsw & extsw. */
1424 GEN_LOGICAL1(extsw, 0x1E, PPC_64B);
1425 /* cntlzd */
1426 GEN_LOGICAL1(cntlzd, 0x01, PPC_64B);
1427 #endif
1428
1429 /***                             Integer rotate                            ***/
1430 /* rlwimi & rlwimi. */
1431 GEN_HANDLER(rlwimi, 0x14, 0xFF, 0xFF, 0x00000000, PPC_INTEGER)
1432 {
1433     target_ulong mask;
1434     uint32_t mb, me, sh;
1435
1436     mb = MB(ctx->opcode);
1437     me = ME(ctx->opcode);
1438     sh = SH(ctx->opcode);
1439     if (likely(sh == 0)) {
1440         if (likely(mb == 0 && me == 31)) {
1441             tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1442             goto do_store;
1443         } else if (likely(mb == 31 && me == 0)) {
1444             tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
1445             goto do_store;
1446         }
1447         tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1448         tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rA(ctx->opcode)]);
1449         goto do_mask;
1450     }
1451     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1452     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rA(ctx->opcode)]);
1453     gen_op_rotli32_T0(SH(ctx->opcode));
1454  do_mask:
1455 #if defined(TARGET_PPC64)
1456     mb += 32;
1457     me += 32;
1458 #endif
1459     mask = MASK(mb, me);
1460     tcg_gen_andi_tl(cpu_T[0], cpu_T[0], mask);
1461     tcg_gen_andi_tl(cpu_T[1], cpu_T[1], ~mask);
1462     gen_op_or();
1463  do_store:
1464     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
1465     if (unlikely(Rc(ctx->opcode) != 0))
1466         gen_set_Rc0(ctx);
1467 }
1468 /* rlwinm & rlwinm. */
1469 GEN_HANDLER(rlwinm, 0x15, 0xFF, 0xFF, 0x00000000, PPC_INTEGER)
1470 {
1471     uint32_t mb, me, sh;
1472
1473     sh = SH(ctx->opcode);
1474     mb = MB(ctx->opcode);
1475     me = ME(ctx->opcode);
1476     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1477     if (likely(sh == 0)) {
1478         goto do_mask;
1479     }
1480     if (likely(mb == 0)) {
1481         if (likely(me == 31)) {
1482             gen_op_rotli32_T0(sh);
1483             goto do_store;
1484         } else if (likely(me == (31 - sh))) {
1485             gen_op_sli_T0(sh);
1486             goto do_store;
1487         }
1488     } else if (likely(me == 31)) {
1489         if (likely(sh == (32 - mb))) {
1490             gen_op_srli_T0(mb);
1491             goto do_store;
1492         }
1493     }
1494     gen_op_rotli32_T0(sh);
1495  do_mask:
1496 #if defined(TARGET_PPC64)
1497     mb += 32;
1498     me += 32;
1499 #endif
1500     tcg_gen_andi_tl(cpu_T[0], cpu_T[0], MASK(mb, me));
1501  do_store:
1502     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
1503     if (unlikely(Rc(ctx->opcode) != 0))
1504         gen_set_Rc0(ctx);
1505 }
1506 /* rlwnm & rlwnm. */
1507 GEN_HANDLER(rlwnm, 0x17, 0xFF, 0xFF, 0x00000000, PPC_INTEGER)
1508 {
1509     uint32_t mb, me;
1510
1511     mb = MB(ctx->opcode);
1512     me = ME(ctx->opcode);
1513     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1514     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
1515     gen_op_rotl32_T0_T1();
1516     if (unlikely(mb != 0 || me != 31)) {
1517 #if defined(TARGET_PPC64)
1518         mb += 32;
1519         me += 32;
1520 #endif
1521         tcg_gen_andi_tl(cpu_T[0], cpu_T[0], MASK(mb, me));
1522     }
1523     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
1524     if (unlikely(Rc(ctx->opcode) != 0))
1525         gen_set_Rc0(ctx);
1526 }
1527
1528 #if defined(TARGET_PPC64)
1529 #define GEN_PPC64_R2(name, opc1, opc2)                                        \
1530 GEN_HANDLER2(name##0, stringify(name), opc1, opc2, 0xFF, 0x00000000, PPC_64B) \
1531 {                                                                             \
1532     gen_##name(ctx, 0);                                                       \
1533 }                                                                             \
1534 GEN_HANDLER2(name##1, stringify(name), opc1, opc2 | 0x10, 0xFF, 0x00000000,   \
1535              PPC_64B)                                                         \
1536 {                                                                             \
1537     gen_##name(ctx, 1);                                                       \
1538 }
1539 #define GEN_PPC64_R4(name, opc1, opc2)                                        \
1540 GEN_HANDLER2(name##0, stringify(name), opc1, opc2, 0xFF, 0x00000000, PPC_64B) \
1541 {                                                                             \
1542     gen_##name(ctx, 0, 0);                                                    \
1543 }                                                                             \
1544 GEN_HANDLER2(name##1, stringify(name), opc1, opc2 | 0x01, 0xFF, 0x00000000,   \
1545              PPC_64B)                                                         \
1546 {                                                                             \
1547     gen_##name(ctx, 0, 1);                                                    \
1548 }                                                                             \
1549 GEN_HANDLER2(name##2, stringify(name), opc1, opc2 | 0x10, 0xFF, 0x00000000,   \
1550              PPC_64B)                                                         \
1551 {                                                                             \
1552     gen_##name(ctx, 1, 0);                                                    \
1553 }                                                                             \
1554 GEN_HANDLER2(name##3, stringify(name), opc1, opc2 | 0x11, 0xFF, 0x00000000,   \
1555              PPC_64B)                                                         \
1556 {                                                                             \
1557     gen_##name(ctx, 1, 1);                                                    \
1558 }
1559
1560 static always_inline void gen_rldinm (DisasContext *ctx, uint32_t mb,
1561                                       uint32_t me, uint32_t sh)
1562 {
1563     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1564     if (likely(sh == 0)) {
1565         goto do_mask;
1566     }
1567     if (likely(mb == 0)) {
1568         if (likely(me == 63)) {
1569             gen_op_rotli64_T0(sh);
1570             goto do_store;
1571         } else if (likely(me == (63 - sh))) {
1572             gen_op_sli_T0(sh);
1573             goto do_store;
1574         }
1575     } else if (likely(me == 63)) {
1576         if (likely(sh == (64 - mb))) {
1577             gen_op_srli_T0_64(mb);
1578             goto do_store;
1579         }
1580     }
1581     gen_op_rotli64_T0(sh);
1582  do_mask:
1583     tcg_gen_andi_tl(cpu_T[0], cpu_T[0], MASK(mb, me));
1584  do_store:
1585     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
1586     if (unlikely(Rc(ctx->opcode) != 0))
1587         gen_set_Rc0(ctx);
1588 }
1589 /* rldicl - rldicl. */
1590 static always_inline void gen_rldicl (DisasContext *ctx, int mbn, int shn)
1591 {
1592     uint32_t sh, mb;
1593
1594     sh = SH(ctx->opcode) | (shn << 5);
1595     mb = MB(ctx->opcode) | (mbn << 5);
1596     gen_rldinm(ctx, mb, 63, sh);
1597 }
1598 GEN_PPC64_R4(rldicl, 0x1E, 0x00);
1599 /* rldicr - rldicr. */
1600 static always_inline void gen_rldicr (DisasContext *ctx, int men, int shn)
1601 {
1602     uint32_t sh, me;
1603
1604     sh = SH(ctx->opcode) | (shn << 5);
1605     me = MB(ctx->opcode) | (men << 5);
1606     gen_rldinm(ctx, 0, me, sh);
1607 }
1608 GEN_PPC64_R4(rldicr, 0x1E, 0x02);
1609 /* rldic - rldic. */
1610 static always_inline void gen_rldic (DisasContext *ctx, int mbn, int shn)
1611 {
1612     uint32_t sh, mb;
1613
1614     sh = SH(ctx->opcode) | (shn << 5);
1615     mb = MB(ctx->opcode) | (mbn << 5);
1616     gen_rldinm(ctx, mb, 63 - sh, sh);
1617 }
1618 GEN_PPC64_R4(rldic, 0x1E, 0x04);
1619
1620 static always_inline void gen_rldnm (DisasContext *ctx, uint32_t mb,
1621                                      uint32_t me)
1622 {
1623     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1624     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
1625     gen_op_rotl64_T0_T1();
1626     if (unlikely(mb != 0 || me != 63)) {
1627         tcg_gen_andi_tl(cpu_T[0], cpu_T[0], MASK(mb, me));
1628     }
1629     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
1630     if (unlikely(Rc(ctx->opcode) != 0))
1631         gen_set_Rc0(ctx);
1632 }
1633
1634 /* rldcl - rldcl. */
1635 static always_inline void gen_rldcl (DisasContext *ctx, int mbn)
1636 {
1637     uint32_t mb;
1638
1639     mb = MB(ctx->opcode) | (mbn << 5);
1640     gen_rldnm(ctx, mb, 63);
1641 }
1642 GEN_PPC64_R2(rldcl, 0x1E, 0x08);
1643 /* rldcr - rldcr. */
1644 static always_inline void gen_rldcr (DisasContext *ctx, int men)
1645 {
1646     uint32_t me;
1647
1648     me = MB(ctx->opcode) | (men << 5);
1649     gen_rldnm(ctx, 0, me);
1650 }
1651 GEN_PPC64_R2(rldcr, 0x1E, 0x09);
1652 /* rldimi - rldimi. */
1653 static always_inline void gen_rldimi (DisasContext *ctx, int mbn, int shn)
1654 {
1655     uint64_t mask;
1656     uint32_t sh, mb, me;
1657
1658     sh = SH(ctx->opcode) | (shn << 5);
1659     mb = MB(ctx->opcode) | (mbn << 5);
1660     me = 63 - sh;
1661     if (likely(sh == 0)) {
1662         if (likely(mb == 0)) {
1663             tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1664             goto do_store;
1665         }
1666         tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1667         tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rA(ctx->opcode)]);
1668         goto do_mask;
1669     }
1670     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1671     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rA(ctx->opcode)]);
1672     gen_op_rotli64_T0(sh);
1673  do_mask:
1674     mask = MASK(mb, me);
1675     tcg_gen_andi_tl(cpu_T[0], cpu_T[0], mask);
1676     tcg_gen_andi_tl(cpu_T[1], cpu_T[1], ~mask);
1677     gen_op_or();
1678  do_store:
1679     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
1680     if (unlikely(Rc(ctx->opcode) != 0))
1681         gen_set_Rc0(ctx);
1682 }
1683 GEN_PPC64_R4(rldimi, 0x1E, 0x06);
1684 #endif
1685
1686 /***                             Integer shift                             ***/
1687 /* slw & slw. */
1688 __GEN_LOGICAL2(slw, 0x18, 0x00, PPC_INTEGER);
1689 /* sraw & sraw. */
1690 __GEN_LOGICAL2(sraw, 0x18, 0x18, PPC_INTEGER);
1691 /* srawi & srawi. */
1692 GEN_HANDLER(srawi, 0x1F, 0x18, 0x19, 0x00000000, PPC_INTEGER)
1693 {
1694     int mb, me;
1695     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1696     if (SH(ctx->opcode) != 0) {
1697         tcg_gen_mov_tl(cpu_T[1], cpu_T[0]);
1698         mb = 32 - SH(ctx->opcode);
1699         me = 31;
1700 #if defined(TARGET_PPC64)
1701         mb += 32;
1702         me += 32;
1703 #endif
1704         gen_op_srawi(SH(ctx->opcode), MASK(mb, me));
1705     }
1706     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
1707     if (unlikely(Rc(ctx->opcode) != 0))
1708         gen_set_Rc0(ctx);
1709 }
1710 /* srw & srw. */
1711 __GEN_LOGICAL2(srw, 0x18, 0x10, PPC_INTEGER);
1712
1713 #if defined(TARGET_PPC64)
1714 /* sld & sld. */
1715 __GEN_LOGICAL2(sld, 0x1B, 0x00, PPC_64B);
1716 /* srad & srad. */
1717 __GEN_LOGICAL2(srad, 0x1A, 0x18, PPC_64B);
1718 /* sradi & sradi. */
1719 static always_inline void gen_sradi (DisasContext *ctx, int n)
1720 {
1721     uint64_t mask;
1722     int sh, mb, me;
1723
1724     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
1725     sh = SH(ctx->opcode) + (n << 5);
1726     if (sh != 0) {
1727         tcg_gen_mov_tl(cpu_T[1], cpu_T[0]);
1728         mb = 64 - SH(ctx->opcode);
1729         me = 63;
1730         mask = MASK(mb, me);
1731         gen_op_sradi(sh, mask >> 32, mask);
1732     }
1733     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
1734     if (unlikely(Rc(ctx->opcode) != 0))
1735         gen_set_Rc0(ctx);
1736 }
1737 GEN_HANDLER2(sradi0, "sradi", 0x1F, 0x1A, 0x19, 0x00000000, PPC_64B)
1738 {
1739     gen_sradi(ctx, 0);
1740 }
1741 GEN_HANDLER2(sradi1, "sradi", 0x1F, 0x1B, 0x19, 0x00000000, PPC_64B)
1742 {
1743     gen_sradi(ctx, 1);
1744 }
1745 /* srd & srd. */
1746 __GEN_LOGICAL2(srd, 0x1B, 0x10, PPC_64B);
1747 #endif
1748
1749 /***                       Floating-Point arithmetic                       ***/
1750 #define _GEN_FLOAT_ACB(name, op, op1, op2, isfloat, set_fprf, type)           \
1751 GEN_HANDLER(f##name, op1, op2, 0xFF, 0x00000000, type)                        \
1752 {                                                                             \
1753     if (unlikely(!ctx->fpu_enabled)) {                                        \
1754         GEN_EXCP_NO_FP(ctx);                                                  \
1755         return;                                                               \
1756     }                                                                         \
1757     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rA(ctx->opcode)]);                     \
1758     tcg_gen_mov_i64(cpu_FT[1], cpu_fpr[rC(ctx->opcode)]);                     \
1759     tcg_gen_mov_i64(cpu_FT[2], cpu_fpr[rB(ctx->opcode)]);                     \
1760     gen_reset_fpstatus();                                                     \
1761     gen_op_f##op();                                                           \
1762     if (isfloat) {                                                            \
1763         gen_op_frsp();                                                        \
1764     }                                                                         \
1765     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode)], cpu_FT[0]);                     \
1766     gen_compute_fprf(set_fprf, Rc(ctx->opcode) != 0);                         \
1767 }
1768
1769 #define GEN_FLOAT_ACB(name, op2, set_fprf, type)                              \
1770 _GEN_FLOAT_ACB(name, name, 0x3F, op2, 0, set_fprf, type);                     \
1771 _GEN_FLOAT_ACB(name##s, name, 0x3B, op2, 1, set_fprf, type);
1772
1773 #define _GEN_FLOAT_AB(name, op, op1, op2, inval, isfloat, set_fprf, type)     \
1774 GEN_HANDLER(f##name, op1, op2, 0xFF, inval, type)                             \
1775 {                                                                             \
1776     if (unlikely(!ctx->fpu_enabled)) {                                        \
1777         GEN_EXCP_NO_FP(ctx);                                                  \
1778         return;                                                               \
1779     }                                                                         \
1780     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rA(ctx->opcode)]);                     \
1781     tcg_gen_mov_i64(cpu_FT[1], cpu_fpr[rB(ctx->opcode)]);                     \
1782     gen_reset_fpstatus();                                                     \
1783     gen_op_f##op();                                                           \
1784     if (isfloat) {                                                            \
1785         gen_op_frsp();                                                        \
1786     }                                                                         \
1787     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode)], cpu_FT[0]);                     \
1788     gen_compute_fprf(set_fprf, Rc(ctx->opcode) != 0);                         \
1789 }
1790 #define GEN_FLOAT_AB(name, op2, inval, set_fprf, type)                        \
1791 _GEN_FLOAT_AB(name, name, 0x3F, op2, inval, 0, set_fprf, type);               \
1792 _GEN_FLOAT_AB(name##s, name, 0x3B, op2, inval, 1, set_fprf, type);
1793
1794 #define _GEN_FLOAT_AC(name, op, op1, op2, inval, isfloat, set_fprf, type)     \
1795 GEN_HANDLER(f##name, op1, op2, 0xFF, inval, type)                             \
1796 {                                                                             \
1797     if (unlikely(!ctx->fpu_enabled)) {                                        \
1798         GEN_EXCP_NO_FP(ctx);                                                  \
1799         return;                                                               \
1800     }                                                                         \
1801     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rA(ctx->opcode)]);                     \
1802     tcg_gen_mov_i64(cpu_FT[1], cpu_fpr[rC(ctx->opcode)]);                     \
1803     gen_reset_fpstatus();                                                     \
1804     gen_op_f##op();                                                           \
1805     if (isfloat) {                                                            \
1806         gen_op_frsp();                                                        \
1807     }                                                                         \
1808     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode)], cpu_FT[0]);                     \
1809     gen_compute_fprf(set_fprf, Rc(ctx->opcode) != 0);                         \
1810 }
1811 #define GEN_FLOAT_AC(name, op2, inval, set_fprf, type)                        \
1812 _GEN_FLOAT_AC(name, name, 0x3F, op2, inval, 0, set_fprf, type);               \
1813 _GEN_FLOAT_AC(name##s, name, 0x3B, op2, inval, 1, set_fprf, type);
1814
1815 #define GEN_FLOAT_B(name, op2, op3, set_fprf, type)                           \
1816 GEN_HANDLER(f##name, 0x3F, op2, op3, 0x001F0000, type)                        \
1817 {                                                                             \
1818     if (unlikely(!ctx->fpu_enabled)) {                                        \
1819         GEN_EXCP_NO_FP(ctx);                                                  \
1820         return;                                                               \
1821     }                                                                         \
1822     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rB(ctx->opcode)]);                     \
1823     gen_reset_fpstatus();                                                     \
1824     gen_op_f##name();                                                         \
1825     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode)], cpu_FT[0]);                     \
1826     gen_compute_fprf(set_fprf, Rc(ctx->opcode) != 0);                         \
1827 }
1828
1829 #define GEN_FLOAT_BS(name, op1, op2, set_fprf, type)                          \
1830 GEN_HANDLER(f##name, op1, op2, 0xFF, 0x001F07C0, type)                        \
1831 {                                                                             \
1832     if (unlikely(!ctx->fpu_enabled)) {                                        \
1833         GEN_EXCP_NO_FP(ctx);                                                  \
1834         return;                                                               \
1835     }                                                                         \
1836     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rB(ctx->opcode)]);                     \
1837     gen_reset_fpstatus();                                                     \
1838     gen_op_f##name();                                                         \
1839     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode)], cpu_FT[0]);                     \
1840     gen_compute_fprf(set_fprf, Rc(ctx->opcode) != 0);                         \
1841 }
1842
1843 /* fadd - fadds */
1844 GEN_FLOAT_AB(add, 0x15, 0x000007C0, 1, PPC_FLOAT);
1845 /* fdiv - fdivs */
1846 GEN_FLOAT_AB(div, 0x12, 0x000007C0, 1, PPC_FLOAT);
1847 /* fmul - fmuls */
1848 GEN_FLOAT_AC(mul, 0x19, 0x0000F800, 1, PPC_FLOAT);
1849
1850 /* fre */
1851 GEN_FLOAT_BS(re, 0x3F, 0x18, 1, PPC_FLOAT_EXT);
1852
1853 /* fres */
1854 GEN_FLOAT_BS(res, 0x3B, 0x18, 1, PPC_FLOAT_FRES);
1855
1856 /* frsqrte */
1857 GEN_FLOAT_BS(rsqrte, 0x3F, 0x1A, 1, PPC_FLOAT_FRSQRTE);
1858
1859 /* frsqrtes */
1860 static always_inline void gen_op_frsqrtes (void)
1861 {
1862     gen_op_frsqrte();
1863     gen_op_frsp();
1864 }
1865 GEN_FLOAT_BS(rsqrtes, 0x3B, 0x1A, 1, PPC_FLOAT_FRSQRTES);
1866
1867 /* fsel */
1868 _GEN_FLOAT_ACB(sel, sel, 0x3F, 0x17, 0, 0, PPC_FLOAT_FSEL);
1869 /* fsub - fsubs */
1870 GEN_FLOAT_AB(sub, 0x14, 0x000007C0, 1, PPC_FLOAT);
1871 /* Optional: */
1872 /* fsqrt */
1873 GEN_HANDLER(fsqrt, 0x3F, 0x16, 0xFF, 0x001F07C0, PPC_FLOAT_FSQRT)
1874 {
1875     if (unlikely(!ctx->fpu_enabled)) {
1876         GEN_EXCP_NO_FP(ctx);
1877         return;
1878     }
1879     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rB(ctx->opcode)]);
1880     gen_reset_fpstatus();
1881     gen_op_fsqrt();
1882     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode)], cpu_FT[0]);
1883     gen_compute_fprf(1, Rc(ctx->opcode) != 0);
1884 }
1885
1886 GEN_HANDLER(fsqrts, 0x3B, 0x16, 0xFF, 0x001F07C0, PPC_FLOAT_FSQRT)
1887 {
1888     if (unlikely(!ctx->fpu_enabled)) {
1889         GEN_EXCP_NO_FP(ctx);
1890         return;
1891     }
1892     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rB(ctx->opcode)]);
1893     gen_reset_fpstatus();
1894     gen_op_fsqrt();
1895     gen_op_frsp();
1896     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode)], cpu_FT[0]);
1897     gen_compute_fprf(1, Rc(ctx->opcode) != 0);
1898 }
1899
1900 /***                     Floating-Point multiply-and-add                   ***/
1901 /* fmadd - fmadds */
1902 GEN_FLOAT_ACB(madd, 0x1D, 1, PPC_FLOAT);
1903 /* fmsub - fmsubs */
1904 GEN_FLOAT_ACB(msub, 0x1C, 1, PPC_FLOAT);
1905 /* fnmadd - fnmadds */
1906 GEN_FLOAT_ACB(nmadd, 0x1F, 1, PPC_FLOAT);
1907 /* fnmsub - fnmsubs */
1908 GEN_FLOAT_ACB(nmsub, 0x1E, 1, PPC_FLOAT);
1909
1910 /***                     Floating-Point round & convert                    ***/
1911 /* fctiw */
1912 GEN_FLOAT_B(ctiw, 0x0E, 0x00, 0, PPC_FLOAT);
1913 /* fctiwz */
1914 GEN_FLOAT_B(ctiwz, 0x0F, 0x00, 0, PPC_FLOAT);
1915 /* frsp */
1916 GEN_FLOAT_B(rsp, 0x0C, 0x00, 1, PPC_FLOAT);
1917 #if defined(TARGET_PPC64)
1918 /* fcfid */
1919 GEN_FLOAT_B(cfid, 0x0E, 0x1A, 1, PPC_64B);
1920 /* fctid */
1921 GEN_FLOAT_B(ctid, 0x0E, 0x19, 0, PPC_64B);
1922 /* fctidz */
1923 GEN_FLOAT_B(ctidz, 0x0F, 0x19, 0, PPC_64B);
1924 #endif
1925
1926 /* frin */
1927 GEN_FLOAT_B(rin, 0x08, 0x0C, 1, PPC_FLOAT_EXT);
1928 /* friz */
1929 GEN_FLOAT_B(riz, 0x08, 0x0D, 1, PPC_FLOAT_EXT);
1930 /* frip */
1931 GEN_FLOAT_B(rip, 0x08, 0x0E, 1, PPC_FLOAT_EXT);
1932 /* frim */
1933 GEN_FLOAT_B(rim, 0x08, 0x0F, 1, PPC_FLOAT_EXT);
1934
1935 /***                         Floating-Point compare                        ***/
1936 /* fcmpo */
1937 GEN_HANDLER(fcmpo, 0x3F, 0x00, 0x01, 0x00600001, PPC_FLOAT)
1938 {
1939     if (unlikely(!ctx->fpu_enabled)) {
1940         GEN_EXCP_NO_FP(ctx);
1941         return;
1942     }
1943     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rA(ctx->opcode)]);
1944     tcg_gen_mov_i64(cpu_FT[1], cpu_fpr[rB(ctx->opcode)]);
1945     gen_reset_fpstatus();
1946     gen_op_fcmpo();
1947     tcg_gen_andi_i32(cpu_crf[crfD(ctx->opcode)], cpu_T[0], 0xf);
1948     gen_op_float_check_status();
1949 }
1950
1951 /* fcmpu */
1952 GEN_HANDLER(fcmpu, 0x3F, 0x00, 0x00, 0x00600001, PPC_FLOAT)
1953 {
1954     if (unlikely(!ctx->fpu_enabled)) {
1955         GEN_EXCP_NO_FP(ctx);
1956         return;
1957     }
1958     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rA(ctx->opcode)]);
1959     tcg_gen_mov_i64(cpu_FT[1], cpu_fpr[rB(ctx->opcode)]);
1960     gen_reset_fpstatus();
1961     gen_op_fcmpu();
1962     tcg_gen_andi_i32(cpu_crf[crfD(ctx->opcode)], cpu_T[0], 0xf);
1963     gen_op_float_check_status();
1964 }
1965
1966 /***                         Floating-point move                           ***/
1967 /* fabs */
1968 /* XXX: beware that fabs never checks for NaNs nor update FPSCR */
1969 GEN_FLOAT_B(abs, 0x08, 0x08, 0, PPC_FLOAT);
1970
1971 /* fmr  - fmr. */
1972 /* XXX: beware that fmr never checks for NaNs nor update FPSCR */
1973 GEN_HANDLER(fmr, 0x3F, 0x08, 0x02, 0x001F0000, PPC_FLOAT)
1974 {
1975     if (unlikely(!ctx->fpu_enabled)) {
1976         GEN_EXCP_NO_FP(ctx);
1977         return;
1978     }
1979     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rB(ctx->opcode)]);
1980     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode)], cpu_FT[0]);
1981     gen_compute_fprf(0, Rc(ctx->opcode) != 0);
1982 }
1983
1984 /* fnabs */
1985 /* XXX: beware that fnabs never checks for NaNs nor update FPSCR */
1986 GEN_FLOAT_B(nabs, 0x08, 0x04, 0, PPC_FLOAT);
1987 /* fneg */
1988 /* XXX: beware that fneg never checks for NaNs nor update FPSCR */
1989 GEN_FLOAT_B(neg, 0x08, 0x01, 0, PPC_FLOAT);
1990
1991 /***                  Floating-Point status & ctrl register                ***/
1992 /* mcrfs */
1993 GEN_HANDLER(mcrfs, 0x3F, 0x00, 0x02, 0x0063F801, PPC_FLOAT)
1994 {
1995     int bfa;
1996
1997     if (unlikely(!ctx->fpu_enabled)) {
1998         GEN_EXCP_NO_FP(ctx);
1999         return;
2000     }
2001     gen_optimize_fprf();
2002     bfa = 4 * (7 - crfS(ctx->opcode));
2003     gen_op_load_fpscr_T0(bfa);
2004     tcg_gen_andi_i32(cpu_crf[crfD(ctx->opcode)], cpu_T[0], 0xf);
2005     gen_op_fpscr_resetbit(~(0xF << bfa));
2006 }
2007
2008 /* mffs */
2009 GEN_HANDLER(mffs, 0x3F, 0x07, 0x12, 0x001FF800, PPC_FLOAT)
2010 {
2011     if (unlikely(!ctx->fpu_enabled)) {
2012         GEN_EXCP_NO_FP(ctx);
2013         return;
2014     }
2015     gen_optimize_fprf();
2016     gen_reset_fpstatus();
2017     gen_op_load_fpscr_FT0();
2018     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode)], cpu_FT[0]);
2019     gen_compute_fprf(0, Rc(ctx->opcode) != 0);
2020 }
2021
2022 /* mtfsb0 */
2023 GEN_HANDLER(mtfsb0, 0x3F, 0x06, 0x02, 0x001FF800, PPC_FLOAT)
2024 {
2025     uint8_t crb;
2026
2027     if (unlikely(!ctx->fpu_enabled)) {
2028         GEN_EXCP_NO_FP(ctx);
2029         return;
2030     }
2031     crb = 32 - (crbD(ctx->opcode) >> 2);
2032     gen_optimize_fprf();
2033     gen_reset_fpstatus();
2034     if (likely(crb != 30 && crb != 29))
2035         gen_op_fpscr_resetbit(~(1 << crb));
2036     if (unlikely(Rc(ctx->opcode) != 0)) {
2037         gen_op_load_fpcc();
2038         gen_op_set_Rc0();
2039     }
2040 }
2041
2042 /* mtfsb1 */
2043 GEN_HANDLER(mtfsb1, 0x3F, 0x06, 0x01, 0x001FF800, PPC_FLOAT)
2044 {
2045     uint8_t crb;
2046
2047     if (unlikely(!ctx->fpu_enabled)) {
2048         GEN_EXCP_NO_FP(ctx);
2049         return;
2050     }
2051     crb = 32 - (crbD(ctx->opcode) >> 2);
2052     gen_optimize_fprf();
2053     gen_reset_fpstatus();
2054     /* XXX: we pretend we can only do IEEE floating-point computations */
2055     if (likely(crb != FPSCR_FEX && crb != FPSCR_VX && crb != FPSCR_NI))
2056         gen_op_fpscr_setbit(crb);
2057     if (unlikely(Rc(ctx->opcode) != 0)) {
2058         gen_op_load_fpcc();
2059         gen_op_set_Rc0();
2060     }
2061     /* We can raise a differed exception */
2062     gen_op_float_check_status();
2063 }
2064
2065 /* mtfsf */
2066 GEN_HANDLER(mtfsf, 0x3F, 0x07, 0x16, 0x02010000, PPC_FLOAT)
2067 {
2068     if (unlikely(!ctx->fpu_enabled)) {
2069         GEN_EXCP_NO_FP(ctx);
2070         return;
2071     }
2072     gen_optimize_fprf();
2073     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rB(ctx->opcode)]);
2074     gen_reset_fpstatus();
2075     gen_op_store_fpscr(FM(ctx->opcode));
2076     if (unlikely(Rc(ctx->opcode) != 0)) {
2077         gen_op_load_fpcc();
2078         gen_op_set_Rc0();
2079     }
2080     /* We can raise a differed exception */
2081     gen_op_float_check_status();
2082 }
2083
2084 /* mtfsfi */
2085 GEN_HANDLER(mtfsfi, 0x3F, 0x06, 0x04, 0x006f0800, PPC_FLOAT)
2086 {
2087     int bf, sh;
2088
2089     if (unlikely(!ctx->fpu_enabled)) {
2090         GEN_EXCP_NO_FP(ctx);
2091         return;
2092     }
2093     bf = crbD(ctx->opcode) >> 2;
2094     sh = 7 - bf;
2095     gen_optimize_fprf();
2096     tcg_gen_movi_i64(cpu_FT[0], FPIMM(ctx->opcode) << (4 * sh));
2097     gen_reset_fpstatus();
2098     gen_op_store_fpscr(1 << sh);
2099     if (unlikely(Rc(ctx->opcode) != 0)) {
2100         gen_op_load_fpcc();
2101         gen_op_set_Rc0();
2102     }
2103     /* We can raise a differed exception */
2104     gen_op_float_check_status();
2105 }
2106
2107 /***                           Addressing modes                            ***/
2108 /* Register indirect with immediate index : EA = (rA|0) + SIMM */
2109 static always_inline void gen_addr_imm_index (TCGv EA,
2110                                               DisasContext *ctx,
2111                                               target_long maskl)
2112 {
2113     target_long simm = SIMM(ctx->opcode);
2114
2115     simm &= ~maskl;
2116     if (rA(ctx->opcode) == 0)
2117         tcg_gen_movi_tl(EA, simm);
2118     else if (likely(simm != 0))
2119         tcg_gen_addi_tl(EA, cpu_gpr[rA(ctx->opcode)], simm);
2120     else
2121         tcg_gen_mov_tl(EA, cpu_gpr[rA(ctx->opcode)]);
2122 }
2123
2124 static always_inline void gen_addr_reg_index (TCGv EA,
2125                                               DisasContext *ctx)
2126 {
2127     if (rA(ctx->opcode) == 0)
2128         tcg_gen_mov_tl(EA, cpu_gpr[rB(ctx->opcode)]);
2129     else
2130         tcg_gen_add_tl(EA, cpu_gpr[rA(ctx->opcode)], cpu_gpr[rB(ctx->opcode)]);
2131 }
2132
2133 static always_inline void gen_addr_register (TCGv EA,
2134                                              DisasContext *ctx)
2135 {
2136     if (rA(ctx->opcode) == 0)
2137         tcg_gen_movi_tl(EA, 0);
2138     else
2139         tcg_gen_mov_tl(EA, cpu_gpr[rA(ctx->opcode)]);
2140 }
2141
2142 #if defined(TARGET_PPC64)
2143 #define _GEN_MEM_FUNCS(name, mode)                                            \
2144     &gen_op_##name##_##mode,                                                  \
2145     &gen_op_##name##_le_##mode,                                               \
2146     &gen_op_##name##_64_##mode,                                               \
2147     &gen_op_##name##_le_64_##mode
2148 #else
2149 #define _GEN_MEM_FUNCS(name, mode)                                            \
2150     &gen_op_##name##_##mode,                                                  \
2151     &gen_op_##name##_le_##mode
2152 #endif
2153 #if defined(CONFIG_USER_ONLY)
2154 #if defined(TARGET_PPC64)
2155 #define NB_MEM_FUNCS 4
2156 #else
2157 #define NB_MEM_FUNCS 2
2158 #endif
2159 #define GEN_MEM_FUNCS(name)                                                   \
2160     _GEN_MEM_FUNCS(name, raw)
2161 #else
2162 #if defined(TARGET_PPC64)
2163 #define NB_MEM_FUNCS 12
2164 #else
2165 #define NB_MEM_FUNCS 6
2166 #endif
2167 #define GEN_MEM_FUNCS(name)                                                   \
2168     _GEN_MEM_FUNCS(name, user),                                               \
2169     _GEN_MEM_FUNCS(name, kernel),                                             \
2170     _GEN_MEM_FUNCS(name, hypv)
2171 #endif
2172
2173 /***                             Integer load                              ***/
2174 #define op_ldst(name)        (*gen_op_##name[ctx->mem_idx])()
2175 #define OP_LD_TABLE(width)                                                    \
2176 static GenOpFunc *gen_op_l##width[NB_MEM_FUNCS] = {                           \
2177     GEN_MEM_FUNCS(l##width),                                                  \
2178 };
2179 #define OP_ST_TABLE(width)                                                    \
2180 static GenOpFunc *gen_op_st##width[NB_MEM_FUNCS] = {                          \
2181     GEN_MEM_FUNCS(st##width),                                                 \
2182 };
2183
2184
2185 #if defined(TARGET_PPC64)
2186 #define GEN_QEMU_LD_PPC64(width)                                                 \
2187 static always_inline void gen_qemu_ld##width##_ppc64(TCGv t0, TCGv t1, int flags)\
2188 {                                                                                \
2189     if (likely(flags & 2))                                                       \
2190         tcg_gen_qemu_ld##width(t0, t1, flags >> 2);                              \
2191     else {                                                                       \
2192         TCGv addr = tcg_temp_new(TCG_TYPE_TL);                                   \
2193         tcg_gen_ext32u_tl(addr, t1);                                             \
2194         tcg_gen_qemu_ld##width(t0, addr, flags >> 2);                            \
2195         tcg_temp_free(addr);                                                     \
2196     }                                                                            \
2197 }
2198 GEN_QEMU_LD_PPC64(8u)
2199 GEN_QEMU_LD_PPC64(8s)
2200 GEN_QEMU_LD_PPC64(16u)
2201 GEN_QEMU_LD_PPC64(16s)
2202 GEN_QEMU_LD_PPC64(32u)
2203 GEN_QEMU_LD_PPC64(32s)
2204 GEN_QEMU_LD_PPC64(64)
2205
2206 #define GEN_QEMU_ST_PPC64(width)                                                 \
2207 static always_inline void gen_qemu_st##width##_ppc64(TCGv t0, TCGv t1, int flags)\
2208 {                                                                                \
2209     if (likely(flags & 2))                                                       \
2210         tcg_gen_qemu_st##width(t0, t1, flags >> 2);                              \
2211     else {                                                                       \
2212         TCGv addr = tcg_temp_new(TCG_TYPE_TL);                                   \
2213         tcg_gen_ext32u_tl(addr, t1);                                             \
2214         tcg_gen_qemu_st##width(t0, addr, flags >> 2);                            \
2215         tcg_temp_free(addr);                                                     \
2216     }                                                                            \
2217 }
2218 GEN_QEMU_ST_PPC64(8)
2219 GEN_QEMU_ST_PPC64(16)
2220 GEN_QEMU_ST_PPC64(32)
2221 GEN_QEMU_ST_PPC64(64)
2222
2223 static always_inline void gen_qemu_ld8u(TCGv t0, TCGv t1, int flags)
2224 {
2225     gen_qemu_ld8u_ppc64(t0, t1, flags);
2226 }
2227
2228 static always_inline void gen_qemu_ld8s(TCGv t0, TCGv t1, int flags)
2229 {
2230     gen_qemu_ld8s_ppc64(t0, t1, flags);
2231 }
2232
2233 static always_inline void gen_qemu_ld16u(TCGv t0, TCGv t1, int flags)
2234 {
2235     if (unlikely(flags & 1)) {
2236         TCGv t0_32;
2237         gen_qemu_ld16u_ppc64(t0, t1, flags);
2238         t0_32 = tcg_temp_new(TCG_TYPE_I32);
2239         tcg_gen_trunc_tl_i32(t0_32, t0);
2240         tcg_gen_bswap16_i32(t0_32, t0_32);
2241         tcg_gen_extu_i32_tl(t0, t0_32);
2242         tcg_temp_free(t0_32);
2243     } else
2244         gen_qemu_ld16u_ppc64(t0, t1, flags);
2245 }
2246
2247 static always_inline void gen_qemu_ld16s(TCGv t0, TCGv t1, int flags)
2248 {
2249     if (unlikely(flags & 1)) {
2250         TCGv t0_32;
2251         gen_qemu_ld16u_ppc64(t0, t1, flags);
2252         t0_32 = tcg_temp_new(TCG_TYPE_I32);
2253         tcg_gen_trunc_tl_i32(t0_32, t0);
2254         tcg_gen_bswap16_i32(t0_32, t0_32);
2255         tcg_gen_extu_i32_tl(t0, t0_32);
2256         tcg_gen_ext16s_tl(t0, t0);
2257         tcg_temp_free(t0_32);
2258     } else
2259         gen_qemu_ld16s_ppc64(t0, t1, flags);
2260 }
2261
2262 static always_inline void gen_qemu_ld32u(TCGv t0, TCGv t1, int flags)
2263 {
2264     if (unlikely(flags & 1)) {
2265         TCGv t0_32;
2266         gen_qemu_ld32u_ppc64(t0, t1, flags);
2267         t0_32 = tcg_temp_new(TCG_TYPE_I32);
2268         tcg_gen_trunc_tl_i32(t0_32, t0);
2269         tcg_gen_bswap_i32(t0_32, t0_32);
2270         tcg_gen_extu_i32_tl(t0, t0_32);
2271         tcg_temp_free(t0_32);
2272     } else
2273         gen_qemu_ld32u_ppc64(t0, t1, flags);
2274 }
2275
2276 static always_inline void gen_qemu_ld32s(TCGv t0, TCGv t1, int flags)
2277 {
2278     if (unlikely(flags & 1)) {
2279         TCGv t0_32;
2280         gen_qemu_ld32u_ppc64(t0, t1, flags);
2281         t0_32 = tcg_temp_new(TCG_TYPE_I32);
2282         tcg_gen_trunc_tl_i32(t0_32, t0);
2283         tcg_gen_bswap_i32(t0_32, t0_32);
2284         tcg_gen_ext_i32_tl(t0, t0_32);
2285         tcg_temp_free(t0_32);
2286     } else
2287         gen_qemu_ld32s_ppc64(t0, t1, flags);
2288 }
2289
2290 static always_inline void gen_qemu_ld64(TCGv t0, TCGv t1, int flags)
2291 {
2292     gen_qemu_ld64_ppc64(t0, t1, flags);
2293     if (unlikely(flags & 1))
2294         tcg_gen_bswap_i64(t0, t0);
2295 }
2296
2297 static always_inline void gen_qemu_st8(TCGv t0, TCGv t1, int flags)
2298 {
2299     gen_qemu_st8_ppc64(t0, t1, flags);
2300 }
2301
2302 static always_inline void gen_qemu_st16(TCGv t0, TCGv t1, int flags)
2303 {
2304     if (unlikely(flags & 1)) {
2305         TCGv temp1, temp2;
2306         temp1 = tcg_temp_new(TCG_TYPE_I32);
2307         tcg_gen_trunc_tl_i32(temp1, t0);
2308         tcg_gen_ext16u_i32(temp1, temp1);
2309         tcg_gen_bswap16_i32(temp1, temp1);
2310         temp2 = tcg_temp_new(TCG_TYPE_I64);
2311         tcg_gen_extu_i32_tl(temp2, temp1);
2312         tcg_temp_free(temp1);
2313         gen_qemu_st16_ppc64(temp2, t1, flags);
2314         tcg_temp_free(temp2);
2315     } else
2316         gen_qemu_st16_ppc64(t0, t1, flags);
2317 }
2318
2319 static always_inline void gen_qemu_st32(TCGv t0, TCGv t1, int flags)
2320 {
2321     if (unlikely(flags & 1)) {
2322         TCGv temp1, temp2;
2323         temp1 = tcg_temp_new(TCG_TYPE_I32);
2324         tcg_gen_trunc_tl_i32(temp1, t0);
2325         tcg_gen_bswap_i32(temp1, temp1);
2326         temp2 = tcg_temp_new(TCG_TYPE_I64);
2327         tcg_gen_extu_i32_tl(temp2, temp1);
2328         tcg_temp_free(temp1);
2329         gen_qemu_st32_ppc64(temp2, t1, flags);
2330         tcg_temp_free(temp2);
2331     } else
2332         gen_qemu_st32_ppc64(t0, t1, flags);
2333 }
2334
2335 static always_inline void gen_qemu_st64(TCGv t0, TCGv t1, int flags)
2336 {
2337     if (unlikely(flags & 1)) {
2338         TCGv temp = tcg_temp_new(TCG_TYPE_I64);
2339         tcg_gen_bswap_i64(temp, t0);
2340         gen_qemu_st64_ppc64(temp, t1, flags);
2341         tcg_temp_free(temp);
2342     } else
2343         gen_qemu_st64_ppc64(t0, t1, flags);
2344 }
2345
2346
2347 #else /* defined(TARGET_PPC64) */
2348 #define GEN_QEMU_LD_PPC32(width)                                                 \
2349 static always_inline void gen_qemu_ld##width##_ppc32(TCGv t0, TCGv t1, int flags)\
2350 {                                                                                \
2351     tcg_gen_qemu_ld##width(t0, t1, flags >> 1);                                  \
2352 }
2353 GEN_QEMU_LD_PPC32(8u)
2354 GEN_QEMU_LD_PPC32(8s)
2355 GEN_QEMU_LD_PPC32(16u)
2356 GEN_QEMU_LD_PPC32(16s)
2357 GEN_QEMU_LD_PPC32(32u)
2358 GEN_QEMU_LD_PPC32(32s)
2359 GEN_QEMU_LD_PPC32(64)
2360
2361 #define GEN_QEMU_ST_PPC32(width)                                                 \
2362 static always_inline void gen_qemu_st##width##_ppc32(TCGv t0, TCGv t1, int flags)\
2363 {                                                                                \
2364     tcg_gen_qemu_st##width(t0, t1, flags >> 1);                                  \
2365 }
2366 GEN_QEMU_ST_PPC32(8)
2367 GEN_QEMU_ST_PPC32(16)
2368 GEN_QEMU_ST_PPC32(32)
2369 GEN_QEMU_ST_PPC32(64)
2370
2371 static always_inline void gen_qemu_ld8u(TCGv t0, TCGv t1, int flags)
2372 {
2373     gen_qemu_ld8u_ppc32(t0, t1, flags >> 1);
2374 }
2375
2376 static always_inline void gen_qemu_ld8s(TCGv t0, TCGv t1, int flags)
2377 {
2378     gen_qemu_ld8s_ppc32(t0, t1, flags >> 1);
2379 }
2380
2381 static always_inline void gen_qemu_ld16u(TCGv t0, TCGv t1, int flags)
2382 {
2383     gen_qemu_ld16u_ppc32(t0, t1, flags >> 1);
2384     if (unlikely(flags & 1))
2385         tcg_gen_bswap16_i32(t0, t0);
2386 }
2387
2388 static always_inline void gen_qemu_ld16s(TCGv t0, TCGv t1, int flags)
2389 {
2390     if (unlikely(flags & 1)) {
2391         gen_qemu_ld16u_ppc32(t0, t1, flags);
2392         tcg_gen_bswap16_i32(t0, t0);
2393         tcg_gen_ext16s_i32(t0, t0);
2394     } else
2395         gen_qemu_ld16s_ppc32(t0, t1, flags);
2396 }
2397
2398 static always_inline void gen_qemu_ld32u(TCGv t0, TCGv t1, int flags)
2399 {
2400     gen_qemu_ld32u_ppc32(t0, t1, flags);
2401     if (unlikely(flags & 1))
2402         tcg_gen_bswap_i32(t0, t0);
2403 }
2404
2405 static always_inline void gen_qemu_ld64(TCGv t0, TCGv t1, int flags)
2406 {
2407     gen_qemu_ld64_ppc32(t0, t1, flags);
2408     if (unlikely(flags & 1))
2409         tcg_gen_bswap_i64(t0, t0);
2410 }
2411
2412 static always_inline void gen_qemu_st8(TCGv t0, TCGv t1, int flags)
2413 {
2414     gen_qemu_st8_ppc32(t0, t1, flags >> 1);
2415 }
2416
2417 static always_inline void gen_qemu_st16(TCGv t0, TCGv t1, int flags)
2418 {
2419     if (unlikely(flags & 1)) {
2420         TCGv temp = tcg_temp_new(TCG_TYPE_I32);
2421         tcg_gen_ext16u_i32(temp, t0);
2422         tcg_gen_bswap16_i32(temp, temp);
2423         gen_qemu_st16_ppc32(temp, t1, flags >> 1);
2424         tcg_temp_free(temp);
2425     } else
2426         gen_qemu_st16_ppc32(t0, t1, flags >> 1);
2427 }
2428
2429 static always_inline void gen_qemu_st32(TCGv t0, TCGv t1, int flags)
2430 {
2431     if (unlikely(flags & 1)) {
2432         TCGv temp = tcg_temp_new(TCG_TYPE_I32);
2433         tcg_gen_bswap_i32(temp, t0);
2434         gen_qemu_st32_ppc32(temp, t1, flags >> 1);
2435         tcg_temp_free(temp);
2436     } else
2437         gen_qemu_st32_ppc32(t0, t1, flags >> 1);
2438 }
2439
2440 static always_inline void gen_qemu_st64(TCGv t0, TCGv t1, int flags)
2441 {
2442     if (unlikely(flags & 1)) {
2443         TCGv temp = tcg_temp_new(TCG_TYPE_I64);
2444         tcg_gen_bswap_i64(temp, t0);
2445         gen_qemu_st64_ppc32(temp, t1, flags >> 1);
2446         tcg_temp_free(temp);
2447     } else
2448         gen_qemu_st64_ppc32(t0, t1, flags >> 1);
2449 }
2450
2451 #endif
2452
2453 #define GEN_LD(width, opc, type)                                              \
2454 GEN_HANDLER(l##width, opc, 0xFF, 0xFF, 0x00000000, type)                      \
2455 {                                                                             \
2456     TCGv EA = tcg_temp_new(TCG_TYPE_TL);                                      \
2457     gen_addr_imm_index(EA, ctx, 0);                                           \
2458     gen_qemu_ld##width(cpu_gpr[rD(ctx->opcode)], EA, ctx->mem_idx);           \
2459     tcg_temp_free(EA);                                                        \
2460 }
2461
2462 #define GEN_LDU(width, opc, type)                                             \
2463 GEN_HANDLER(l##width##u, opc, 0xFF, 0xFF, 0x00000000, type)                   \
2464 {                                                                             \
2465     TCGv EA;                                                                  \
2466     if (unlikely(rA(ctx->opcode) == 0 ||                                      \
2467                  rA(ctx->opcode) == rD(ctx->opcode))) {                       \
2468         GEN_EXCP_INVAL(ctx);                                                  \
2469         return;                                                               \
2470     }                                                                         \
2471     EA = tcg_temp_new(TCG_TYPE_TL);                                           \
2472     if (type == PPC_64B)                                                      \
2473         gen_addr_imm_index(EA, ctx, 0x03);                                    \
2474     else                                                                      \
2475         gen_addr_imm_index(EA, ctx, 0);                                       \
2476     gen_qemu_ld##width(cpu_gpr[rD(ctx->opcode)], EA, ctx->mem_idx);           \
2477     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], EA);                             \
2478     tcg_temp_free(EA);                                                        \
2479 }
2480
2481 #define GEN_LDUX(width, opc2, opc3, type)                                     \
2482 GEN_HANDLER(l##width##ux, 0x1F, opc2, opc3, 0x00000001, type)                 \
2483 {                                                                             \
2484     TCGv EA;                                                                  \
2485     if (unlikely(rA(ctx->opcode) == 0 ||                                      \
2486                  rA(ctx->opcode) == rD(ctx->opcode))) {                       \
2487         GEN_EXCP_INVAL(ctx);                                                  \
2488         return;                                                               \
2489     }                                                                         \
2490     EA = tcg_temp_new(TCG_TYPE_TL);                                           \
2491     gen_addr_reg_index(EA, ctx);                                              \
2492     gen_qemu_ld##width(cpu_gpr[rD(ctx->opcode)], EA, ctx->mem_idx);           \
2493     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], EA);                             \
2494     tcg_temp_free(EA);                                                        \
2495 }
2496
2497 #define GEN_LDX(width, opc2, opc3, type)                                      \
2498 GEN_HANDLER(l##width##x, 0x1F, opc2, opc3, 0x00000001, type)                  \
2499 {                                                                             \
2500     TCGv EA = tcg_temp_new(TCG_TYPE_TL);                                      \
2501     gen_addr_reg_index(EA, ctx);                                              \
2502     gen_qemu_ld##width(cpu_gpr[rD(ctx->opcode)], EA, ctx->mem_idx);           \
2503     tcg_temp_free(EA);                                                        \
2504 }
2505
2506 #define GEN_LDS(width, op, type)                                              \
2507 GEN_LD(width, op | 0x20, type);                                               \
2508 GEN_LDU(width, op | 0x21, type);                                              \
2509 GEN_LDUX(width, 0x17, op | 0x01, type);                                       \
2510 GEN_LDX(width, 0x17, op | 0x00, type)
2511
2512 /* lbz lbzu lbzux lbzx */
2513 GEN_LDS(8u, 0x02, PPC_INTEGER);
2514 /* lha lhau lhaux lhax */
2515 GEN_LDS(16s, 0x0A, PPC_INTEGER);
2516 /* lhz lhzu lhzux lhzx */
2517 GEN_LDS(16u, 0x08, PPC_INTEGER);
2518 /* lwz lwzu lwzux lwzx */
2519 GEN_LDS(32u, 0x00, PPC_INTEGER);
2520 #if defined(TARGET_PPC64)
2521 /* lwaux */
2522 GEN_LDUX(32s, 0x15, 0x0B, PPC_64B);
2523 /* lwax */
2524 GEN_LDX(32s, 0x15, 0x0A, PPC_64B);
2525 /* ldux */
2526 GEN_LDUX(64, 0x15, 0x01, PPC_64B);
2527 /* ldx */
2528 GEN_LDX(64, 0x15, 0x00, PPC_64B);
2529 GEN_HANDLER(ld, 0x3A, 0xFF, 0xFF, 0x00000000, PPC_64B)
2530 {
2531     TCGv EA;
2532     if (Rc(ctx->opcode)) {
2533         if (unlikely(rA(ctx->opcode) == 0 ||
2534                      rA(ctx->opcode) == rD(ctx->opcode))) {
2535             GEN_EXCP_INVAL(ctx);
2536             return;
2537         }
2538     }
2539     EA = tcg_temp_new(TCG_TYPE_TL);
2540     gen_addr_imm_index(EA, ctx, 0x03);
2541     if (ctx->opcode & 0x02) {
2542         /* lwa (lwau is undefined) */
2543         gen_qemu_ld32s(cpu_gpr[rD(ctx->opcode)], EA, ctx->mem_idx);
2544     } else {
2545         /* ld - ldu */
2546         gen_qemu_ld64(cpu_gpr[rD(ctx->opcode)], EA, ctx->mem_idx);
2547     }
2548     if (Rc(ctx->opcode))
2549         tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], EA);
2550     tcg_temp_free(EA);
2551 }
2552 /* lq */
2553 GEN_HANDLER(lq, 0x38, 0xFF, 0xFF, 0x00000000, PPC_64BX)
2554 {
2555 #if defined(CONFIG_USER_ONLY)
2556     GEN_EXCP_PRIVOPC(ctx);
2557 #else
2558     int ra, rd;
2559     TCGv EA;
2560
2561     /* Restore CPU state */
2562     if (unlikely(ctx->supervisor == 0)) {
2563         GEN_EXCP_PRIVOPC(ctx);
2564         return;
2565     }
2566     ra = rA(ctx->opcode);
2567     rd = rD(ctx->opcode);
2568     if (unlikely((rd & 1) || rd == ra)) {
2569         GEN_EXCP_INVAL(ctx);
2570         return;
2571     }
2572     if (unlikely(ctx->mem_idx & 1)) {
2573         /* Little-endian mode is not handled */
2574         GEN_EXCP(ctx, POWERPC_EXCP_ALIGN, POWERPC_EXCP_ALIGN_LE);
2575         return;
2576     }
2577     EA = tcg_temp_new(TCG_TYPE_TL);
2578     gen_addr_imm_index(EA, ctx, 0x0F);
2579     gen_qemu_ld64(cpu_gpr[rd], EA, ctx->mem_idx);
2580     tcg_gen_addi_tl(EA, EA, 8);
2581     gen_qemu_ld64(cpu_gpr[rd+1], EA, ctx->mem_idx);
2582     tcg_temp_free(EA);
2583 #endif
2584 }
2585 #endif
2586
2587 /***                              Integer store                            ***/
2588 #define GEN_ST(width, opc, type)                                              \
2589 GEN_HANDLER(st##width, opc, 0xFF, 0xFF, 0x00000000, type)                     \
2590 {                                                                             \
2591     TCGv EA = tcg_temp_new(TCG_TYPE_TL);                                      \
2592     gen_addr_imm_index(EA, ctx, 0);                                           \
2593     gen_qemu_st##width(cpu_gpr[rS(ctx->opcode)], EA, ctx->mem_idx);       \
2594     tcg_temp_free(EA);                                                        \
2595 }
2596
2597 #define GEN_STU(width, opc, type)                                             \
2598 GEN_HANDLER(st##width##u, opc, 0xFF, 0xFF, 0x00000000, type)                  \
2599 {                                                                             \
2600     TCGv EA;                                                                  \
2601     if (unlikely(rA(ctx->opcode) == 0)) {                                     \
2602         GEN_EXCP_INVAL(ctx);                                                  \
2603         return;                                                               \
2604     }                                                                         \
2605     EA = tcg_temp_new(TCG_TYPE_TL);                                           \
2606     if (type == PPC_64B)                                                      \
2607         gen_addr_imm_index(EA, ctx, 0x03);                                    \
2608     else                                                                      \
2609         gen_addr_imm_index(EA, ctx, 0);                                       \
2610     gen_qemu_st##width(cpu_gpr[rS(ctx->opcode)], EA, ctx->mem_idx);           \
2611     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], EA);                             \
2612     tcg_temp_free(EA);                                                        \
2613 }
2614
2615 #define GEN_STUX(width, opc2, opc3, type)                                     \
2616 GEN_HANDLER(st##width##ux, 0x1F, opc2, opc3, 0x00000001, type)                \
2617 {                                                                             \
2618     TCGv EA;                                                                  \
2619     if (unlikely(rA(ctx->opcode) == 0)) {                                     \
2620         GEN_EXCP_INVAL(ctx);                                                  \
2621         return;                                                               \
2622     }                                                                         \
2623     EA = tcg_temp_new(TCG_TYPE_TL);                                           \
2624     gen_addr_reg_index(EA, ctx);                                              \
2625     gen_qemu_st##width(cpu_gpr[rS(ctx->opcode)], EA, ctx->mem_idx);           \
2626     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], EA);                             \
2627     tcg_temp_free(EA);                                                        \
2628 }
2629
2630 #define GEN_STX(width, opc2, opc3, type)                                      \
2631 GEN_HANDLER(st##width##x, 0x1F, opc2, opc3, 0x00000001, type)                 \
2632 {                                                                             \
2633     TCGv EA = tcg_temp_new(TCG_TYPE_TL);                                      \
2634     gen_addr_reg_index(EA, ctx);                                              \
2635     gen_qemu_st##width(cpu_gpr[rS(ctx->opcode)], EA, ctx->mem_idx);           \
2636     tcg_temp_free(EA);                                                        \
2637 }
2638
2639 #define GEN_STS(width, op, type)                                              \
2640 GEN_ST(width, op | 0x20, type);                                               \
2641 GEN_STU(width, op | 0x21, type);                                              \
2642 GEN_STUX(width, 0x17, op | 0x01, type);                                       \
2643 GEN_STX(width, 0x17, op | 0x00, type)
2644
2645 /* stb stbu stbux stbx */
2646 GEN_STS(8, 0x06, PPC_INTEGER);
2647 /* sth sthu sthux sthx */
2648 GEN_STS(16, 0x0C, PPC_INTEGER);
2649 /* stw stwu stwux stwx */
2650 GEN_STS(32, 0x04, PPC_INTEGER);
2651 #if defined(TARGET_PPC64)
2652 GEN_STUX(64, 0x15, 0x05, PPC_64B);
2653 GEN_STX(64, 0x15, 0x04, PPC_64B);
2654 GEN_HANDLER(std, 0x3E, 0xFF, 0xFF, 0x00000000, PPC_64B)
2655 {
2656     int rs;
2657     TCGv EA;
2658
2659     rs = rS(ctx->opcode);
2660     if ((ctx->opcode & 0x3) == 0x2) {
2661 #if defined(CONFIG_USER_ONLY)
2662         GEN_EXCP_PRIVOPC(ctx);
2663 #else
2664         /* stq */
2665         if (unlikely(ctx->supervisor == 0)) {
2666             GEN_EXCP_PRIVOPC(ctx);
2667             return;
2668         }
2669         if (unlikely(rs & 1)) {
2670             GEN_EXCP_INVAL(ctx);
2671             return;
2672         }
2673         if (unlikely(ctx->mem_idx & 1)) {
2674             /* Little-endian mode is not handled */
2675             GEN_EXCP(ctx, POWERPC_EXCP_ALIGN, POWERPC_EXCP_ALIGN_LE);
2676             return;
2677         }
2678         EA = tcg_temp_new(TCG_TYPE_TL);
2679         gen_addr_imm_index(EA, ctx, 0x03);
2680         gen_qemu_st64(cpu_gpr[rs], EA, ctx->mem_idx);
2681         tcg_gen_addi_tl(EA, EA, 8);
2682         gen_qemu_st64(cpu_gpr[rs+1], EA, ctx->mem_idx);
2683         tcg_temp_free(EA);
2684 #endif
2685     } else {
2686         /* std / stdu */
2687         if (Rc(ctx->opcode)) {
2688             if (unlikely(rA(ctx->opcode) == 0)) {
2689                 GEN_EXCP_INVAL(ctx);
2690                 return;
2691             }
2692         }
2693         EA = tcg_temp_new(TCG_TYPE_TL);
2694         gen_addr_imm_index(EA, ctx, 0x03);
2695         gen_qemu_st64(cpu_gpr[rs], EA, ctx->mem_idx);
2696         if (Rc(ctx->opcode))
2697             tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], EA);
2698         tcg_temp_free(EA);
2699     }
2700 }
2701 #endif
2702 /***                Integer load and store with byte reverse               ***/
2703 /* lhbrx */
2704 void always_inline gen_qemu_ld16ur(TCGv t0, TCGv t1, int flags)
2705 {
2706     TCGv temp = tcg_temp_new(TCG_TYPE_I32);
2707     gen_qemu_ld16u(temp, t1, flags);
2708     tcg_gen_bswap16_i32(temp, temp);
2709     tcg_gen_extu_i32_tl(t0, temp);
2710     tcg_temp_free(temp);
2711 }
2712 GEN_LDX(16ur, 0x16, 0x18, PPC_INTEGER);
2713
2714 /* lwbrx */
2715 void always_inline gen_qemu_ld32ur(TCGv t0, TCGv t1, int flags)
2716 {
2717     TCGv temp = tcg_temp_new(TCG_TYPE_I32);
2718     gen_qemu_ld32u(temp, t1, flags);
2719     tcg_gen_bswap_i32(temp, temp);
2720     tcg_gen_extu_i32_tl(t0, temp);
2721     tcg_temp_free(temp);
2722 }
2723 GEN_LDX(32ur, 0x16, 0x10, PPC_INTEGER);
2724
2725 /* sthbrx */
2726 void always_inline gen_qemu_st16r(TCGv t0, TCGv t1, int flags)
2727 {
2728     TCGv temp = tcg_temp_new(TCG_TYPE_I32);
2729     tcg_gen_trunc_tl_i32(temp, t0);
2730     tcg_gen_ext16u_i32(temp, temp);
2731     tcg_gen_bswap16_i32(temp, temp);
2732     gen_qemu_st16(temp, t1, flags);
2733     tcg_temp_free(temp);
2734 }
2735 GEN_STX(16r, 0x16, 0x1C, PPC_INTEGER);
2736
2737 /* stwbrx */
2738 void always_inline gen_qemu_st32r(TCGv t0, TCGv t1, int flags)
2739 {
2740     TCGv temp = tcg_temp_new(TCG_TYPE_I32);
2741     tcg_gen_trunc_tl_i32(temp, t0);
2742     tcg_gen_bswap_i32(temp, temp);
2743     gen_qemu_st32(temp, t1, flags);
2744     tcg_temp_free(temp);
2745 }
2746 GEN_STX(32r, 0x16, 0x14, PPC_INTEGER);
2747
2748 /***                    Integer load and store multiple                    ***/
2749 #define op_ldstm(name, reg) (*gen_op_##name[ctx->mem_idx])(reg)
2750 static GenOpFunc1 *gen_op_lmw[NB_MEM_FUNCS] = {
2751     GEN_MEM_FUNCS(lmw),
2752 };
2753 static GenOpFunc1 *gen_op_stmw[NB_MEM_FUNCS] = {
2754     GEN_MEM_FUNCS(stmw),
2755 };
2756
2757 /* lmw */
2758 GEN_HANDLER(lmw, 0x2E, 0xFF, 0xFF, 0x00000000, PPC_INTEGER)
2759 {
2760     /* NIP cannot be restored if the memory exception comes from an helper */
2761     gen_update_nip(ctx, ctx->nip - 4);
2762     gen_addr_imm_index(cpu_T[0], ctx, 0);
2763     op_ldstm(lmw, rD(ctx->opcode));
2764 }
2765
2766 /* stmw */
2767 GEN_HANDLER(stmw, 0x2F, 0xFF, 0xFF, 0x00000000, PPC_INTEGER)
2768 {
2769     /* NIP cannot be restored if the memory exception comes from an helper */
2770     gen_update_nip(ctx, ctx->nip - 4);
2771     gen_addr_imm_index(cpu_T[0], ctx, 0);
2772     op_ldstm(stmw, rS(ctx->opcode));
2773 }
2774
2775 /***                    Integer load and store strings                     ***/
2776 #define op_ldsts(name, start) (*gen_op_##name[ctx->mem_idx])(start)
2777 #define op_ldstsx(name, rd, ra, rb) (*gen_op_##name[ctx->mem_idx])(rd, ra, rb)
2778 /* string load & stores are by definition endian-safe */
2779 #define gen_op_lswi_le_raw       gen_op_lswi_raw
2780 #define gen_op_lswi_le_user      gen_op_lswi_user
2781 #define gen_op_lswi_le_kernel    gen_op_lswi_kernel
2782 #define gen_op_lswi_le_hypv      gen_op_lswi_hypv
2783 #define gen_op_lswi_le_64_raw    gen_op_lswi_raw
2784 #define gen_op_lswi_le_64_user   gen_op_lswi_user
2785 #define gen_op_lswi_le_64_kernel gen_op_lswi_kernel
2786 #define gen_op_lswi_le_64_hypv   gen_op_lswi_hypv
2787 static GenOpFunc1 *gen_op_lswi[NB_MEM_FUNCS] = {
2788     GEN_MEM_FUNCS(lswi),
2789 };
2790 #define gen_op_lswx_le_raw       gen_op_lswx_raw
2791 #define gen_op_lswx_le_user      gen_op_lswx_user
2792 #define gen_op_lswx_le_kernel    gen_op_lswx_kernel
2793 #define gen_op_lswx_le_hypv      gen_op_lswx_hypv
2794 #define gen_op_lswx_le_64_raw    gen_op_lswx_raw
2795 #define gen_op_lswx_le_64_user   gen_op_lswx_user
2796 #define gen_op_lswx_le_64_kernel gen_op_lswx_kernel
2797 #define gen_op_lswx_le_64_hypv   gen_op_lswx_hypv
2798 static GenOpFunc3 *gen_op_lswx[NB_MEM_FUNCS] = {
2799     GEN_MEM_FUNCS(lswx),
2800 };
2801 #define gen_op_stsw_le_raw       gen_op_stsw_raw
2802 #define gen_op_stsw_le_user      gen_op_stsw_user
2803 #define gen_op_stsw_le_kernel    gen_op_stsw_kernel
2804 #define gen_op_stsw_le_hypv      gen_op_stsw_hypv
2805 #define gen_op_stsw_le_64_raw    gen_op_stsw_raw
2806 #define gen_op_stsw_le_64_user   gen_op_stsw_user
2807 #define gen_op_stsw_le_64_kernel gen_op_stsw_kernel
2808 #define gen_op_stsw_le_64_hypv   gen_op_stsw_hypv
2809 static GenOpFunc1 *gen_op_stsw[NB_MEM_FUNCS] = {
2810     GEN_MEM_FUNCS(stsw),
2811 };
2812
2813 /* lswi */
2814 /* PowerPC32 specification says we must generate an exception if
2815  * rA is in the range of registers to be loaded.
2816  * In an other hand, IBM says this is valid, but rA won't be loaded.
2817  * For now, I'll follow the spec...
2818  */
2819 GEN_HANDLER(lswi, 0x1F, 0x15, 0x12, 0x00000001, PPC_STRING)
2820 {
2821     int nb = NB(ctx->opcode);
2822     int start = rD(ctx->opcode);
2823     int ra = rA(ctx->opcode);
2824     int nr;
2825
2826     if (nb == 0)
2827         nb = 32;
2828     nr = nb / 4;
2829     if (unlikely(((start + nr) > 32  &&
2830                   start <= ra && (start + nr - 32) > ra) ||
2831                  ((start + nr) <= 32 && start <= ra && (start + nr) > ra))) {
2832         GEN_EXCP(ctx, POWERPC_EXCP_PROGRAM,
2833                  POWERPC_EXCP_INVAL | POWERPC_EXCP_INVAL_LSWX);
2834         return;
2835     }
2836     /* NIP cannot be restored if the memory exception comes from an helper */
2837     gen_update_nip(ctx, ctx->nip - 4);
2838     gen_addr_register(cpu_T[0], ctx);
2839     tcg_gen_movi_tl(cpu_T[1], nb);
2840     op_ldsts(lswi, start);
2841 }
2842
2843 /* lswx */
2844 GEN_HANDLER(lswx, 0x1F, 0x15, 0x10, 0x00000001, PPC_STRING)
2845 {
2846     int ra = rA(ctx->opcode);
2847     int rb = rB(ctx->opcode);
2848
2849     /* NIP cannot be restored if the memory exception comes from an helper */
2850     gen_update_nip(ctx, ctx->nip - 4);
2851     gen_addr_reg_index(cpu_T[0], ctx);
2852     if (ra == 0) {
2853         ra = rb;
2854     }
2855     gen_op_load_xer_bc();
2856     op_ldstsx(lswx, rD(ctx->opcode), ra, rb);
2857 }
2858
2859 /* stswi */
2860 GEN_HANDLER(stswi, 0x1F, 0x15, 0x16, 0x00000001, PPC_STRING)
2861 {
2862     int nb = NB(ctx->opcode);
2863
2864     /* NIP cannot be restored if the memory exception comes from an helper */
2865     gen_update_nip(ctx, ctx->nip - 4);
2866     gen_addr_register(cpu_T[0], ctx);
2867     if (nb == 0)
2868         nb = 32;
2869     tcg_gen_movi_tl(cpu_T[1], nb);
2870     op_ldsts(stsw, rS(ctx->opcode));
2871 }
2872
2873 /* stswx */
2874 GEN_HANDLER(stswx, 0x1F, 0x15, 0x14, 0x00000001, PPC_STRING)
2875 {
2876     /* NIP cannot be restored if the memory exception comes from an helper */
2877     gen_update_nip(ctx, ctx->nip - 4);
2878     gen_addr_reg_index(cpu_T[0], ctx);
2879     gen_op_load_xer_bc();
2880     op_ldsts(stsw, rS(ctx->opcode));
2881 }
2882
2883 /***                        Memory synchronisation                         ***/
2884 /* eieio */
2885 GEN_HANDLER(eieio, 0x1F, 0x16, 0x1A, 0x03FFF801, PPC_MEM_EIEIO)
2886 {
2887 }
2888
2889 /* isync */
2890 GEN_HANDLER(isync, 0x13, 0x16, 0x04, 0x03FFF801, PPC_MEM)
2891 {
2892     GEN_STOP(ctx);
2893 }
2894
2895 #define op_lwarx() (*gen_op_lwarx[ctx->mem_idx])()
2896 #define op_stwcx() (*gen_op_stwcx[ctx->mem_idx])()
2897 static GenOpFunc *gen_op_lwarx[NB_MEM_FUNCS] = {
2898     GEN_MEM_FUNCS(lwarx),
2899 };
2900 static GenOpFunc *gen_op_stwcx[NB_MEM_FUNCS] = {
2901     GEN_MEM_FUNCS(stwcx),
2902 };
2903
2904 /* lwarx */
2905 GEN_HANDLER(lwarx, 0x1F, 0x14, 0x00, 0x00000001, PPC_RES)
2906 {
2907     /* NIP cannot be restored if the memory exception comes from an helper */
2908     gen_update_nip(ctx, ctx->nip - 4);
2909     gen_addr_reg_index(cpu_T[0], ctx);
2910     op_lwarx();
2911     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[1]);
2912 }
2913
2914 /* stwcx. */
2915 GEN_HANDLER2(stwcx_, "stwcx.", 0x1F, 0x16, 0x04, 0x00000000, PPC_RES)
2916 {
2917     /* NIP cannot be restored if the memory exception comes from an helper */
2918     gen_update_nip(ctx, ctx->nip - 4);
2919     gen_addr_reg_index(cpu_T[0], ctx);
2920     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rS(ctx->opcode)]);
2921     op_stwcx();
2922 }
2923
2924 #if defined(TARGET_PPC64)
2925 #define op_ldarx() (*gen_op_ldarx[ctx->mem_idx])()
2926 #define op_stdcx() (*gen_op_stdcx[ctx->mem_idx])()
2927 static GenOpFunc *gen_op_ldarx[NB_MEM_FUNCS] = {
2928     GEN_MEM_FUNCS(ldarx),
2929 };
2930 static GenOpFunc *gen_op_stdcx[NB_MEM_FUNCS] = {
2931     GEN_MEM_FUNCS(stdcx),
2932 };
2933
2934 /* ldarx */
2935 GEN_HANDLER(ldarx, 0x1F, 0x14, 0x02, 0x00000001, PPC_64B)
2936 {
2937     /* NIP cannot be restored if the memory exception comes from an helper */
2938     gen_update_nip(ctx, ctx->nip - 4);
2939     gen_addr_reg_index(cpu_T[0], ctx);
2940     op_ldarx();
2941     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[1]);
2942 }
2943
2944 /* stdcx. */
2945 GEN_HANDLER2(stdcx_, "stdcx.", 0x1F, 0x16, 0x06, 0x00000000, PPC_64B)
2946 {
2947     /* NIP cannot be restored if the memory exception comes from an helper */
2948     gen_update_nip(ctx, ctx->nip - 4);
2949     gen_addr_reg_index(cpu_T[0], ctx);
2950     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rS(ctx->opcode)]);
2951     op_stdcx();
2952 }
2953 #endif /* defined(TARGET_PPC64) */
2954
2955 /* sync */
2956 GEN_HANDLER(sync, 0x1F, 0x16, 0x12, 0x039FF801, PPC_MEM_SYNC)
2957 {
2958 }
2959
2960 /* wait */
2961 GEN_HANDLER(wait, 0x1F, 0x1E, 0x01, 0x03FFF801, PPC_WAIT)
2962 {
2963     /* Stop translation, as the CPU is supposed to sleep from now */
2964     gen_op_wait();
2965     GEN_EXCP(ctx, EXCP_HLT, 1);
2966 }
2967
2968 /***                         Floating-point load                           ***/
2969 #define GEN_LDF(width, opc, type)                                             \
2970 GEN_HANDLER(l##width, opc, 0xFF, 0xFF, 0x00000000, type)                      \
2971 {                                                                             \
2972     if (unlikely(!ctx->fpu_enabled)) {                                        \
2973         GEN_EXCP_NO_FP(ctx);                                                  \
2974         return;                                                               \
2975     }                                                                         \
2976     gen_addr_imm_index(cpu_T[0], ctx, 0);                                     \
2977     op_ldst(l##width);                                                        \
2978     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode)], cpu_FT[0]);                     \
2979 }
2980
2981 #define GEN_LDUF(width, opc, type)                                            \
2982 GEN_HANDLER(l##width##u, opc, 0xFF, 0xFF, 0x00000000, type)                   \
2983 {                                                                             \
2984     if (unlikely(!ctx->fpu_enabled)) {                                        \
2985         GEN_EXCP_NO_FP(ctx);                                                  \
2986         return;                                                               \
2987     }                                                                         \
2988     if (unlikely(rA(ctx->opcode) == 0)) {                                     \
2989         GEN_EXCP_INVAL(ctx);                                                  \
2990         return;                                                               \
2991     }                                                                         \
2992     gen_addr_imm_index(cpu_T[0], ctx, 0);                                     \
2993     op_ldst(l##width);                                                        \
2994     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode)], cpu_FT[0]);                     \
2995     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);                       \
2996 }
2997
2998 #define GEN_LDUXF(width, opc, type)                                           \
2999 GEN_HANDLER(l##width##ux, 0x1F, 0x17, opc, 0x00000001, type)                  \
3000 {                                                                             \
3001     if (unlikely(!ctx->fpu_enabled)) {                                        \
3002         GEN_EXCP_NO_FP(ctx);                                                  \
3003         return;                                                               \
3004     }                                                                         \
3005     if (unlikely(rA(ctx->opcode) == 0)) {                                     \
3006         GEN_EXCP_INVAL(ctx);                                                  \
3007         return;                                                               \
3008     }                                                                         \
3009     gen_addr_reg_index(cpu_T[0], ctx);                                        \
3010     op_ldst(l##width);                                                        \
3011     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode)], cpu_FT[0]);                     \
3012     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);                       \
3013 }
3014
3015 #define GEN_LDXF(width, opc2, opc3, type)                                     \
3016 GEN_HANDLER(l##width##x, 0x1F, opc2, opc3, 0x00000001, type)                  \
3017 {                                                                             \
3018     if (unlikely(!ctx->fpu_enabled)) {                                        \
3019         GEN_EXCP_NO_FP(ctx);                                                  \
3020         return;                                                               \
3021     }                                                                         \
3022     gen_addr_reg_index(cpu_T[0], ctx);                                        \
3023     op_ldst(l##width);                                                        \
3024     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode)], cpu_FT[0]);                     \
3025 }
3026
3027 #define GEN_LDFS(width, op, type)                                             \
3028 OP_LD_TABLE(width);                                                           \
3029 GEN_LDF(width, op | 0x20, type);                                              \
3030 GEN_LDUF(width, op | 0x21, type);                                             \
3031 GEN_LDUXF(width, op | 0x01, type);                                            \
3032 GEN_LDXF(width, 0x17, op | 0x00, type)
3033
3034 /* lfd lfdu lfdux lfdx */
3035 GEN_LDFS(fd, 0x12, PPC_FLOAT);
3036 /* lfs lfsu lfsux lfsx */
3037 GEN_LDFS(fs, 0x10, PPC_FLOAT);
3038
3039 /***                         Floating-point store                          ***/
3040 #define GEN_STF(width, opc, type)                                             \
3041 GEN_HANDLER(st##width, opc, 0xFF, 0xFF, 0x00000000, type)                     \
3042 {                                                                             \
3043     if (unlikely(!ctx->fpu_enabled)) {                                        \
3044         GEN_EXCP_NO_FP(ctx);                                                  \
3045         return;                                                               \
3046     }                                                                         \
3047     gen_addr_imm_index(cpu_T[0], ctx, 0);                                     \
3048     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rS(ctx->opcode)]);                     \
3049     op_ldst(st##width);                                                       \
3050 }
3051
3052 #define GEN_STUF(width, opc, type)                                            \
3053 GEN_HANDLER(st##width##u, opc, 0xFF, 0xFF, 0x00000000, type)                  \
3054 {                                                                             \
3055     if (unlikely(!ctx->fpu_enabled)) {                                        \
3056         GEN_EXCP_NO_FP(ctx);                                                  \
3057         return;                                                               \
3058     }                                                                         \
3059     if (unlikely(rA(ctx->opcode) == 0)) {                                     \
3060         GEN_EXCP_INVAL(ctx);                                                  \
3061         return;                                                               \
3062     }                                                                         \
3063     gen_addr_imm_index(cpu_T[0], ctx, 0);                                     \
3064     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rS(ctx->opcode)]);                     \
3065     op_ldst(st##width);                                                       \
3066     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);                       \
3067 }
3068
3069 #define GEN_STUXF(width, opc, type)                                           \
3070 GEN_HANDLER(st##width##ux, 0x1F, 0x17, opc, 0x00000001, type)                 \
3071 {                                                                             \
3072     if (unlikely(!ctx->fpu_enabled)) {                                        \
3073         GEN_EXCP_NO_FP(ctx);                                                  \
3074         return;                                                               \
3075     }                                                                         \
3076     if (unlikely(rA(ctx->opcode) == 0)) {                                     \
3077         GEN_EXCP_INVAL(ctx);                                                  \
3078         return;                                                               \
3079     }                                                                         \
3080     gen_addr_reg_index(cpu_T[0], ctx);                                        \
3081     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rS(ctx->opcode)]);                     \
3082     op_ldst(st##width);                                                       \
3083     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);                       \
3084 }
3085
3086 #define GEN_STXF(width, opc2, opc3, type)                                     \
3087 GEN_HANDLER(st##width##x, 0x1F, opc2, opc3, 0x00000001, type)                 \
3088 {                                                                             \
3089     if (unlikely(!ctx->fpu_enabled)) {                                        \
3090         GEN_EXCP_NO_FP(ctx);                                                  \
3091         return;                                                               \
3092     }                                                                         \
3093     gen_addr_reg_index(cpu_T[0], ctx);                                        \
3094     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rS(ctx->opcode)]);                     \
3095     op_ldst(st##width);                                                       \
3096 }
3097
3098 #define GEN_STFS(width, op, type)                                             \
3099 OP_ST_TABLE(width);                                                           \
3100 GEN_STF(width, op | 0x20, type);                                              \
3101 GEN_STUF(width, op | 0x21, type);                                             \
3102 GEN_STUXF(width, op | 0x01, type);                                            \
3103 GEN_STXF(width, 0x17, op | 0x00, type)
3104
3105 /* stfd stfdu stfdux stfdx */
3106 GEN_STFS(fd, 0x16, PPC_FLOAT);
3107 /* stfs stfsu stfsux stfsx */
3108 GEN_STFS(fs, 0x14, PPC_FLOAT);
3109
3110 /* Optional: */
3111 /* stfiwx */
3112 OP_ST_TABLE(fiw);
3113 GEN_STXF(fiw, 0x17, 0x1E, PPC_FLOAT_STFIWX);
3114
3115 /***                                Branch                                 ***/
3116 static always_inline void gen_goto_tb (DisasContext *ctx, int n,
3117                                        target_ulong dest)
3118 {
3119     TranslationBlock *tb;
3120     tb = ctx->tb;
3121     if ((tb->pc & TARGET_PAGE_MASK) == (dest & TARGET_PAGE_MASK) &&
3122         likely(!ctx->singlestep_enabled)) {
3123         tcg_gen_goto_tb(n);
3124         tcg_gen_movi_tl(cpu_T[1], dest);
3125 #if defined(TARGET_PPC64)
3126         if (ctx->sf_mode)
3127             tcg_gen_andi_tl(cpu_nip, cpu_T[1], ~3);
3128         else
3129 #endif
3130             tcg_gen_andi_tl(cpu_nip, cpu_T[1], (uint32_t)~3);
3131         tcg_gen_exit_tb((long)tb + n);
3132     } else {
3133         tcg_gen_movi_tl(cpu_T[1], dest);
3134 #if defined(TARGET_PPC64)
3135         if (ctx->sf_mode)
3136             tcg_gen_andi_tl(cpu_nip, cpu_T[1], ~3);
3137         else
3138 #endif
3139             tcg_gen_andi_tl(cpu_nip, cpu_T[1], (uint32_t)~3);
3140         if (unlikely(ctx->singlestep_enabled)) {
3141             if ((ctx->singlestep_enabled &
3142                  (CPU_BRANCH_STEP | CPU_SINGLE_STEP)) &&
3143                 ctx->exception == POWERPC_EXCP_BRANCH) {
3144                 target_ulong tmp = ctx->nip;
3145                 ctx->nip = dest;
3146                 GEN_EXCP(ctx, POWERPC_EXCP_TRACE, 0);
3147                 ctx->nip = tmp;
3148             }
3149             if (ctx->singlestep_enabled & GDBSTUB_SINGLE_STEP) {
3150                 gen_update_nip(ctx, dest);
3151                 gen_op_debug();
3152             }
3153         }
3154         tcg_gen_exit_tb(0);
3155     }
3156 }
3157
3158 static always_inline void gen_setlr (DisasContext *ctx, target_ulong nip)
3159 {
3160 #if defined(TARGET_PPC64)
3161     if (ctx->sf_mode != 0 && (nip >> 32))
3162         gen_op_setlr_64(ctx->nip >> 32, ctx->nip);
3163     else
3164 #endif
3165         gen_op_setlr(ctx->nip);
3166 }
3167
3168 /* b ba bl bla */
3169 GEN_HANDLER(b, 0x12, 0xFF, 0xFF, 0x00000000, PPC_FLOW)
3170 {
3171     target_ulong li, target;
3172
3173     ctx->exception = POWERPC_EXCP_BRANCH;
3174     /* sign extend LI */
3175 #if defined(TARGET_PPC64)
3176     if (ctx->sf_mode)
3177         li = ((int64_t)LI(ctx->opcode) << 38) >> 38;
3178     else
3179 #endif
3180         li = ((int32_t)LI(ctx->opcode) << 6) >> 6;
3181     if (likely(AA(ctx->opcode) == 0))
3182         target = ctx->nip + li - 4;
3183     else
3184         target = li;
3185 #if defined(TARGET_PPC64)
3186     if (!ctx->sf_mode)
3187         target = (uint32_t)target;
3188 #endif
3189     if (LK(ctx->opcode))
3190         gen_setlr(ctx, ctx->nip);
3191     gen_goto_tb(ctx, 0, target);
3192 }
3193
3194 #define BCOND_IM  0
3195 #define BCOND_LR  1
3196 #define BCOND_CTR 2
3197
3198 static always_inline void gen_bcond (DisasContext *ctx, int type)
3199 {
3200     target_ulong target = 0;
3201     target_ulong li;
3202     uint32_t bo = BO(ctx->opcode);
3203     uint32_t bi = BI(ctx->opcode);
3204     uint32_t mask;
3205
3206     ctx->exception = POWERPC_EXCP_BRANCH;
3207     if ((bo & 0x4) == 0)
3208         gen_op_dec_ctr();
3209     switch(type) {
3210     case BCOND_IM:
3211         li = (target_long)((int16_t)(BD(ctx->opcode)));
3212         if (likely(AA(ctx->opcode) == 0)) {
3213             target = ctx->nip + li - 4;
3214         } else {
3215             target = li;
3216         }
3217 #if defined(TARGET_PPC64)
3218         if (!ctx->sf_mode)
3219             target = (uint32_t)target;
3220 #endif
3221         break;
3222     case BCOND_CTR:
3223         gen_op_movl_T1_ctr();
3224         break;
3225     default:
3226     case BCOND_LR:
3227         gen_op_movl_T1_lr();
3228         break;
3229     }
3230     if (LK(ctx->opcode))
3231         gen_setlr(ctx, ctx->nip);
3232     if (bo & 0x10) {
3233         /* No CR condition */
3234         switch (bo & 0x6) {
3235         case 0:
3236 #if defined(TARGET_PPC64)
3237             if (ctx->sf_mode)
3238                 gen_op_test_ctr_64();
3239             else
3240 #endif
3241                 gen_op_test_ctr();
3242             break;
3243         case 2:
3244 #if defined(TARGET_PPC64)
3245             if (ctx->sf_mode)
3246                 gen_op_test_ctrz_64();
3247             else
3248 #endif
3249                 gen_op_test_ctrz();
3250             break;
3251         default:
3252         case 4:
3253         case 6:
3254             if (type == BCOND_IM) {
3255                 gen_goto_tb(ctx, 0, target);
3256                 return;
3257             } else {
3258 #if defined(TARGET_PPC64)
3259                 if (ctx->sf_mode)
3260                     tcg_gen_andi_tl(cpu_nip, cpu_T[1], ~3);
3261                 else
3262 #endif
3263                     tcg_gen_andi_tl(cpu_nip, cpu_T[1], (uint32_t)~3);
3264                 goto no_test;
3265             }
3266             break;
3267         }
3268     } else {
3269         mask = 1 << (3 - (bi & 0x03));
3270         tcg_gen_mov_i32(cpu_T[0], cpu_crf[bi >> 2]);
3271         if (bo & 0x8) {
3272             switch (bo & 0x6) {
3273             case 0:
3274 #if defined(TARGET_PPC64)
3275                 if (ctx->sf_mode)
3276                     gen_op_test_ctr_true_64(mask);
3277                 else
3278 #endif
3279                     gen_op_test_ctr_true(mask);
3280                 break;
3281             case 2:
3282 #if defined(TARGET_PPC64)
3283                 if (ctx->sf_mode)
3284                     gen_op_test_ctrz_true_64(mask);
3285                 else
3286 #endif
3287                     gen_op_test_ctrz_true(mask);
3288                 break;
3289             default:
3290             case 4:
3291             case 6:
3292                 gen_op_test_true(mask);
3293                 break;
3294             }
3295         } else {
3296             switch (bo & 0x6) {
3297             case 0:
3298 #if defined(TARGET_PPC64)
3299                 if (ctx->sf_mode)
3300                     gen_op_test_ctr_false_64(mask);
3301                 else
3302 #endif
3303                     gen_op_test_ctr_false(mask);
3304                 break;
3305             case 2:
3306 #if defined(TARGET_PPC64)
3307                 if (ctx->sf_mode)
3308                     gen_op_test_ctrz_false_64(mask);
3309                 else
3310 #endif
3311                     gen_op_test_ctrz_false(mask);
3312                 break;
3313             default:
3314             case 4:
3315             case 6:
3316                 gen_op_test_false(mask);
3317                 break;
3318             }
3319         }
3320     }
3321     if (type == BCOND_IM) {
3322         int l1 = gen_new_label();
3323         gen_op_jz_T0(l1);
3324         gen_goto_tb(ctx, 0, target);
3325         gen_set_label(l1);
3326         gen_goto_tb(ctx, 1, ctx->nip);
3327     } else {
3328 #if defined(TARGET_PPC64)
3329         if (ctx->sf_mode)
3330             gen_op_btest_T1_64(ctx->nip >> 32, ctx->nip);
3331         else
3332 #endif
3333             gen_op_btest_T1(ctx->nip);
3334     no_test:
3335         tcg_gen_exit_tb(0);
3336     }
3337 }
3338
3339 GEN_HANDLER(bc, 0x10, 0xFF, 0xFF, 0x00000000, PPC_FLOW)
3340 {
3341     gen_bcond(ctx, BCOND_IM);
3342 }
3343
3344 GEN_HANDLER(bcctr, 0x13, 0x10, 0x10, 0x00000000, PPC_FLOW)
3345 {
3346     gen_bcond(ctx, BCOND_CTR);
3347 }
3348
3349 GEN_HANDLER(bclr, 0x13, 0x10, 0x00, 0x00000000, PPC_FLOW)
3350 {
3351     gen_bcond(ctx, BCOND_LR);
3352 }
3353
3354 /***                      Condition register logical                       ***/
3355 #define GEN_CRLOGIC(op, opc)                                                  \
3356 GEN_HANDLER(cr##op, 0x13, 0x01, opc, 0x00000001, PPC_INTEGER)                 \
3357 {                                                                             \
3358     uint8_t bitmask;                                                          \
3359     int sh;                                                                   \
3360     tcg_gen_mov_i32(cpu_T[0], cpu_crf[crbA(ctx->opcode) >> 2]);               \
3361     sh = (crbD(ctx->opcode) & 0x03) - (crbA(ctx->opcode) & 0x03);             \
3362     if (sh > 0)                                                               \
3363         gen_op_srli_T0(sh);                                                   \
3364     else if (sh < 0)                                                          \
3365         gen_op_sli_T0(-sh);                                                   \
3366     tcg_gen_mov_i32(cpu_T[1], cpu_crf[crbB(ctx->opcode) >> 2]);               \
3367     sh = (crbD(ctx->opcode) & 0x03) - (crbB(ctx->opcode) & 0x03);             \
3368     if (sh > 0)                                                               \
3369         gen_op_srli_T1(sh);                                                   \
3370     else if (sh < 0)                                                          \
3371         gen_op_sli_T1(-sh);                                                   \
3372     gen_op_##op();                                                            \
3373     bitmask = 1 << (3 - (crbD(ctx->opcode) & 0x03));                          \
3374     tcg_gen_andi_tl(cpu_T[0], cpu_T[0], bitmask);                             \
3375     tcg_gen_andi_i32(cpu_T[1], cpu_crf[crbD(ctx->opcode) >> 2], ~bitmask);    \
3376     gen_op_or();                                                              \
3377     tcg_gen_andi_i32(cpu_crf[crbD(ctx->opcode) >> 2], cpu_T[0], 0xf);         \
3378 }
3379
3380 /* crand */
3381 GEN_CRLOGIC(and, 0x08);
3382 /* crandc */
3383 GEN_CRLOGIC(andc, 0x04);
3384 /* creqv */
3385 GEN_CRLOGIC(eqv, 0x09);
3386 /* crnand */
3387 GEN_CRLOGIC(nand, 0x07);
3388 /* crnor */
3389 GEN_CRLOGIC(nor, 0x01);
3390 /* cror */
3391 GEN_CRLOGIC(or, 0x0E);
3392 /* crorc */
3393 GEN_CRLOGIC(orc, 0x0D);
3394 /* crxor */
3395 GEN_CRLOGIC(xor, 0x06);
3396 /* mcrf */
3397 GEN_HANDLER(mcrf, 0x13, 0x00, 0xFF, 0x00000001, PPC_INTEGER)
3398 {
3399     tcg_gen_mov_i32(cpu_crf[crfD(ctx->opcode)], cpu_crf[crfS(ctx->opcode)]);
3400 }
3401
3402 /***                           System linkage                              ***/
3403 /* rfi (supervisor only) */
3404 GEN_HANDLER(rfi, 0x13, 0x12, 0x01, 0x03FF8001, PPC_FLOW)
3405 {
3406 #if defined(CONFIG_USER_ONLY)
3407     GEN_EXCP_PRIVOPC(ctx);
3408 #else
3409     /* Restore CPU state */
3410     if (unlikely(!ctx->supervisor)) {
3411         GEN_EXCP_PRIVOPC(ctx);
3412         return;
3413     }
3414     gen_op_rfi();
3415     GEN_SYNC(ctx);
3416 #endif
3417 }
3418
3419 #if defined(TARGET_PPC64)
3420 GEN_HANDLER(rfid, 0x13, 0x12, 0x00, 0x03FF8001, PPC_64B)
3421 {
3422 #if defined(CONFIG_USER_ONLY)
3423     GEN_EXCP_PRIVOPC(ctx);
3424 #else
3425     /* Restore CPU state */
3426     if (unlikely(!ctx->supervisor)) {
3427         GEN_EXCP_PRIVOPC(ctx);
3428         return;
3429     }
3430     gen_op_rfid();
3431     GEN_SYNC(ctx);
3432 #endif
3433 }
3434
3435 GEN_HANDLER(hrfid, 0x13, 0x12, 0x08, 0x03FF8001, PPC_64H)
3436 {
3437 #if defined(CONFIG_USER_ONLY)
3438     GEN_EXCP_PRIVOPC(ctx);
3439 #else
3440     /* Restore CPU state */
3441     if (unlikely(ctx->supervisor <= 1)) {
3442         GEN_EXCP_PRIVOPC(ctx);
3443         return;
3444     }
3445     gen_op_hrfid();
3446     GEN_SYNC(ctx);
3447 #endif
3448 }
3449 #endif
3450
3451 /* sc */
3452 #if defined(CONFIG_USER_ONLY)
3453 #define POWERPC_SYSCALL POWERPC_EXCP_SYSCALL_USER
3454 #else
3455 #define POWERPC_SYSCALL POWERPC_EXCP_SYSCALL
3456 #endif
3457 GEN_HANDLER(sc, 0x11, 0xFF, 0xFF, 0x03FFF01D, PPC_FLOW)
3458 {
3459     uint32_t lev;
3460
3461     lev = (ctx->opcode >> 5) & 0x7F;
3462     GEN_EXCP(ctx, POWERPC_SYSCALL, lev);
3463 }
3464
3465 /***                                Trap                                   ***/
3466 /* tw */
3467 GEN_HANDLER(tw, 0x1F, 0x04, 0x00, 0x00000001, PPC_FLOW)
3468 {
3469     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
3470     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
3471     /* Update the nip since this might generate a trap exception */
3472     gen_update_nip(ctx, ctx->nip);
3473     gen_op_tw(TO(ctx->opcode));
3474 }
3475
3476 /* twi */
3477 GEN_HANDLER(twi, 0x03, 0xFF, 0xFF, 0x00000000, PPC_FLOW)
3478 {
3479     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
3480     tcg_gen_movi_tl(cpu_T[1], SIMM(ctx->opcode));
3481     /* Update the nip since this might generate a trap exception */
3482     gen_update_nip(ctx, ctx->nip);
3483     gen_op_tw(TO(ctx->opcode));
3484 }
3485
3486 #if defined(TARGET_PPC64)
3487 /* td */
3488 GEN_HANDLER(td, 0x1F, 0x04, 0x02, 0x00000001, PPC_64B)
3489 {
3490     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
3491     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
3492     /* Update the nip since this might generate a trap exception */
3493     gen_update_nip(ctx, ctx->nip);
3494     gen_op_td(TO(ctx->opcode));
3495 }
3496
3497 /* tdi */
3498 GEN_HANDLER(tdi, 0x02, 0xFF, 0xFF, 0x00000000, PPC_64B)
3499 {
3500     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
3501     tcg_gen_movi_tl(cpu_T[1], SIMM(ctx->opcode));
3502     /* Update the nip since this might generate a trap exception */
3503     gen_update_nip(ctx, ctx->nip);
3504     gen_op_td(TO(ctx->opcode));
3505 }
3506 #endif
3507
3508 /***                          Processor control                            ***/
3509 /* mcrxr */
3510 GEN_HANDLER(mcrxr, 0x1F, 0x00, 0x10, 0x007FF801, PPC_MISC)
3511 {
3512     gen_op_load_xer_cr();
3513     tcg_gen_andi_i32(cpu_crf[crfD(ctx->opcode)], cpu_T[0], 0xf);
3514     gen_op_clear_xer_ov();
3515     gen_op_clear_xer_ca();
3516 }
3517
3518 /* mfcr */
3519 GEN_HANDLER(mfcr, 0x1F, 0x13, 0x00, 0x00000801, PPC_MISC)
3520 {
3521     uint32_t crm, crn;
3522
3523     if (likely(ctx->opcode & 0x00100000)) {
3524         crm = CRM(ctx->opcode);
3525         if (likely((crm ^ (crm - 1)) == 0)) {
3526             crn = ffs(crm);
3527             tcg_gen_mov_i32(cpu_T[0], cpu_crf[7 - crn]);
3528         }
3529     } else {
3530         gen_op_load_cr();
3531     }
3532     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
3533 }
3534
3535 /* mfmsr */
3536 GEN_HANDLER(mfmsr, 0x1F, 0x13, 0x02, 0x001FF801, PPC_MISC)
3537 {
3538 #if defined(CONFIG_USER_ONLY)
3539     GEN_EXCP_PRIVREG(ctx);
3540 #else
3541     if (unlikely(!ctx->supervisor)) {
3542         GEN_EXCP_PRIVREG(ctx);
3543         return;
3544     }
3545     gen_op_load_msr();
3546     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
3547 #endif
3548 }
3549
3550 #if 1
3551 #define SPR_NOACCESS ((void *)(-1UL))
3552 #else
3553 static void spr_noaccess (void *opaque, int sprn)
3554 {
3555     sprn = ((sprn >> 5) & 0x1F) | ((sprn & 0x1F) << 5);
3556     printf("ERROR: try to access SPR %d !\n", sprn);
3557 }
3558 #define SPR_NOACCESS (&spr_noaccess)
3559 #endif
3560
3561 /* mfspr */
3562 static always_inline void gen_op_mfspr (DisasContext *ctx)
3563 {
3564     void (*read_cb)(void *opaque, int sprn);
3565     uint32_t sprn = SPR(ctx->opcode);
3566
3567 #if !defined(CONFIG_USER_ONLY)
3568     if (ctx->supervisor == 2)
3569         read_cb = ctx->spr_cb[sprn].hea_read;
3570     else if (ctx->supervisor)
3571         read_cb = ctx->spr_cb[sprn].oea_read;
3572     else
3573 #endif
3574         read_cb = ctx->spr_cb[sprn].uea_read;
3575     if (likely(read_cb != NULL)) {
3576         if (likely(read_cb != SPR_NOACCESS)) {
3577             (*read_cb)(ctx, sprn);
3578             tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
3579         } else {
3580             /* Privilege exception */
3581             /* This is a hack to avoid warnings when running Linux:
3582              * this OS breaks the PowerPC virtualisation model,
3583              * allowing userland application to read the PVR
3584              */
3585             if (sprn != SPR_PVR) {
3586                 if (loglevel != 0) {
3587                     fprintf(logfile, "Trying to read privileged spr %d %03x at "
3588                             ADDRX "\n", sprn, sprn, ctx->nip);
3589                 }
3590                 printf("Trying to read privileged spr %d %03x at " ADDRX "\n",
3591                        sprn, sprn, ctx->nip);
3592             }
3593             GEN_EXCP_PRIVREG(ctx);
3594         }
3595     } else {
3596         /* Not defined */
3597         if (loglevel != 0) {
3598             fprintf(logfile, "Trying to read invalid spr %d %03x at "
3599                     ADDRX "\n", sprn, sprn, ctx->nip);
3600         }
3601         printf("Trying to read invalid spr %d %03x at " ADDRX "\n",
3602                sprn, sprn, ctx->nip);
3603         GEN_EXCP(ctx, POWERPC_EXCP_PROGRAM,
3604                  POWERPC_EXCP_INVAL | POWERPC_EXCP_INVAL_SPR);
3605     }
3606 }
3607
3608 GEN_HANDLER(mfspr, 0x1F, 0x13, 0x0A, 0x00000001, PPC_MISC)
3609 {
3610     gen_op_mfspr(ctx);
3611 }
3612
3613 /* mftb */
3614 GEN_HANDLER(mftb, 0x1F, 0x13, 0x0B, 0x00000001, PPC_MFTB)
3615 {
3616     gen_op_mfspr(ctx);
3617 }
3618
3619 /* mtcrf */
3620 GEN_HANDLER(mtcrf, 0x1F, 0x10, 0x04, 0x00000801, PPC_MISC)
3621 {
3622     uint32_t crm, crn;
3623
3624     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
3625     crm = CRM(ctx->opcode);
3626     if (likely((ctx->opcode & 0x00100000) || (crm ^ (crm - 1)) == 0)) {
3627         crn = ffs(crm);
3628         gen_op_srli_T0(crn * 4);
3629         tcg_gen_andi_i32(cpu_crf[7 - crn], cpu_T[0], 0xf);
3630     } else {
3631         gen_op_store_cr(crm);
3632     }
3633 }
3634
3635 /* mtmsr */
3636 #if defined(TARGET_PPC64)
3637 GEN_HANDLER(mtmsrd, 0x1F, 0x12, 0x05, 0x001EF801, PPC_64B)
3638 {
3639 #if defined(CONFIG_USER_ONLY)
3640     GEN_EXCP_PRIVREG(ctx);
3641 #else
3642     if (unlikely(!ctx->supervisor)) {
3643         GEN_EXCP_PRIVREG(ctx);
3644         return;
3645     }
3646     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
3647     if (ctx->opcode & 0x00010000) {
3648         /* Special form that does not need any synchronisation */
3649         gen_op_update_riee();
3650     } else {
3651         /* XXX: we need to update nip before the store
3652          *      if we enter power saving mode, we will exit the loop
3653          *      directly from ppc_store_msr
3654          */
3655         gen_update_nip(ctx, ctx->nip);
3656         gen_op_store_msr();
3657         /* Must stop the translation as machine state (may have) changed */
3658         /* Note that mtmsr is not always defined as context-synchronizing */
3659         ctx->exception = POWERPC_EXCP_STOP;
3660     }
3661 #endif
3662 }
3663 #endif
3664
3665 GEN_HANDLER(mtmsr, 0x1F, 0x12, 0x04, 0x001FF801, PPC_MISC)
3666 {
3667 #if defined(CONFIG_USER_ONLY)
3668     GEN_EXCP_PRIVREG(ctx);
3669 #else
3670     if (unlikely(!ctx->supervisor)) {
3671         GEN_EXCP_PRIVREG(ctx);
3672         return;
3673     }
3674     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
3675     if (ctx->opcode & 0x00010000) {
3676         /* Special form that does not need any synchronisation */
3677         gen_op_update_riee();
3678     } else {
3679         /* XXX: we need to update nip before the store
3680          *      if we enter power saving mode, we will exit the loop
3681          *      directly from ppc_store_msr
3682          */
3683         gen_update_nip(ctx, ctx->nip);
3684 #if defined(TARGET_PPC64)
3685         if (!ctx->sf_mode)
3686             gen_op_store_msr_32();
3687         else
3688 #endif
3689             gen_op_store_msr();
3690         /* Must stop the translation as machine state (may have) changed */
3691         /* Note that mtmsrd is not always defined as context-synchronizing */
3692         ctx->exception = POWERPC_EXCP_STOP;
3693     }
3694 #endif
3695 }
3696
3697 /* mtspr */
3698 GEN_HANDLER(mtspr, 0x1F, 0x13, 0x0E, 0x00000001, PPC_MISC)
3699 {
3700     void (*write_cb)(void *opaque, int sprn);
3701     uint32_t sprn = SPR(ctx->opcode);
3702
3703 #if !defined(CONFIG_USER_ONLY)
3704     if (ctx->supervisor == 2)
3705         write_cb = ctx->spr_cb[sprn].hea_write;
3706     else if (ctx->supervisor)
3707         write_cb = ctx->spr_cb[sprn].oea_write;
3708     else
3709 #endif
3710         write_cb = ctx->spr_cb[sprn].uea_write;
3711     if (likely(write_cb != NULL)) {
3712         if (likely(write_cb != SPR_NOACCESS)) {
3713             tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
3714             (*write_cb)(ctx, sprn);
3715         } else {
3716             /* Privilege exception */
3717             if (loglevel != 0) {
3718                 fprintf(logfile, "Trying to write privileged spr %d %03x at "
3719                         ADDRX "\n", sprn, sprn, ctx->nip);
3720             }
3721             printf("Trying to write privileged spr %d %03x at " ADDRX "\n",
3722                    sprn, sprn, ctx->nip);
3723             GEN_EXCP_PRIVREG(ctx);
3724         }
3725     } else {
3726         /* Not defined */
3727         if (loglevel != 0) {
3728             fprintf(logfile, "Trying to write invalid spr %d %03x at "
3729                     ADDRX "\n", sprn, sprn, ctx->nip);
3730         }
3731         printf("Trying to write invalid spr %d %03x at " ADDRX "\n",
3732                sprn, sprn, ctx->nip);
3733         GEN_EXCP(ctx, POWERPC_EXCP_PROGRAM,
3734                  POWERPC_EXCP_INVAL | POWERPC_EXCP_INVAL_SPR);
3735     }
3736 }
3737
3738 /***                         Cache management                              ***/
3739 /* dcbf */
3740 GEN_HANDLER(dcbf, 0x1F, 0x16, 0x02, 0x03C00001, PPC_CACHE)
3741 {
3742     /* XXX: specification says this is treated as a load by the MMU */
3743     TCGv temp = tcg_temp_new(TCG_TYPE_TL);
3744     gen_addr_reg_index(temp, ctx);
3745     gen_qemu_ld8u(temp, temp, ctx->mem_idx);
3746     tcg_temp_free(temp);
3747 }
3748
3749 /* dcbi (Supervisor only) */
3750 GEN_HANDLER(dcbi, 0x1F, 0x16, 0x0E, 0x03E00001, PPC_CACHE)
3751 {
3752 #if defined(CONFIG_USER_ONLY)
3753     GEN_EXCP_PRIVOPC(ctx);
3754 #else
3755     TCGv EA, val;
3756     if (unlikely(!ctx->supervisor)) {
3757         GEN_EXCP_PRIVOPC(ctx);
3758         return;
3759     }
3760     EA = tcg_temp_new(TCG_TYPE_TL);
3761     gen_addr_reg_index(EA, ctx);
3762     /* XXX: specification says this should be treated as a store by the MMU */
3763     gen_qemu_ld8u(val, EA, ctx->mem_idx);
3764     gen_qemu_st8(val, EA, ctx->mem_idx);
3765     tcg_temp_free(val);
3766     tcg_temp_free(EA);
3767 #endif
3768 }
3769
3770 /* dcdst */
3771 GEN_HANDLER(dcbst, 0x1F, 0x16, 0x01, 0x03E00001, PPC_CACHE)
3772 {
3773     /* XXX: specification say this is treated as a load by the MMU */
3774     TCGv temp = tcg_temp_new(TCG_TYPE_TL);
3775     gen_addr_reg_index(temp, ctx);
3776     gen_qemu_ld8u(temp, temp, ctx->mem_idx);
3777     tcg_temp_free(temp);
3778 }
3779
3780 /* dcbt */
3781 GEN_HANDLER(dcbt, 0x1F, 0x16, 0x08, 0x02000001, PPC_CACHE)
3782 {
3783     /* interpreted as no-op */
3784     /* XXX: specification say this is treated as a load by the MMU
3785      *      but does not generate any exception
3786      */
3787 }
3788
3789 /* dcbtst */
3790 GEN_HANDLER(dcbtst, 0x1F, 0x16, 0x07, 0x02000001, PPC_CACHE)
3791 {
3792     /* interpreted as no-op */
3793     /* XXX: specification say this is treated as a load by the MMU
3794      *      but does not generate any exception
3795      */
3796 }
3797
3798 /* dcbz */
3799 #define op_dcbz(n) (*gen_op_dcbz[n][ctx->mem_idx])()
3800 static GenOpFunc *gen_op_dcbz[4][NB_MEM_FUNCS] = {
3801     /* 32 bytes cache line size */
3802     {
3803 #define gen_op_dcbz_l32_le_raw        gen_op_dcbz_l32_raw
3804 #define gen_op_dcbz_l32_le_user       gen_op_dcbz_l32_user
3805 #define gen_op_dcbz_l32_le_kernel     gen_op_dcbz_l32_kernel
3806 #define gen_op_dcbz_l32_le_hypv       gen_op_dcbz_l32_hypv
3807 #define gen_op_dcbz_l32_le_64_raw     gen_op_dcbz_l32_64_raw
3808 #define gen_op_dcbz_l32_le_64_user    gen_op_dcbz_l32_64_user
3809 #define gen_op_dcbz_l32_le_64_kernel  gen_op_dcbz_l32_64_kernel
3810 #define gen_op_dcbz_l32_le_64_hypv    gen_op_dcbz_l32_64_hypv
3811         GEN_MEM_FUNCS(dcbz_l32),
3812     },
3813     /* 64 bytes cache line size */
3814     {
3815 #define gen_op_dcbz_l64_le_raw        gen_op_dcbz_l64_raw
3816 #define gen_op_dcbz_l64_le_user       gen_op_dcbz_l64_user
3817 #define gen_op_dcbz_l64_le_kernel     gen_op_dcbz_l64_kernel
3818 #define gen_op_dcbz_l64_le_hypv       gen_op_dcbz_l64_hypv
3819 #define gen_op_dcbz_l64_le_64_raw     gen_op_dcbz_l64_64_raw
3820 #define gen_op_dcbz_l64_le_64_user    gen_op_dcbz_l64_64_user
3821 #define gen_op_dcbz_l64_le_64_kernel  gen_op_dcbz_l64_64_kernel
3822 #define gen_op_dcbz_l64_le_64_hypv    gen_op_dcbz_l64_64_hypv
3823         GEN_MEM_FUNCS(dcbz_l64),
3824     },
3825     /* 128 bytes cache line size */
3826     {
3827 #define gen_op_dcbz_l128_le_raw       gen_op_dcbz_l128_raw
3828 #define gen_op_dcbz_l128_le_user      gen_op_dcbz_l128_user
3829 #define gen_op_dcbz_l128_le_kernel    gen_op_dcbz_l128_kernel
3830 #define gen_op_dcbz_l128_le_hypv      gen_op_dcbz_l128_hypv
3831 #define gen_op_dcbz_l128_le_64_raw    gen_op_dcbz_l128_64_raw
3832 #define gen_op_dcbz_l128_le_64_user   gen_op_dcbz_l128_64_user
3833 #define gen_op_dcbz_l128_le_64_kernel gen_op_dcbz_l128_64_kernel
3834 #define gen_op_dcbz_l128_le_64_hypv   gen_op_dcbz_l128_64_hypv
3835         GEN_MEM_FUNCS(dcbz_l128),
3836     },
3837     /* tunable cache line size */
3838     {
3839 #define gen_op_dcbz_le_raw            gen_op_dcbz_raw
3840 #define gen_op_dcbz_le_user           gen_op_dcbz_user
3841 #define gen_op_dcbz_le_kernel         gen_op_dcbz_kernel
3842 #define gen_op_dcbz_le_hypv           gen_op_dcbz_hypv
3843 #define gen_op_dcbz_le_64_raw         gen_op_dcbz_64_raw
3844 #define gen_op_dcbz_le_64_user        gen_op_dcbz_64_user
3845 #define gen_op_dcbz_le_64_kernel      gen_op_dcbz_64_kernel
3846 #define gen_op_dcbz_le_64_hypv        gen_op_dcbz_64_hypv
3847         GEN_MEM_FUNCS(dcbz),
3848     },
3849 };
3850
3851 static always_inline void handler_dcbz (DisasContext *ctx,
3852                                         int dcache_line_size)
3853 {
3854     int n;
3855
3856     switch (dcache_line_size) {
3857     case 32:
3858         n = 0;
3859         break;
3860     case 64:
3861         n = 1;
3862         break;
3863     case 128:
3864         n = 2;
3865         break;
3866     default:
3867         n = 3;
3868         break;
3869     }
3870     op_dcbz(n);
3871 }
3872
3873 GEN_HANDLER(dcbz, 0x1F, 0x16, 0x1F, 0x03E00001, PPC_CACHE_DCBZ)
3874 {
3875     gen_addr_reg_index(cpu_T[0], ctx);
3876     handler_dcbz(ctx, ctx->dcache_line_size);
3877     gen_op_check_reservation();
3878 }
3879
3880 GEN_HANDLER2(dcbz_970, "dcbz", 0x1F, 0x16, 0x1F, 0x03C00001, PPC_CACHE_DCBZT)
3881 {
3882     gen_addr_reg_index(cpu_T[0], ctx);
3883     if (ctx->opcode & 0x00200000)
3884         handler_dcbz(ctx, ctx->dcache_line_size);
3885     else
3886         handler_dcbz(ctx, -1);
3887     gen_op_check_reservation();
3888 }
3889
3890 /* icbi */
3891 #define op_icbi() (*gen_op_icbi[ctx->mem_idx])()
3892 #define gen_op_icbi_le_raw       gen_op_icbi_raw
3893 #define gen_op_icbi_le_user      gen_op_icbi_user
3894 #define gen_op_icbi_le_kernel    gen_op_icbi_kernel
3895 #define gen_op_icbi_le_hypv      gen_op_icbi_hypv
3896 #define gen_op_icbi_le_64_raw    gen_op_icbi_64_raw
3897 #define gen_op_icbi_le_64_user   gen_op_icbi_64_user
3898 #define gen_op_icbi_le_64_kernel gen_op_icbi_64_kernel
3899 #define gen_op_icbi_le_64_hypv   gen_op_icbi_64_hypv
3900 static GenOpFunc *gen_op_icbi[NB_MEM_FUNCS] = {
3901     GEN_MEM_FUNCS(icbi),
3902 };
3903
3904 GEN_HANDLER(icbi, 0x1F, 0x16, 0x1E, 0x03E00001, PPC_CACHE_ICBI)
3905 {
3906     /* NIP cannot be restored if the memory exception comes from an helper */
3907     gen_update_nip(ctx, ctx->nip - 4);
3908     gen_addr_reg_index(cpu_T[0], ctx);
3909     op_icbi();
3910 }
3911
3912 /* Optional: */
3913 /* dcba */
3914 GEN_HANDLER(dcba, 0x1F, 0x16, 0x17, 0x03E00001, PPC_CACHE_DCBA)
3915 {
3916     /* interpreted as no-op */
3917     /* XXX: specification say this is treated as a store by the MMU
3918      *      but does not generate any exception
3919      */
3920 }
3921
3922 /***                    Segment register manipulation                      ***/
3923 /* Supervisor only: */
3924 /* mfsr */
3925 GEN_HANDLER(mfsr, 0x1F, 0x13, 0x12, 0x0010F801, PPC_SEGMENT)
3926 {
3927 #if defined(CONFIG_USER_ONLY)
3928     GEN_EXCP_PRIVREG(ctx);
3929 #else
3930     if (unlikely(!ctx->supervisor)) {
3931         GEN_EXCP_PRIVREG(ctx);
3932         return;
3933     }
3934     tcg_gen_movi_tl(cpu_T[1], SR(ctx->opcode));
3935     gen_op_load_sr();
3936     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
3937 #endif
3938 }
3939
3940 /* mfsrin */
3941 GEN_HANDLER(mfsrin, 0x1F, 0x13, 0x14, 0x001F0001, PPC_SEGMENT)
3942 {
3943 #if defined(CONFIG_USER_ONLY)
3944     GEN_EXCP_PRIVREG(ctx);
3945 #else
3946     if (unlikely(!ctx->supervisor)) {
3947         GEN_EXCP_PRIVREG(ctx);
3948         return;
3949     }
3950     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
3951     gen_op_srli_T1(28);
3952     gen_op_load_sr();
3953     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
3954 #endif
3955 }
3956
3957 /* mtsr */
3958 GEN_HANDLER(mtsr, 0x1F, 0x12, 0x06, 0x0010F801, PPC_SEGMENT)
3959 {
3960 #if defined(CONFIG_USER_ONLY)
3961     GEN_EXCP_PRIVREG(ctx);
3962 #else
3963     if (unlikely(!ctx->supervisor)) {
3964         GEN_EXCP_PRIVREG(ctx);
3965         return;
3966     }
3967     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
3968     tcg_gen_movi_tl(cpu_T[1], SR(ctx->opcode));
3969     gen_op_store_sr();
3970 #endif
3971 }
3972
3973 /* mtsrin */
3974 GEN_HANDLER(mtsrin, 0x1F, 0x12, 0x07, 0x001F0001, PPC_SEGMENT)
3975 {
3976 #if defined(CONFIG_USER_ONLY)
3977     GEN_EXCP_PRIVREG(ctx);
3978 #else
3979     if (unlikely(!ctx->supervisor)) {
3980         GEN_EXCP_PRIVREG(ctx);
3981         return;
3982     }
3983     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
3984     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
3985     gen_op_srli_T1(28);
3986     gen_op_store_sr();
3987 #endif
3988 }
3989
3990 #if defined(TARGET_PPC64)
3991 /* Specific implementation for PowerPC 64 "bridge" emulation using SLB */
3992 /* mfsr */
3993 GEN_HANDLER2(mfsr_64b, "mfsr", 0x1F, 0x13, 0x12, 0x0010F801, PPC_SEGMENT_64B)
3994 {
3995 #if defined(CONFIG_USER_ONLY)
3996     GEN_EXCP_PRIVREG(ctx);
3997 #else
3998     if (unlikely(!ctx->supervisor)) {
3999         GEN_EXCP_PRIVREG(ctx);
4000         return;
4001     }
4002     tcg_gen_movi_tl(cpu_T[1], SR(ctx->opcode));
4003     gen_op_load_slb();
4004     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4005 #endif
4006 }
4007
4008 /* mfsrin */
4009 GEN_HANDLER2(mfsrin_64b, "mfsrin", 0x1F, 0x13, 0x14, 0x001F0001,
4010              PPC_SEGMENT_64B)
4011 {
4012 #if defined(CONFIG_USER_ONLY)
4013     GEN_EXCP_PRIVREG(ctx);
4014 #else
4015     if (unlikely(!ctx->supervisor)) {
4016         GEN_EXCP_PRIVREG(ctx);
4017         return;
4018     }
4019     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4020     gen_op_srli_T1(28);
4021     gen_op_load_slb();
4022     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4023 #endif
4024 }
4025
4026 /* mtsr */
4027 GEN_HANDLER2(mtsr_64b, "mtsr", 0x1F, 0x12, 0x06, 0x0010F801, PPC_SEGMENT_64B)
4028 {
4029 #if defined(CONFIG_USER_ONLY)
4030     GEN_EXCP_PRIVREG(ctx);
4031 #else
4032     if (unlikely(!ctx->supervisor)) {
4033         GEN_EXCP_PRIVREG(ctx);
4034         return;
4035     }
4036     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4037     tcg_gen_movi_tl(cpu_T[1], SR(ctx->opcode));
4038     gen_op_store_slb();
4039 #endif
4040 }
4041
4042 /* mtsrin */
4043 GEN_HANDLER2(mtsrin_64b, "mtsrin", 0x1F, 0x12, 0x07, 0x001F0001,
4044              PPC_SEGMENT_64B)
4045 {
4046 #if defined(CONFIG_USER_ONLY)
4047     GEN_EXCP_PRIVREG(ctx);
4048 #else
4049     if (unlikely(!ctx->supervisor)) {
4050         GEN_EXCP_PRIVREG(ctx);
4051         return;
4052     }
4053     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4054     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4055     gen_op_srli_T1(28);
4056     gen_op_store_slb();
4057 #endif
4058 }
4059 #endif /* defined(TARGET_PPC64) */
4060
4061 /***                      Lookaside buffer management                      ***/
4062 /* Optional & supervisor only: */
4063 /* tlbia */
4064 GEN_HANDLER(tlbia, 0x1F, 0x12, 0x0B, 0x03FFFC01, PPC_MEM_TLBIA)
4065 {
4066 #if defined(CONFIG_USER_ONLY)
4067     GEN_EXCP_PRIVOPC(ctx);
4068 #else
4069     if (unlikely(!ctx->supervisor)) {
4070         GEN_EXCP_PRIVOPC(ctx);
4071         return;
4072     }
4073     gen_op_tlbia();
4074 #endif
4075 }
4076
4077 /* tlbie */
4078 GEN_HANDLER(tlbie, 0x1F, 0x12, 0x09, 0x03FF0001, PPC_MEM_TLBIE)
4079 {
4080 #if defined(CONFIG_USER_ONLY)
4081     GEN_EXCP_PRIVOPC(ctx);
4082 #else
4083     if (unlikely(!ctx->supervisor)) {
4084         GEN_EXCP_PRIVOPC(ctx);
4085         return;
4086     }
4087     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rB(ctx->opcode)]);
4088 #if defined(TARGET_PPC64)
4089     if (ctx->sf_mode)
4090         gen_op_tlbie_64();
4091     else
4092 #endif
4093         gen_op_tlbie();
4094 #endif
4095 }
4096
4097 /* tlbsync */
4098 GEN_HANDLER(tlbsync, 0x1F, 0x16, 0x11, 0x03FFF801, PPC_MEM_TLBSYNC)
4099 {
4100 #if defined(CONFIG_USER_ONLY)
4101     GEN_EXCP_PRIVOPC(ctx);
4102 #else
4103     if (unlikely(!ctx->supervisor)) {
4104         GEN_EXCP_PRIVOPC(ctx);
4105         return;
4106     }
4107     /* This has no effect: it should ensure that all previous
4108      * tlbie have completed
4109      */
4110     GEN_STOP(ctx);
4111 #endif
4112 }
4113
4114 #if defined(TARGET_PPC64)
4115 /* slbia */
4116 GEN_HANDLER(slbia, 0x1F, 0x12, 0x0F, 0x03FFFC01, PPC_SLBI)
4117 {
4118 #if defined(CONFIG_USER_ONLY)
4119     GEN_EXCP_PRIVOPC(ctx);
4120 #else
4121     if (unlikely(!ctx->supervisor)) {
4122         GEN_EXCP_PRIVOPC(ctx);
4123         return;
4124     }
4125     gen_op_slbia();
4126 #endif
4127 }
4128
4129 /* slbie */
4130 GEN_HANDLER(slbie, 0x1F, 0x12, 0x0D, 0x03FF0001, PPC_SLBI)
4131 {
4132 #if defined(CONFIG_USER_ONLY)
4133     GEN_EXCP_PRIVOPC(ctx);
4134 #else
4135     if (unlikely(!ctx->supervisor)) {
4136         GEN_EXCP_PRIVOPC(ctx);
4137         return;
4138     }
4139     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rB(ctx->opcode)]);
4140     gen_op_slbie();
4141 #endif
4142 }
4143 #endif
4144
4145 /***                              External control                         ***/
4146 /* Optional: */
4147 #define op_eciwx() (*gen_op_eciwx[ctx->mem_idx])()
4148 #define op_ecowx() (*gen_op_ecowx[ctx->mem_idx])()
4149 static GenOpFunc *gen_op_eciwx[NB_MEM_FUNCS] = {
4150     GEN_MEM_FUNCS(eciwx),
4151 };
4152 static GenOpFunc *gen_op_ecowx[NB_MEM_FUNCS] = {
4153     GEN_MEM_FUNCS(ecowx),
4154 };
4155
4156 /* eciwx */
4157 GEN_HANDLER(eciwx, 0x1F, 0x16, 0x0D, 0x00000001, PPC_EXTERN)
4158 {
4159     /* Should check EAR[E] & alignment ! */
4160     gen_addr_reg_index(cpu_T[0], ctx);
4161     op_eciwx();
4162     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4163 }
4164
4165 /* ecowx */
4166 GEN_HANDLER(ecowx, 0x1F, 0x16, 0x09, 0x00000001, PPC_EXTERN)
4167 {
4168     /* Should check EAR[E] & alignment ! */
4169     gen_addr_reg_index(cpu_T[0], ctx);
4170     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rS(ctx->opcode)]);
4171     op_ecowx();
4172 }
4173
4174 /* PowerPC 601 specific instructions */
4175 /* abs - abs. */
4176 GEN_HANDLER(abs, 0x1F, 0x08, 0x0B, 0x0000F800, PPC_POWER_BR)
4177 {
4178     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
4179     gen_op_POWER_abs();
4180     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4181     if (unlikely(Rc(ctx->opcode) != 0))
4182         gen_set_Rc0(ctx);
4183 }
4184
4185 /* abso - abso. */
4186 GEN_HANDLER(abso, 0x1F, 0x08, 0x1B, 0x0000F800, PPC_POWER_BR)
4187 {
4188     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
4189     gen_op_POWER_abso();
4190     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4191     if (unlikely(Rc(ctx->opcode) != 0))
4192         gen_set_Rc0(ctx);
4193 }
4194
4195 /* clcs */
4196 GEN_HANDLER(clcs, 0x1F, 0x10, 0x13, 0x0000F800, PPC_POWER_BR)
4197 {
4198     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
4199     gen_op_POWER_clcs();
4200     /* Rc=1 sets CR0 to an undefined state */
4201     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4202 }
4203
4204 /* div - div. */
4205 GEN_HANDLER(div, 0x1F, 0x0B, 0x0A, 0x00000000, PPC_POWER_BR)
4206 {
4207     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
4208     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4209     gen_op_POWER_div();
4210     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4211     if (unlikely(Rc(ctx->opcode) != 0))
4212         gen_set_Rc0(ctx);
4213 }
4214
4215 /* divo - divo. */
4216 GEN_HANDLER(divo, 0x1F, 0x0B, 0x1A, 0x00000000, PPC_POWER_BR)
4217 {
4218     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
4219     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4220     gen_op_POWER_divo();
4221     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4222     if (unlikely(Rc(ctx->opcode) != 0))
4223         gen_set_Rc0(ctx);
4224 }
4225
4226 /* divs - divs. */
4227 GEN_HANDLER(divs, 0x1F, 0x0B, 0x0B, 0x00000000, PPC_POWER_BR)
4228 {
4229     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
4230     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4231     gen_op_POWER_divs();
4232     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4233     if (unlikely(Rc(ctx->opcode) != 0))
4234         gen_set_Rc0(ctx);
4235 }
4236
4237 /* divso - divso. */
4238 GEN_HANDLER(divso, 0x1F, 0x0B, 0x1B, 0x00000000, PPC_POWER_BR)
4239 {
4240     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
4241     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4242     gen_op_POWER_divso();
4243     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4244     if (unlikely(Rc(ctx->opcode) != 0))
4245         gen_set_Rc0(ctx);
4246 }
4247
4248 /* doz - doz. */
4249 GEN_HANDLER(doz, 0x1F, 0x08, 0x08, 0x00000000, PPC_POWER_BR)
4250 {
4251     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
4252     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4253     gen_op_POWER_doz();
4254     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4255     if (unlikely(Rc(ctx->opcode) != 0))
4256         gen_set_Rc0(ctx);
4257 }
4258
4259 /* dozo - dozo. */
4260 GEN_HANDLER(dozo, 0x1F, 0x08, 0x18, 0x00000000, PPC_POWER_BR)
4261 {
4262     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
4263     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4264     gen_op_POWER_dozo();
4265     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4266     if (unlikely(Rc(ctx->opcode) != 0))
4267         gen_set_Rc0(ctx);
4268 }
4269
4270 /* dozi */
4271 GEN_HANDLER(dozi, 0x09, 0xFF, 0xFF, 0x00000000, PPC_POWER_BR)
4272 {
4273     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
4274     tcg_gen_movi_tl(cpu_T[1], SIMM(ctx->opcode));
4275     gen_op_POWER_doz();
4276     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4277 }
4278
4279 /* As lscbx load from memory byte after byte, it's always endian safe.
4280  * Original POWER is 32 bits only, define 64 bits ops as 32 bits ones
4281  */
4282 #define op_POWER_lscbx(start, ra, rb)                                         \
4283 (*gen_op_POWER_lscbx[ctx->mem_idx])(start, ra, rb)
4284 #define gen_op_POWER_lscbx_64_raw       gen_op_POWER_lscbx_raw
4285 #define gen_op_POWER_lscbx_64_user      gen_op_POWER_lscbx_user
4286 #define gen_op_POWER_lscbx_64_kernel    gen_op_POWER_lscbx_kernel
4287 #define gen_op_POWER_lscbx_64_hypv      gen_op_POWER_lscbx_hypv
4288 #define gen_op_POWER_lscbx_le_raw       gen_op_POWER_lscbx_raw
4289 #define gen_op_POWER_lscbx_le_user      gen_op_POWER_lscbx_user
4290 #define gen_op_POWER_lscbx_le_kernel    gen_op_POWER_lscbx_kernel
4291 #define gen_op_POWER_lscbx_le_hypv      gen_op_POWER_lscbx_hypv
4292 #define gen_op_POWER_lscbx_le_64_raw    gen_op_POWER_lscbx_raw
4293 #define gen_op_POWER_lscbx_le_64_user   gen_op_POWER_lscbx_user
4294 #define gen_op_POWER_lscbx_le_64_kernel gen_op_POWER_lscbx_kernel
4295 #define gen_op_POWER_lscbx_le_64_hypv   gen_op_POWER_lscbx_hypv
4296 static GenOpFunc3 *gen_op_POWER_lscbx[NB_MEM_FUNCS] = {
4297     GEN_MEM_FUNCS(POWER_lscbx),
4298 };
4299
4300 /* lscbx - lscbx. */
4301 GEN_HANDLER(lscbx, 0x1F, 0x15, 0x08, 0x00000000, PPC_POWER_BR)
4302 {
4303     int ra = rA(ctx->opcode);
4304     int rb = rB(ctx->opcode);
4305
4306     gen_addr_reg_index(cpu_T[0], ctx);
4307     if (ra == 0) {
4308         ra = rb;
4309     }
4310     /* NIP cannot be restored if the memory exception comes from an helper */
4311     gen_update_nip(ctx, ctx->nip - 4);
4312     gen_op_load_xer_bc();
4313     gen_op_load_xer_cmp();
4314     op_POWER_lscbx(rD(ctx->opcode), ra, rb);
4315     gen_op_store_xer_bc();
4316     if (unlikely(Rc(ctx->opcode) != 0))
4317         gen_set_Rc0(ctx);
4318 }
4319
4320 /* maskg - maskg. */
4321 GEN_HANDLER(maskg, 0x1F, 0x1D, 0x00, 0x00000000, PPC_POWER_BR)
4322 {
4323     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4324     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4325     gen_op_POWER_maskg();
4326     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4327     if (unlikely(Rc(ctx->opcode) != 0))
4328         gen_set_Rc0(ctx);
4329 }
4330
4331 /* maskir - maskir. */
4332 GEN_HANDLER(maskir, 0x1F, 0x1D, 0x10, 0x00000000, PPC_POWER_BR)
4333 {
4334     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
4335     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rS(ctx->opcode)]);
4336     tcg_gen_mov_tl(cpu_T[2], cpu_gpr[rB(ctx->opcode)]);
4337     gen_op_POWER_maskir();
4338     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4339     if (unlikely(Rc(ctx->opcode) != 0))
4340         gen_set_Rc0(ctx);
4341 }
4342
4343 /* mul - mul. */
4344 GEN_HANDLER(mul, 0x1F, 0x0B, 0x03, 0x00000000, PPC_POWER_BR)
4345 {
4346     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
4347     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4348     gen_op_POWER_mul();
4349     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4350     if (unlikely(Rc(ctx->opcode) != 0))
4351         gen_set_Rc0(ctx);
4352 }
4353
4354 /* mulo - mulo. */
4355 GEN_HANDLER(mulo, 0x1F, 0x0B, 0x13, 0x00000000, PPC_POWER_BR)
4356 {
4357     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
4358     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4359     gen_op_POWER_mulo();
4360     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4361     if (unlikely(Rc(ctx->opcode) != 0))
4362         gen_set_Rc0(ctx);
4363 }
4364
4365 /* nabs - nabs. */
4366 GEN_HANDLER(nabs, 0x1F, 0x08, 0x0F, 0x00000000, PPC_POWER_BR)
4367 {
4368     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
4369     gen_op_POWER_nabs();
4370     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4371     if (unlikely(Rc(ctx->opcode) != 0))
4372         gen_set_Rc0(ctx);
4373 }
4374
4375 /* nabso - nabso. */
4376 GEN_HANDLER(nabso, 0x1F, 0x08, 0x1F, 0x00000000, PPC_POWER_BR)
4377 {
4378     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
4379     gen_op_POWER_nabso();
4380     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4381     if (unlikely(Rc(ctx->opcode) != 0))
4382         gen_set_Rc0(ctx);
4383 }
4384
4385 /* rlmi - rlmi. */
4386 GEN_HANDLER(rlmi, 0x16, 0xFF, 0xFF, 0x00000000, PPC_POWER_BR)
4387 {
4388     uint32_t mb, me;
4389
4390     mb = MB(ctx->opcode);
4391     me = ME(ctx->opcode);
4392     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4393     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rA(ctx->opcode)]);
4394     tcg_gen_mov_tl(cpu_T[2], cpu_gpr[rB(ctx->opcode)]);
4395     gen_op_POWER_rlmi(MASK(mb, me), ~MASK(mb, me));
4396     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4397     if (unlikely(Rc(ctx->opcode) != 0))
4398         gen_set_Rc0(ctx);
4399 }
4400
4401 /* rrib - rrib. */
4402 GEN_HANDLER(rrib, 0x1F, 0x19, 0x10, 0x00000000, PPC_POWER_BR)
4403 {
4404     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4405     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rA(ctx->opcode)]);
4406     tcg_gen_mov_tl(cpu_T[2], cpu_gpr[rB(ctx->opcode)]);
4407     gen_op_POWER_rrib();
4408     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4409     if (unlikely(Rc(ctx->opcode) != 0))
4410         gen_set_Rc0(ctx);
4411 }
4412
4413 /* sle - sle. */
4414 GEN_HANDLER(sle, 0x1F, 0x19, 0x04, 0x00000000, PPC_POWER_BR)
4415 {
4416     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4417     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4418     gen_op_POWER_sle();
4419     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4420     if (unlikely(Rc(ctx->opcode) != 0))
4421         gen_set_Rc0(ctx);
4422 }
4423
4424 /* sleq - sleq. */
4425 GEN_HANDLER(sleq, 0x1F, 0x19, 0x06, 0x00000000, PPC_POWER_BR)
4426 {
4427     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4428     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4429     gen_op_POWER_sleq();
4430     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4431     if (unlikely(Rc(ctx->opcode) != 0))
4432         gen_set_Rc0(ctx);
4433 }
4434
4435 /* sliq - sliq. */
4436 GEN_HANDLER(sliq, 0x1F, 0x18, 0x05, 0x00000000, PPC_POWER_BR)
4437 {
4438     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4439     tcg_gen_movi_tl(cpu_T[1], SH(ctx->opcode));
4440     gen_op_POWER_sle();
4441     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4442     if (unlikely(Rc(ctx->opcode) != 0))
4443         gen_set_Rc0(ctx);
4444 }
4445
4446 /* slliq - slliq. */
4447 GEN_HANDLER(slliq, 0x1F, 0x18, 0x07, 0x00000000, PPC_POWER_BR)
4448 {
4449     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4450     tcg_gen_movi_tl(cpu_T[1], SH(ctx->opcode));
4451     gen_op_POWER_sleq();
4452     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4453     if (unlikely(Rc(ctx->opcode) != 0))
4454         gen_set_Rc0(ctx);
4455 }
4456
4457 /* sllq - sllq. */
4458 GEN_HANDLER(sllq, 0x1F, 0x18, 0x06, 0x00000000, PPC_POWER_BR)
4459 {
4460     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4461     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4462     gen_op_POWER_sllq();
4463     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4464     if (unlikely(Rc(ctx->opcode) != 0))
4465         gen_set_Rc0(ctx);
4466 }
4467
4468 /* slq - slq. */
4469 GEN_HANDLER(slq, 0x1F, 0x18, 0x04, 0x00000000, PPC_POWER_BR)
4470 {
4471     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4472     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4473     gen_op_POWER_slq();
4474     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4475     if (unlikely(Rc(ctx->opcode) != 0))
4476         gen_set_Rc0(ctx);
4477 }
4478
4479 /* sraiq - sraiq. */
4480 GEN_HANDLER(sraiq, 0x1F, 0x18, 0x1D, 0x00000000, PPC_POWER_BR)
4481 {
4482     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4483     tcg_gen_movi_tl(cpu_T[1], SH(ctx->opcode));
4484     gen_op_POWER_sraq();
4485     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4486     if (unlikely(Rc(ctx->opcode) != 0))
4487         gen_set_Rc0(ctx);
4488 }
4489
4490 /* sraq - sraq. */
4491 GEN_HANDLER(sraq, 0x1F, 0x18, 0x1C, 0x00000000, PPC_POWER_BR)
4492 {
4493     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4494     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4495     gen_op_POWER_sraq();
4496     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4497     if (unlikely(Rc(ctx->opcode) != 0))
4498         gen_set_Rc0(ctx);
4499 }
4500
4501 /* sre - sre. */
4502 GEN_HANDLER(sre, 0x1F, 0x19, 0x14, 0x00000000, PPC_POWER_BR)
4503 {
4504     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4505     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4506     gen_op_POWER_sre();
4507     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4508     if (unlikely(Rc(ctx->opcode) != 0))
4509         gen_set_Rc0(ctx);
4510 }
4511
4512 /* srea - srea. */
4513 GEN_HANDLER(srea, 0x1F, 0x19, 0x1C, 0x00000000, PPC_POWER_BR)
4514 {
4515     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4516     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4517     gen_op_POWER_srea();
4518     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4519     if (unlikely(Rc(ctx->opcode) != 0))
4520         gen_set_Rc0(ctx);
4521 }
4522
4523 /* sreq */
4524 GEN_HANDLER(sreq, 0x1F, 0x19, 0x16, 0x00000000, PPC_POWER_BR)
4525 {
4526     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4527     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4528     gen_op_POWER_sreq();
4529     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4530     if (unlikely(Rc(ctx->opcode) != 0))
4531         gen_set_Rc0(ctx);
4532 }
4533
4534 /* sriq */
4535 GEN_HANDLER(sriq, 0x1F, 0x18, 0x15, 0x00000000, PPC_POWER_BR)
4536 {
4537     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4538     tcg_gen_movi_tl(cpu_T[1], SH(ctx->opcode));
4539     gen_op_POWER_srq();
4540     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4541     if (unlikely(Rc(ctx->opcode) != 0))
4542         gen_set_Rc0(ctx);
4543 }
4544
4545 /* srliq */
4546 GEN_HANDLER(srliq, 0x1F, 0x18, 0x17, 0x00000000, PPC_POWER_BR)
4547 {
4548     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4549     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4550     tcg_gen_movi_tl(cpu_T[1], SH(ctx->opcode));
4551     gen_op_POWER_srlq();
4552     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4553     if (unlikely(Rc(ctx->opcode) != 0))
4554         gen_set_Rc0(ctx);
4555 }
4556
4557 /* srlq */
4558 GEN_HANDLER(srlq, 0x1F, 0x18, 0x16, 0x00000000, PPC_POWER_BR)
4559 {
4560     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4561     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4562     gen_op_POWER_srlq();
4563     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4564     if (unlikely(Rc(ctx->opcode) != 0))
4565         gen_set_Rc0(ctx);
4566 }
4567
4568 /* srq */
4569 GEN_HANDLER(srq, 0x1F, 0x18, 0x14, 0x00000000, PPC_POWER_BR)
4570 {
4571     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
4572     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
4573     gen_op_POWER_srq();
4574     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
4575     if (unlikely(Rc(ctx->opcode) != 0))
4576         gen_set_Rc0(ctx);
4577 }
4578
4579 /* PowerPC 602 specific instructions */
4580 /* dsa  */
4581 GEN_HANDLER(dsa, 0x1F, 0x14, 0x13, 0x03FFF801, PPC_602_SPEC)
4582 {
4583     /* XXX: TODO */
4584     GEN_EXCP_INVAL(ctx);
4585 }
4586
4587 /* esa */
4588 GEN_HANDLER(esa, 0x1F, 0x14, 0x12, 0x03FFF801, PPC_602_SPEC)
4589 {
4590     /* XXX: TODO */
4591     GEN_EXCP_INVAL(ctx);
4592 }
4593
4594 /* mfrom */
4595 GEN_HANDLER(mfrom, 0x1F, 0x09, 0x08, 0x03E0F801, PPC_602_SPEC)
4596 {
4597 #if defined(CONFIG_USER_ONLY)
4598     GEN_EXCP_PRIVOPC(ctx);
4599 #else
4600     if (unlikely(!ctx->supervisor)) {
4601         GEN_EXCP_PRIVOPC(ctx);
4602         return;
4603     }
4604     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
4605     gen_op_602_mfrom();
4606     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4607 #endif
4608 }
4609
4610 /* 602 - 603 - G2 TLB management */
4611 /* tlbld */
4612 GEN_HANDLER2(tlbld_6xx, "tlbld", 0x1F, 0x12, 0x1E, 0x03FF0001, PPC_6xx_TLB)
4613 {
4614 #if defined(CONFIG_USER_ONLY)
4615     GEN_EXCP_PRIVOPC(ctx);
4616 #else
4617     if (unlikely(!ctx->supervisor)) {
4618         GEN_EXCP_PRIVOPC(ctx);
4619         return;
4620     }
4621     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rB(ctx->opcode)]);
4622     gen_op_6xx_tlbld();
4623 #endif
4624 }
4625
4626 /* tlbli */
4627 GEN_HANDLER2(tlbli_6xx, "tlbli", 0x1F, 0x12, 0x1F, 0x03FF0001, PPC_6xx_TLB)
4628 {
4629 #if defined(CONFIG_USER_ONLY)
4630     GEN_EXCP_PRIVOPC(ctx);
4631 #else
4632     if (unlikely(!ctx->supervisor)) {
4633         GEN_EXCP_PRIVOPC(ctx);
4634         return;
4635     }
4636     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rB(ctx->opcode)]);
4637     gen_op_6xx_tlbli();
4638 #endif
4639 }
4640
4641 /* 74xx TLB management */
4642 /* tlbld */
4643 GEN_HANDLER2(tlbld_74xx, "tlbld", 0x1F, 0x12, 0x1E, 0x03FF0001, PPC_74xx_TLB)
4644 {
4645 #if defined(CONFIG_USER_ONLY)
4646     GEN_EXCP_PRIVOPC(ctx);
4647 #else
4648     if (unlikely(!ctx->supervisor)) {
4649         GEN_EXCP_PRIVOPC(ctx);
4650         return;
4651     }
4652     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rB(ctx->opcode)]);
4653     gen_op_74xx_tlbld();
4654 #endif
4655 }
4656
4657 /* tlbli */
4658 GEN_HANDLER2(tlbli_74xx, "tlbli", 0x1F, 0x12, 0x1F, 0x03FF0001, PPC_74xx_TLB)
4659 {
4660 #if defined(CONFIG_USER_ONLY)
4661     GEN_EXCP_PRIVOPC(ctx);
4662 #else
4663     if (unlikely(!ctx->supervisor)) {
4664         GEN_EXCP_PRIVOPC(ctx);
4665         return;
4666     }
4667     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rB(ctx->opcode)]);
4668     gen_op_74xx_tlbli();
4669 #endif
4670 }
4671
4672 /* POWER instructions not in PowerPC 601 */
4673 /* clf */
4674 GEN_HANDLER(clf, 0x1F, 0x16, 0x03, 0x03E00000, PPC_POWER)
4675 {
4676     /* Cache line flush: implemented as no-op */
4677 }
4678
4679 /* cli */
4680 GEN_HANDLER(cli, 0x1F, 0x16, 0x0F, 0x03E00000, PPC_POWER)
4681 {
4682     /* Cache line invalidate: privileged and treated as no-op */
4683 #if defined(CONFIG_USER_ONLY)
4684     GEN_EXCP_PRIVOPC(ctx);
4685 #else
4686     if (unlikely(!ctx->supervisor)) {
4687         GEN_EXCP_PRIVOPC(ctx);
4688         return;
4689     }
4690 #endif
4691 }
4692
4693 /* dclst */
4694 GEN_HANDLER(dclst, 0x1F, 0x16, 0x13, 0x03E00000, PPC_POWER)
4695 {
4696     /* Data cache line store: treated as no-op */
4697 }
4698
4699 GEN_HANDLER(mfsri, 0x1F, 0x13, 0x13, 0x00000001, PPC_POWER)
4700 {
4701 #if defined(CONFIG_USER_ONLY)
4702     GEN_EXCP_PRIVOPC(ctx);
4703 #else
4704     if (unlikely(!ctx->supervisor)) {
4705         GEN_EXCP_PRIVOPC(ctx);
4706         return;
4707     }
4708     int ra = rA(ctx->opcode);
4709     int rd = rD(ctx->opcode);
4710
4711     gen_addr_reg_index(cpu_T[0], ctx);
4712     gen_op_POWER_mfsri();
4713     tcg_gen_mov_tl(cpu_gpr[rd], cpu_T[0]);
4714     if (ra != 0 && ra != rd)
4715         tcg_gen_mov_tl(cpu_gpr[ra], cpu_T[1]);
4716 #endif
4717 }
4718
4719 GEN_HANDLER(rac, 0x1F, 0x12, 0x19, 0x00000001, PPC_POWER)
4720 {
4721 #if defined(CONFIG_USER_ONLY)
4722     GEN_EXCP_PRIVOPC(ctx);
4723 #else
4724     if (unlikely(!ctx->supervisor)) {
4725         GEN_EXCP_PRIVOPC(ctx);
4726         return;
4727     }
4728     gen_addr_reg_index(cpu_T[0], ctx);
4729     gen_op_POWER_rac();
4730     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
4731 #endif
4732 }
4733
4734 GEN_HANDLER(rfsvc, 0x13, 0x12, 0x02, 0x03FFF0001, PPC_POWER)
4735 {
4736 #if defined(CONFIG_USER_ONLY)
4737     GEN_EXCP_PRIVOPC(ctx);
4738 #else
4739     if (unlikely(!ctx->supervisor)) {
4740         GEN_EXCP_PRIVOPC(ctx);
4741         return;
4742     }
4743     gen_op_POWER_rfsvc();
4744     GEN_SYNC(ctx);
4745 #endif
4746 }
4747
4748 /* svc is not implemented for now */
4749
4750 /* POWER2 specific instructions */
4751 /* Quad manipulation (load/store two floats at a time) */
4752 /* Original POWER2 is 32 bits only, define 64 bits ops as 32 bits ones */
4753 #define op_POWER2_lfq() (*gen_op_POWER2_lfq[ctx->mem_idx])()
4754 #define op_POWER2_stfq() (*gen_op_POWER2_stfq[ctx->mem_idx])()
4755 #define gen_op_POWER2_lfq_64_raw        gen_op_POWER2_lfq_raw
4756 #define gen_op_POWER2_lfq_64_user       gen_op_POWER2_lfq_user
4757 #define gen_op_POWER2_lfq_64_kernel     gen_op_POWER2_lfq_kernel
4758 #define gen_op_POWER2_lfq_64_hypv       gen_op_POWER2_lfq_hypv
4759 #define gen_op_POWER2_lfq_le_64_raw     gen_op_POWER2_lfq_le_raw
4760 #define gen_op_POWER2_lfq_le_64_user    gen_op_POWER2_lfq_le_user
4761 #define gen_op_POWER2_lfq_le_64_kernel  gen_op_POWER2_lfq_le_kernel
4762 #define gen_op_POWER2_lfq_le_64_hypv    gen_op_POWER2_lfq_le_hypv
4763 #define gen_op_POWER2_stfq_64_raw       gen_op_POWER2_stfq_raw
4764 #define gen_op_POWER2_stfq_64_user      gen_op_POWER2_stfq_user
4765 #define gen_op_POWER2_stfq_64_kernel    gen_op_POWER2_stfq_kernel
4766 #define gen_op_POWER2_stfq_64_hypv      gen_op_POWER2_stfq_hypv
4767 #define gen_op_POWER2_stfq_le_64_raw    gen_op_POWER2_stfq_le_raw
4768 #define gen_op_POWER2_stfq_le_64_user   gen_op_POWER2_stfq_le_user
4769 #define gen_op_POWER2_stfq_le_64_kernel gen_op_POWER2_stfq_le_kernel
4770 #define gen_op_POWER2_stfq_le_64_hypv   gen_op_POWER2_stfq_le_hypv
4771 static GenOpFunc *gen_op_POWER2_lfq[NB_MEM_FUNCS] = {
4772     GEN_MEM_FUNCS(POWER2_lfq),
4773 };
4774 static GenOpFunc *gen_op_POWER2_stfq[NB_MEM_FUNCS] = {
4775     GEN_MEM_FUNCS(POWER2_stfq),
4776 };
4777
4778 /* lfq */
4779 GEN_HANDLER(lfq, 0x38, 0xFF, 0xFF, 0x00000003, PPC_POWER2)
4780 {
4781     /* NIP cannot be restored if the memory exception comes from an helper */
4782     gen_update_nip(ctx, ctx->nip - 4);
4783     gen_addr_imm_index(cpu_T[0], ctx, 0);
4784     op_POWER2_lfq();
4785     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode)], cpu_FT[0]);
4786     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode) + 1], cpu_FT[1]);
4787 }
4788
4789 /* lfqu */
4790 GEN_HANDLER(lfqu, 0x39, 0xFF, 0xFF, 0x00000003, PPC_POWER2)
4791 {
4792     int ra = rA(ctx->opcode);
4793
4794     /* NIP cannot be restored if the memory exception comes from an helper */
4795     gen_update_nip(ctx, ctx->nip - 4);
4796     gen_addr_imm_index(cpu_T[0], ctx, 0);
4797     op_POWER2_lfq();
4798     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode)], cpu_FT[0]);
4799     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode) + 1], cpu_FT[1]);
4800     if (ra != 0)
4801         tcg_gen_mov_tl(cpu_gpr[ra], cpu_T[0]);
4802 }
4803
4804 /* lfqux */
4805 GEN_HANDLER(lfqux, 0x1F, 0x17, 0x19, 0x00000001, PPC_POWER2)
4806 {
4807     int ra = rA(ctx->opcode);
4808
4809     /* NIP cannot be restored if the memory exception comes from an helper */
4810     gen_update_nip(ctx, ctx->nip - 4);
4811     gen_addr_reg_index(cpu_T[0], ctx);
4812     op_POWER2_lfq();
4813     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode)], cpu_FT[0]);
4814     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode) + 1], cpu_FT[1]);
4815     if (ra != 0)
4816         tcg_gen_mov_tl(cpu_gpr[ra], cpu_T[0]);
4817 }
4818
4819 /* lfqx */
4820 GEN_HANDLER(lfqx, 0x1F, 0x17, 0x18, 0x00000001, PPC_POWER2)
4821 {
4822     /* NIP cannot be restored if the memory exception comes from an helper */
4823     gen_update_nip(ctx, ctx->nip - 4);
4824     gen_addr_reg_index(cpu_T[0], ctx);
4825     op_POWER2_lfq();
4826     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode)], cpu_FT[0]);
4827     tcg_gen_mov_i64(cpu_fpr[rD(ctx->opcode) + 1], cpu_FT[1]);
4828 }
4829
4830 /* stfq */
4831 GEN_HANDLER(stfq, 0x3C, 0xFF, 0xFF, 0x00000003, PPC_POWER2)
4832 {
4833     /* NIP cannot be restored if the memory exception comes from an helper */
4834     gen_update_nip(ctx, ctx->nip - 4);
4835     gen_addr_imm_index(cpu_T[0], ctx, 0);
4836     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rS(ctx->opcode)]);
4837     tcg_gen_mov_i64(cpu_FT[1], cpu_fpr[rS(ctx->opcode) + 1]);
4838     op_POWER2_stfq();
4839 }
4840
4841 /* stfqu */
4842 GEN_HANDLER(stfqu, 0x3D, 0xFF, 0xFF, 0x00000003, PPC_POWER2)
4843 {
4844     int ra = rA(ctx->opcode);
4845
4846     /* NIP cannot be restored if the memory exception comes from an helper */
4847     gen_update_nip(ctx, ctx->nip - 4);
4848     gen_addr_imm_index(cpu_T[0], ctx, 0);
4849     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rS(ctx->opcode)]);
4850     tcg_gen_mov_i64(cpu_FT[1], cpu_fpr[rS(ctx->opcode) + 1]);
4851     op_POWER2_stfq();
4852     if (ra != 0)
4853         tcg_gen_mov_tl(cpu_gpr[ra], cpu_T[0]);
4854 }
4855
4856 /* stfqux */
4857 GEN_HANDLER(stfqux, 0x1F, 0x17, 0x1D, 0x00000001, PPC_POWER2)
4858 {
4859     int ra = rA(ctx->opcode);
4860
4861     /* NIP cannot be restored if the memory exception comes from an helper */
4862     gen_update_nip(ctx, ctx->nip - 4);
4863     gen_addr_reg_index(cpu_T[0], ctx);
4864     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rS(ctx->opcode)]);
4865     tcg_gen_mov_i64(cpu_FT[1], cpu_fpr[rS(ctx->opcode) + 1]);
4866     op_POWER2_stfq();
4867     if (ra != 0)
4868         tcg_gen_mov_tl(cpu_gpr[ra], cpu_T[0]);
4869 }
4870
4871 /* stfqx */
4872 GEN_HANDLER(stfqx, 0x1F, 0x17, 0x1C, 0x00000001, PPC_POWER2)
4873 {
4874     /* NIP cannot be restored if the memory exception comes from an helper */
4875     gen_update_nip(ctx, ctx->nip - 4);
4876     gen_addr_reg_index(cpu_T[0], ctx);
4877     tcg_gen_mov_i64(cpu_FT[0], cpu_fpr[rS(ctx->opcode)]);
4878     tcg_gen_mov_i64(cpu_FT[1], cpu_fpr[rS(ctx->opcode) + 1]);
4879     op_POWER2_stfq();
4880 }
4881
4882 /* BookE specific instructions */
4883 /* XXX: not implemented on 440 ? */
4884 GEN_HANDLER(mfapidi, 0x1F, 0x13, 0x08, 0x0000F801, PPC_MFAPIDI)
4885 {
4886     /* XXX: TODO */
4887     GEN_EXCP_INVAL(ctx);
4888 }
4889
4890 /* XXX: not implemented on 440 ? */
4891 GEN_HANDLER(tlbiva, 0x1F, 0x12, 0x18, 0x03FFF801, PPC_TLBIVA)
4892 {
4893 #if defined(CONFIG_USER_ONLY)
4894     GEN_EXCP_PRIVOPC(ctx);
4895 #else
4896     if (unlikely(!ctx->supervisor)) {
4897         GEN_EXCP_PRIVOPC(ctx);
4898         return;
4899     }
4900     gen_addr_reg_index(cpu_T[0], ctx);
4901     /* Use the same micro-ops as for tlbie */
4902 #if defined(TARGET_PPC64)
4903     if (ctx->sf_mode)
4904         gen_op_tlbie_64();
4905     else
4906 #endif
4907         gen_op_tlbie();
4908 #endif
4909 }
4910
4911 /* All 405 MAC instructions are translated here */
4912 static always_inline void gen_405_mulladd_insn (DisasContext *ctx,
4913                                                 int opc2, int opc3,
4914                                                 int ra, int rb, int rt, int Rc)
4915 {
4916     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[ra]);
4917     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rb]);
4918     switch (opc3 & 0x0D) {
4919     case 0x05:
4920         /* macchw    - macchw.    - macchwo   - macchwo.   */
4921         /* macchws   - macchws.   - macchwso  - macchwso.  */
4922         /* nmacchw   - nmacchw.   - nmacchwo  - nmacchwo.  */
4923         /* nmacchws  - nmacchws.  - nmacchwso - nmacchwso. */
4924         /* mulchw - mulchw. */
4925         gen_op_405_mulchw();
4926         break;
4927     case 0x04:
4928         /* macchwu   - macchwu.   - macchwuo  - macchwuo.  */
4929         /* macchwsu  - macchwsu.  - macchwsuo - macchwsuo. */
4930         /* mulchwu - mulchwu. */
4931         gen_op_405_mulchwu();
4932         break;
4933     case 0x01:
4934         /* machhw    - machhw.    - machhwo   - machhwo.   */
4935         /* machhws   - machhws.   - machhwso  - machhwso.  */
4936         /* nmachhw   - nmachhw.   - nmachhwo  - nmachhwo.  */
4937         /* nmachhws  - nmachhws.  - nmachhwso - nmachhwso. */
4938         /* mulhhw - mulhhw. */
4939         gen_op_405_mulhhw();
4940         break;
4941     case 0x00:
4942         /* machhwu   - machhwu.   - machhwuo  - machhwuo.  */
4943         /* machhwsu  - machhwsu.  - machhwsuo - machhwsuo. */
4944         /* mulhhwu - mulhhwu. */
4945         gen_op_405_mulhhwu();
4946         break;
4947     case 0x0D:
4948         /* maclhw    - maclhw.    - maclhwo   - maclhwo.   */
4949         /* maclhws   - maclhws.   - maclhwso  - maclhwso.  */
4950         /* nmaclhw   - nmaclhw.   - nmaclhwo  - nmaclhwo.  */
4951         /* nmaclhws  - nmaclhws.  - nmaclhwso - nmaclhwso. */
4952         /* mullhw - mullhw. */
4953         gen_op_405_mullhw();
4954         break;
4955     case 0x0C:
4956         /* maclhwu   - maclhwu.   - maclhwuo  - maclhwuo.  */
4957         /* maclhwsu  - maclhwsu.  - maclhwsuo - maclhwsuo. */
4958         /* mullhwu - mullhwu. */
4959         gen_op_405_mullhwu();
4960         break;
4961     }
4962     if (opc2 & 0x02) {
4963         /* nmultiply-and-accumulate (0x0E) */
4964         gen_op_neg();
4965     }
4966     if (opc2 & 0x04) {
4967         /* (n)multiply-and-accumulate (0x0C - 0x0E) */
4968         tcg_gen_mov_tl(cpu_T[2], cpu_gpr[rt]);
4969         tcg_gen_mov_tl(cpu_T[1], cpu_T[0]);
4970         gen_op_405_add_T0_T2();
4971     }
4972     if (opc3 & 0x10) {
4973         /* Check overflow */
4974         if (opc3 & 0x01)
4975             gen_op_check_addo();
4976         else
4977             gen_op_405_check_ovu();
4978     }
4979     if (opc3 & 0x02) {
4980         /* Saturate */
4981         if (opc3 & 0x01)
4982             gen_op_405_check_sat();
4983         else
4984             gen_op_405_check_satu();
4985     }
4986     tcg_gen_mov_tl(cpu_gpr[rt], cpu_T[0]);
4987     if (unlikely(Rc) != 0) {
4988         /* Update Rc0 */
4989         gen_set_Rc0(ctx);
4990     }
4991 }
4992
4993 #define GEN_MAC_HANDLER(name, opc2, opc3)                                     \
4994 GEN_HANDLER(name, 0x04, opc2, opc3, 0x00000000, PPC_405_MAC)                  \
4995 {                                                                             \
4996     gen_405_mulladd_insn(ctx, opc2, opc3, rA(ctx->opcode), rB(ctx->opcode),   \
4997                          rD(ctx->opcode), Rc(ctx->opcode));                   \
4998 }
4999
5000 /* macchw    - macchw.    */
5001 GEN_MAC_HANDLER(macchw, 0x0C, 0x05);
5002 /* macchwo   - macchwo.   */
5003 GEN_MAC_HANDLER(macchwo, 0x0C, 0x15);
5004 /* macchws   - macchws.   */
5005 GEN_MAC_HANDLER(macchws, 0x0C, 0x07);
5006 /* macchwso  - macchwso.  */
5007 GEN_MAC_HANDLER(macchwso, 0x0C, 0x17);
5008 /* macchwsu  - macchwsu.  */
5009 GEN_MAC_HANDLER(macchwsu, 0x0C, 0x06);
5010 /* macchwsuo - macchwsuo. */
5011 GEN_MAC_HANDLER(macchwsuo, 0x0C, 0x16);
5012 /* macchwu   - macchwu.   */
5013 GEN_MAC_HANDLER(macchwu, 0x0C, 0x04);
5014 /* macchwuo  - macchwuo.  */
5015 GEN_MAC_HANDLER(macchwuo, 0x0C, 0x14);
5016 /* machhw    - machhw.    */
5017 GEN_MAC_HANDLER(machhw, 0x0C, 0x01);
5018 /* machhwo   - machhwo.   */
5019 GEN_MAC_HANDLER(machhwo, 0x0C, 0x11);
5020 /* machhws   - machhws.   */
5021 GEN_MAC_HANDLER(machhws, 0x0C, 0x03);
5022 /* machhwso  - machhwso.  */
5023 GEN_MAC_HANDLER(machhwso, 0x0C, 0x13);
5024 /* machhwsu  - machhwsu.  */
5025 GEN_MAC_HANDLER(machhwsu, 0x0C, 0x02);
5026 /* machhwsuo - machhwsuo. */
5027 GEN_MAC_HANDLER(machhwsuo, 0x0C, 0x12);
5028 /* machhwu   - machhwu.   */
5029 GEN_MAC_HANDLER(machhwu, 0x0C, 0x00);
5030 /* machhwuo  - machhwuo.  */
5031 GEN_MAC_HANDLER(machhwuo, 0x0C, 0x10);
5032 /* maclhw    - maclhw.    */
5033 GEN_MAC_HANDLER(maclhw, 0x0C, 0x0D);
5034 /* maclhwo   - maclhwo.   */
5035 GEN_MAC_HANDLER(maclhwo, 0x0C, 0x1D);
5036 /* maclhws   - maclhws.   */
5037 GEN_MAC_HANDLER(maclhws, 0x0C, 0x0F);
5038 /* maclhwso  - maclhwso.  */
5039 GEN_MAC_HANDLER(maclhwso, 0x0C, 0x1F);
5040 /* maclhwu   - maclhwu.   */
5041 GEN_MAC_HANDLER(maclhwu, 0x0C, 0x0C);
5042 /* maclhwuo  - maclhwuo.  */
5043 GEN_MAC_HANDLER(maclhwuo, 0x0C, 0x1C);
5044 /* maclhwsu  - maclhwsu.  */
5045 GEN_MAC_HANDLER(maclhwsu, 0x0C, 0x0E);
5046 /* maclhwsuo - maclhwsuo. */
5047 GEN_MAC_HANDLER(maclhwsuo, 0x0C, 0x1E);
5048 /* nmacchw   - nmacchw.   */
5049 GEN_MAC_HANDLER(nmacchw, 0x0E, 0x05);
5050 /* nmacchwo  - nmacchwo.  */
5051 GEN_MAC_HANDLER(nmacchwo, 0x0E, 0x15);
5052 /* nmacchws  - nmacchws.  */
5053 GEN_MAC_HANDLER(nmacchws, 0x0E, 0x07);
5054 /* nmacchwso - nmacchwso. */
5055 GEN_MAC_HANDLER(nmacchwso, 0x0E, 0x17);
5056 /* nmachhw   - nmachhw.   */
5057 GEN_MAC_HANDLER(nmachhw, 0x0E, 0x01);
5058 /* nmachhwo  - nmachhwo.  */
5059 GEN_MAC_HANDLER(nmachhwo, 0x0E, 0x11);
5060 /* nmachhws  - nmachhws.  */
5061 GEN_MAC_HANDLER(nmachhws, 0x0E, 0x03);
5062 /* nmachhwso - nmachhwso. */
5063 GEN_MAC_HANDLER(nmachhwso, 0x0E, 0x13);
5064 /* nmaclhw   - nmaclhw.   */
5065 GEN_MAC_HANDLER(nmaclhw, 0x0E, 0x0D);
5066 /* nmaclhwo  - nmaclhwo.  */
5067 GEN_MAC_HANDLER(nmaclhwo, 0x0E, 0x1D);
5068 /* nmaclhws  - nmaclhws.  */
5069 GEN_MAC_HANDLER(nmaclhws, 0x0E, 0x0F);
5070 /* nmaclhwso - nmaclhwso. */
5071 GEN_MAC_HANDLER(nmaclhwso, 0x0E, 0x1F);
5072
5073 /* mulchw  - mulchw.  */
5074 GEN_MAC_HANDLER(mulchw, 0x08, 0x05);
5075 /* mulchwu - mulchwu. */
5076 GEN_MAC_HANDLER(mulchwu, 0x08, 0x04);
5077 /* mulhhw  - mulhhw.  */
5078 GEN_MAC_HANDLER(mulhhw, 0x08, 0x01);
5079 /* mulhhwu - mulhhwu. */
5080 GEN_MAC_HANDLER(mulhhwu, 0x08, 0x00);
5081 /* mullhw  - mullhw.  */
5082 GEN_MAC_HANDLER(mullhw, 0x08, 0x0D);
5083 /* mullhwu - mullhwu. */
5084 GEN_MAC_HANDLER(mullhwu, 0x08, 0x0C);
5085
5086 /* mfdcr */
5087 GEN_HANDLER(mfdcr, 0x1F, 0x03, 0x0A, 0x00000001, PPC_DCR)
5088 {
5089 #if defined(CONFIG_USER_ONLY)
5090     GEN_EXCP_PRIVREG(ctx);
5091 #else
5092     uint32_t dcrn = SPR(ctx->opcode);
5093
5094     if (unlikely(!ctx->supervisor)) {
5095         GEN_EXCP_PRIVREG(ctx);
5096         return;
5097     }
5098     tcg_gen_movi_tl(cpu_T[0], dcrn);
5099     gen_op_load_dcr();
5100     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
5101 #endif
5102 }
5103
5104 /* mtdcr */
5105 GEN_HANDLER(mtdcr, 0x1F, 0x03, 0x0E, 0x00000001, PPC_DCR)
5106 {
5107 #if defined(CONFIG_USER_ONLY)
5108     GEN_EXCP_PRIVREG(ctx);
5109 #else
5110     uint32_t dcrn = SPR(ctx->opcode);
5111
5112     if (unlikely(!ctx->supervisor)) {
5113         GEN_EXCP_PRIVREG(ctx);
5114         return;
5115     }
5116     tcg_gen_movi_tl(cpu_T[0], dcrn);
5117     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rS(ctx->opcode)]);
5118     gen_op_store_dcr();
5119 #endif
5120 }
5121
5122 /* mfdcrx */
5123 /* XXX: not implemented on 440 ? */
5124 GEN_HANDLER(mfdcrx, 0x1F, 0x03, 0x08, 0x00000000, PPC_DCRX)
5125 {
5126 #if defined(CONFIG_USER_ONLY)
5127     GEN_EXCP_PRIVREG(ctx);
5128 #else
5129     if (unlikely(!ctx->supervisor)) {
5130         GEN_EXCP_PRIVREG(ctx);
5131         return;
5132     }
5133     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
5134     gen_op_load_dcr();
5135     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
5136     /* Note: Rc update flag set leads to undefined state of Rc0 */
5137 #endif
5138 }
5139
5140 /* mtdcrx */
5141 /* XXX: not implemented on 440 ? */
5142 GEN_HANDLER(mtdcrx, 0x1F, 0x03, 0x0C, 0x00000000, PPC_DCRX)
5143 {
5144 #if defined(CONFIG_USER_ONLY)
5145     GEN_EXCP_PRIVREG(ctx);
5146 #else
5147     if (unlikely(!ctx->supervisor)) {
5148         GEN_EXCP_PRIVREG(ctx);
5149         return;
5150     }
5151     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
5152     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rS(ctx->opcode)]);
5153     gen_op_store_dcr();
5154     /* Note: Rc update flag set leads to undefined state of Rc0 */
5155 #endif
5156 }
5157
5158 /* mfdcrux (PPC 460) : user-mode access to DCR */
5159 GEN_HANDLER(mfdcrux, 0x1F, 0x03, 0x09, 0x00000000, PPC_DCRUX)
5160 {
5161     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
5162     gen_op_load_dcr();
5163     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
5164     /* Note: Rc update flag set leads to undefined state of Rc0 */
5165 }
5166
5167 /* mtdcrux (PPC 460) : user-mode access to DCR */
5168 GEN_HANDLER(mtdcrux, 0x1F, 0x03, 0x0D, 0x00000000, PPC_DCRUX)
5169 {
5170     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
5171     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rS(ctx->opcode)]);
5172     gen_op_store_dcr();
5173     /* Note: Rc update flag set leads to undefined state of Rc0 */
5174 }
5175
5176 /* dccci */
5177 GEN_HANDLER(dccci, 0x1F, 0x06, 0x0E, 0x03E00001, PPC_4xx_COMMON)
5178 {
5179 #if defined(CONFIG_USER_ONLY)
5180     GEN_EXCP_PRIVOPC(ctx);
5181 #else
5182     if (unlikely(!ctx->supervisor)) {
5183         GEN_EXCP_PRIVOPC(ctx);
5184         return;
5185     }
5186     /* interpreted as no-op */
5187 #endif
5188 }
5189
5190 /* dcread */
5191 GEN_HANDLER(dcread, 0x1F, 0x06, 0x0F, 0x00000001, PPC_4xx_COMMON)
5192 {
5193 #if defined(CONFIG_USER_ONLY)
5194     GEN_EXCP_PRIVOPC(ctx);
5195 #else
5196     TCGv EA, val;
5197     if (unlikely(!ctx->supervisor)) {
5198         GEN_EXCP_PRIVOPC(ctx);
5199         return;
5200     }
5201     EA = tcg_temp_new(TCG_TYPE_TL);
5202     gen_addr_reg_index(EA, ctx);
5203     val = tcg_temp_new(TCG_TYPE_TL);
5204     gen_qemu_ld32u(val, EA, ctx->mem_idx);
5205     tcg_temp_free(val);
5206     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], EA);
5207     tcg_temp_free(EA);
5208 #endif
5209 }
5210
5211 /* icbt */
5212 GEN_HANDLER2(icbt_40x, "icbt", 0x1F, 0x06, 0x08, 0x03E00001, PPC_40x_ICBT)
5213 {
5214     /* interpreted as no-op */
5215     /* XXX: specification say this is treated as a load by the MMU
5216      *      but does not generate any exception
5217      */
5218 }
5219
5220 /* iccci */
5221 GEN_HANDLER(iccci, 0x1F, 0x06, 0x1E, 0x00000001, PPC_4xx_COMMON)
5222 {
5223 #if defined(CONFIG_USER_ONLY)
5224     GEN_EXCP_PRIVOPC(ctx);
5225 #else
5226     if (unlikely(!ctx->supervisor)) {
5227         GEN_EXCP_PRIVOPC(ctx);
5228         return;
5229     }
5230     /* interpreted as no-op */
5231 #endif
5232 }
5233
5234 /* icread */
5235 GEN_HANDLER(icread, 0x1F, 0x06, 0x1F, 0x03E00001, PPC_4xx_COMMON)
5236 {
5237 #if defined(CONFIG_USER_ONLY)
5238     GEN_EXCP_PRIVOPC(ctx);
5239 #else
5240     if (unlikely(!ctx->supervisor)) {
5241         GEN_EXCP_PRIVOPC(ctx);
5242         return;
5243     }
5244     /* interpreted as no-op */
5245 #endif
5246 }
5247
5248 /* rfci (supervisor only) */
5249 GEN_HANDLER2(rfci_40x, "rfci", 0x13, 0x13, 0x01, 0x03FF8001, PPC_40x_EXCP)
5250 {
5251 #if defined(CONFIG_USER_ONLY)
5252     GEN_EXCP_PRIVOPC(ctx);
5253 #else
5254     if (unlikely(!ctx->supervisor)) {
5255         GEN_EXCP_PRIVOPC(ctx);
5256         return;
5257     }
5258     /* Restore CPU state */
5259     gen_op_40x_rfci();
5260     GEN_SYNC(ctx);
5261 #endif
5262 }
5263
5264 GEN_HANDLER(rfci, 0x13, 0x13, 0x01, 0x03FF8001, PPC_BOOKE)
5265 {
5266 #if defined(CONFIG_USER_ONLY)
5267     GEN_EXCP_PRIVOPC(ctx);
5268 #else
5269     if (unlikely(!ctx->supervisor)) {
5270         GEN_EXCP_PRIVOPC(ctx);
5271         return;
5272     }
5273     /* Restore CPU state */
5274     gen_op_rfci();
5275     GEN_SYNC(ctx);
5276 #endif
5277 }
5278
5279 /* BookE specific */
5280 /* XXX: not implemented on 440 ? */
5281 GEN_HANDLER(rfdi, 0x13, 0x07, 0x01, 0x03FF8001, PPC_RFDI)
5282 {
5283 #if defined(CONFIG_USER_ONLY)
5284     GEN_EXCP_PRIVOPC(ctx);
5285 #else
5286     if (unlikely(!ctx->supervisor)) {
5287         GEN_EXCP_PRIVOPC(ctx);
5288         return;
5289     }
5290     /* Restore CPU state */
5291     gen_op_rfdi();
5292     GEN_SYNC(ctx);
5293 #endif
5294 }
5295
5296 /* XXX: not implemented on 440 ? */
5297 GEN_HANDLER(rfmci, 0x13, 0x06, 0x01, 0x03FF8001, PPC_RFMCI)
5298 {
5299 #if defined(CONFIG_USER_ONLY)
5300     GEN_EXCP_PRIVOPC(ctx);
5301 #else
5302     if (unlikely(!ctx->supervisor)) {
5303         GEN_EXCP_PRIVOPC(ctx);
5304         return;
5305     }
5306     /* Restore CPU state */
5307     gen_op_rfmci();
5308     GEN_SYNC(ctx);
5309 #endif
5310 }
5311
5312 /* TLB management - PowerPC 405 implementation */
5313 /* tlbre */
5314 GEN_HANDLER2(tlbre_40x, "tlbre", 0x1F, 0x12, 0x1D, 0x00000001, PPC_40x_TLB)
5315 {
5316 #if defined(CONFIG_USER_ONLY)
5317     GEN_EXCP_PRIVOPC(ctx);
5318 #else
5319     if (unlikely(!ctx->supervisor)) {
5320         GEN_EXCP_PRIVOPC(ctx);
5321         return;
5322     }
5323     switch (rB(ctx->opcode)) {
5324     case 0:
5325         tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
5326         gen_op_4xx_tlbre_hi();
5327         tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
5328         break;
5329     case 1:
5330         tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
5331         gen_op_4xx_tlbre_lo();
5332         tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
5333         break;
5334     default:
5335         GEN_EXCP_INVAL(ctx);
5336         break;
5337     }
5338 #endif
5339 }
5340
5341 /* tlbsx - tlbsx. */
5342 GEN_HANDLER2(tlbsx_40x, "tlbsx", 0x1F, 0x12, 0x1C, 0x00000000, PPC_40x_TLB)
5343 {
5344 #if defined(CONFIG_USER_ONLY)
5345     GEN_EXCP_PRIVOPC(ctx);
5346 #else
5347     if (unlikely(!ctx->supervisor)) {
5348         GEN_EXCP_PRIVOPC(ctx);
5349         return;
5350     }
5351     gen_addr_reg_index(cpu_T[0], ctx);
5352     gen_op_4xx_tlbsx();
5353     if (Rc(ctx->opcode))
5354         gen_op_4xx_tlbsx_check();
5355     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
5356 #endif
5357 }
5358
5359 /* tlbwe */
5360 GEN_HANDLER2(tlbwe_40x, "tlbwe", 0x1F, 0x12, 0x1E, 0x00000001, PPC_40x_TLB)
5361 {
5362 #if defined(CONFIG_USER_ONLY)
5363     GEN_EXCP_PRIVOPC(ctx);
5364 #else
5365     if (unlikely(!ctx->supervisor)) {
5366         GEN_EXCP_PRIVOPC(ctx);
5367         return;
5368     }
5369     switch (rB(ctx->opcode)) {
5370     case 0:
5371         tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
5372         tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rS(ctx->opcode)]);
5373         gen_op_4xx_tlbwe_hi();
5374         break;
5375     case 1:
5376         tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
5377         tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rS(ctx->opcode)]);
5378         gen_op_4xx_tlbwe_lo();
5379         break;
5380     default:
5381         GEN_EXCP_INVAL(ctx);
5382         break;
5383     }
5384 #endif
5385 }
5386
5387 /* TLB management - PowerPC 440 implementation */
5388 /* tlbre */
5389 GEN_HANDLER2(tlbre_440, "tlbre", 0x1F, 0x12, 0x1D, 0x00000001, PPC_BOOKE)
5390 {
5391 #if defined(CONFIG_USER_ONLY)
5392     GEN_EXCP_PRIVOPC(ctx);
5393 #else
5394     if (unlikely(!ctx->supervisor)) {
5395         GEN_EXCP_PRIVOPC(ctx);
5396         return;
5397     }
5398     switch (rB(ctx->opcode)) {
5399     case 0:
5400     case 1:
5401     case 2:
5402         tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
5403         gen_op_440_tlbre(rB(ctx->opcode));
5404         tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
5405         break;
5406     default:
5407         GEN_EXCP_INVAL(ctx);
5408         break;
5409     }
5410 #endif
5411 }
5412
5413 /* tlbsx - tlbsx. */
5414 GEN_HANDLER2(tlbsx_440, "tlbsx", 0x1F, 0x12, 0x1C, 0x00000000, PPC_BOOKE)
5415 {
5416 #if defined(CONFIG_USER_ONLY)
5417     GEN_EXCP_PRIVOPC(ctx);
5418 #else
5419     if (unlikely(!ctx->supervisor)) {
5420         GEN_EXCP_PRIVOPC(ctx);
5421         return;
5422     }
5423     gen_addr_reg_index(cpu_T[0], ctx);
5424     gen_op_440_tlbsx();
5425     if (Rc(ctx->opcode))
5426         gen_op_4xx_tlbsx_check();
5427     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
5428 #endif
5429 }
5430
5431 /* tlbwe */
5432 GEN_HANDLER2(tlbwe_440, "tlbwe", 0x1F, 0x12, 0x1E, 0x00000001, PPC_BOOKE)
5433 {
5434 #if defined(CONFIG_USER_ONLY)
5435     GEN_EXCP_PRIVOPC(ctx);
5436 #else
5437     if (unlikely(!ctx->supervisor)) {
5438         GEN_EXCP_PRIVOPC(ctx);
5439         return;
5440     }
5441     switch (rB(ctx->opcode)) {
5442     case 0:
5443     case 1:
5444     case 2:
5445         tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
5446         tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rS(ctx->opcode)]);
5447         gen_op_440_tlbwe(rB(ctx->opcode));
5448         break;
5449     default:
5450         GEN_EXCP_INVAL(ctx);
5451         break;
5452     }
5453 #endif
5454 }
5455
5456 /* wrtee */
5457 GEN_HANDLER(wrtee, 0x1F, 0x03, 0x04, 0x000FFC01, PPC_WRTEE)
5458 {
5459 #if defined(CONFIG_USER_ONLY)
5460     GEN_EXCP_PRIVOPC(ctx);
5461 #else
5462     if (unlikely(!ctx->supervisor)) {
5463         GEN_EXCP_PRIVOPC(ctx);
5464         return;
5465     }
5466     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rD(ctx->opcode)]);
5467     gen_op_wrte();
5468     /* Stop translation to have a chance to raise an exception
5469      * if we just set msr_ee to 1
5470      */
5471     GEN_STOP(ctx);
5472 #endif
5473 }
5474
5475 /* wrteei */
5476 GEN_HANDLER(wrteei, 0x1F, 0x03, 0x05, 0x000EFC01, PPC_WRTEE)
5477 {
5478 #if defined(CONFIG_USER_ONLY)
5479     GEN_EXCP_PRIVOPC(ctx);
5480 #else
5481     if (unlikely(!ctx->supervisor)) {
5482         GEN_EXCP_PRIVOPC(ctx);
5483         return;
5484     }
5485     tcg_gen_movi_tl(cpu_T[0], ctx->opcode & 0x00010000);
5486     gen_op_wrte();
5487     /* Stop translation to have a chance to raise an exception
5488      * if we just set msr_ee to 1
5489      */
5490     GEN_STOP(ctx);
5491 #endif
5492 }
5493
5494 /* PowerPC 440 specific instructions */
5495 /* dlmzb */
5496 GEN_HANDLER(dlmzb, 0x1F, 0x0E, 0x02, 0x00000000, PPC_440_SPEC)
5497 {
5498     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rS(ctx->opcode)]);
5499     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
5500     gen_op_440_dlmzb();
5501     tcg_gen_mov_tl(cpu_gpr[rA(ctx->opcode)], cpu_T[0]);
5502     gen_op_store_xer_bc();
5503     if (Rc(ctx->opcode)) {
5504         gen_op_440_dlmzb_update_Rc();
5505         tcg_gen_andi_i32(cpu_crf[0], cpu_T[0], 0xf);
5506     }
5507 }
5508
5509 /* mbar replaces eieio on 440 */
5510 GEN_HANDLER(mbar, 0x1F, 0x16, 0x13, 0x001FF801, PPC_BOOKE)
5511 {
5512     /* interpreted as no-op */
5513 }
5514
5515 /* msync replaces sync on 440 */
5516 GEN_HANDLER(msync, 0x1F, 0x16, 0x12, 0x03FFF801, PPC_BOOKE)
5517 {
5518     /* interpreted as no-op */
5519 }
5520
5521 /* icbt */
5522 GEN_HANDLER2(icbt_440, "icbt", 0x1F, 0x16, 0x00, 0x03E00001, PPC_BOOKE)
5523 {
5524     /* interpreted as no-op */
5525     /* XXX: specification say this is treated as a load by the MMU
5526      *      but does not generate any exception
5527      */
5528 }
5529
5530 /***                      Altivec vector extension                         ***/
5531 /* Altivec registers moves */
5532
5533 static always_inline void gen_load_avr(int t, int reg) {
5534     tcg_gen_mov_i64(cpu_AVRh[t], cpu_avrh[reg]);
5535     tcg_gen_mov_i64(cpu_AVRl[t], cpu_avrl[reg]);
5536 }
5537
5538 static always_inline void gen_store_avr(int reg, int t) {
5539     tcg_gen_mov_i64(cpu_avrh[reg], cpu_AVRh[t]);
5540     tcg_gen_mov_i64(cpu_avrl[reg], cpu_AVRl[t]);
5541 }
5542
5543 #define op_vr_ldst(name)        (*gen_op_##name[ctx->mem_idx])()
5544 #define OP_VR_LD_TABLE(name)                                                  \
5545 static GenOpFunc *gen_op_vr_l##name[NB_MEM_FUNCS] = {                         \
5546     GEN_MEM_FUNCS(vr_l##name),                                                \
5547 };
5548 #define OP_VR_ST_TABLE(name)                                                  \
5549 static GenOpFunc *gen_op_vr_st##name[NB_MEM_FUNCS] = {                        \
5550     GEN_MEM_FUNCS(vr_st##name),                                               \
5551 };
5552
5553 #define GEN_VR_LDX(name, opc2, opc3)                                          \
5554 GEN_HANDLER(l##name, 0x1F, opc2, opc3, 0x00000001, PPC_ALTIVEC)               \
5555 {                                                                             \
5556     if (unlikely(!ctx->altivec_enabled)) {                                    \
5557         GEN_EXCP_NO_VR(ctx);                                                  \
5558         return;                                                               \
5559     }                                                                         \
5560     gen_addr_reg_index(cpu_T[0], ctx);                                        \
5561     op_vr_ldst(vr_l##name);                                                   \
5562     gen_store_avr(rD(ctx->opcode), 0);                                        \
5563 }
5564
5565 #define GEN_VR_STX(name, opc2, opc3)                                          \
5566 GEN_HANDLER(st##name, 0x1F, opc2, opc3, 0x00000001, PPC_ALTIVEC)              \
5567 {                                                                             \
5568     if (unlikely(!ctx->altivec_enabled)) {                                    \
5569         GEN_EXCP_NO_VR(ctx);                                                  \
5570         return;                                                               \
5571     }                                                                         \
5572     gen_addr_reg_index(cpu_T[0], ctx);                                        \
5573     gen_load_avr(0, rS(ctx->opcode));                                         \
5574     op_vr_ldst(vr_st##name);                                                  \
5575 }
5576
5577 OP_VR_LD_TABLE(vx);
5578 GEN_VR_LDX(vx, 0x07, 0x03);
5579 /* As we don't emulate the cache, lvxl is stricly equivalent to lvx */
5580 #define gen_op_vr_lvxl gen_op_vr_lvx
5581 GEN_VR_LDX(vxl, 0x07, 0x0B);
5582
5583 OP_VR_ST_TABLE(vx);
5584 GEN_VR_STX(vx, 0x07, 0x07);
5585 /* As we don't emulate the cache, stvxl is stricly equivalent to stvx */
5586 #define gen_op_vr_stvxl gen_op_vr_stvx
5587 GEN_VR_STX(vxl, 0x07, 0x0F);
5588
5589 /***                           SPE extension                               ***/
5590 /* Register moves */
5591
5592 static always_inline void gen_load_gpr64(TCGv t, int reg) {
5593 #if defined(TARGET_PPC64)
5594     tcg_gen_mov_i64(t, cpu_gpr[reg]);
5595 #else
5596     tcg_gen_concat_i32_i64(t, cpu_gpr[reg], cpu_gprh[reg]);
5597 #endif
5598 }
5599
5600 static always_inline void gen_store_gpr64(int reg, TCGv t) {
5601 #if defined(TARGET_PPC64)
5602     tcg_gen_mov_i64(cpu_gpr[reg], t);
5603 #else
5604     tcg_gen_trunc_i64_i32(cpu_gpr[reg], t);
5605     TCGv tmp = tcg_temp_new(TCG_TYPE_I64);
5606     tcg_gen_shri_i64(tmp, t, 32);
5607     tcg_gen_trunc_i64_i32(cpu_gprh[reg], tmp);
5608     tcg_temp_free(tmp);
5609 #endif
5610 }
5611
5612 #define GEN_SPE(name0, name1, opc2, opc3, inval, type)                        \
5613 GEN_HANDLER(name0##_##name1, 0x04, opc2, opc3, inval, type)                   \
5614 {                                                                             \
5615     if (Rc(ctx->opcode))                                                      \
5616         gen_##name1(ctx);                                                     \
5617     else                                                                      \
5618         gen_##name0(ctx);                                                     \
5619 }
5620
5621 /* Handler for undefined SPE opcodes */
5622 static always_inline void gen_speundef (DisasContext *ctx)
5623 {
5624     GEN_EXCP_INVAL(ctx);
5625 }
5626
5627 /* SPE load and stores */
5628 static always_inline void gen_addr_spe_imm_index (TCGv EA, DisasContext *ctx, int sh)
5629 {
5630     target_long simm = rB(ctx->opcode);
5631
5632     if (rA(ctx->opcode) == 0)
5633         tcg_gen_movi_tl(EA, simm << sh);
5634     else if (likely(simm != 0))
5635         tcg_gen_addi_tl(EA, cpu_gpr[rA(ctx->opcode)], simm << sh);
5636     else
5637         tcg_gen_mov_tl(EA, cpu_gpr[rA(ctx->opcode)]);
5638 }
5639
5640 #define op_spe_ldst(name)        (*gen_op_##name[ctx->mem_idx])()
5641 #define OP_SPE_LD_TABLE(name)                                                 \
5642 static GenOpFunc *gen_op_spe_l##name[NB_MEM_FUNCS] = {                        \
5643     GEN_MEM_FUNCS(spe_l##name),                                               \
5644 };
5645 #define OP_SPE_ST_TABLE(name)                                                 \
5646 static GenOpFunc *gen_op_spe_st##name[NB_MEM_FUNCS] = {                       \
5647     GEN_MEM_FUNCS(spe_st##name),                                              \
5648 };
5649
5650 #define GEN_SPE_LD(name, sh)                                                  \
5651 static always_inline void gen_evl##name (DisasContext *ctx)                   \
5652 {                                                                             \
5653     if (unlikely(!ctx->spe_enabled)) {                                        \
5654         GEN_EXCP_NO_AP(ctx);                                                  \
5655         return;                                                               \
5656     }                                                                         \
5657     gen_addr_spe_imm_index(cpu_T[0], ctx, sh);                                \
5658     op_spe_ldst(spe_l##name);                                                 \
5659     gen_store_gpr64(rD(ctx->opcode), cpu_T64[1]);                             \
5660 }
5661
5662 #define GEN_SPE_LDX(name)                                                     \
5663 static always_inline void gen_evl##name##x (DisasContext *ctx)                \
5664 {                                                                             \
5665     if (unlikely(!ctx->spe_enabled)) {                                        \
5666         GEN_EXCP_NO_AP(ctx);                                                  \
5667         return;                                                               \
5668     }                                                                         \
5669     gen_addr_reg_index(cpu_T[0], ctx);                                        \
5670     op_spe_ldst(spe_l##name);                                                 \
5671     gen_store_gpr64(rD(ctx->opcode), cpu_T64[1]);                             \
5672 }
5673
5674 #define GEN_SPEOP_LD(name, sh)                                                \
5675 OP_SPE_LD_TABLE(name);                                                        \
5676 GEN_SPE_LD(name, sh);                                                         \
5677 GEN_SPE_LDX(name)
5678
5679 #define GEN_SPE_ST(name, sh)                                                  \
5680 static always_inline void gen_evst##name (DisasContext *ctx)                  \
5681 {                                                                             \
5682     if (unlikely(!ctx->spe_enabled)) {                                        \
5683         GEN_EXCP_NO_AP(ctx);                                                  \
5684         return;                                                               \
5685     }                                                                         \
5686     gen_addr_spe_imm_index(cpu_T[0], ctx, sh);                                \
5687     gen_load_gpr64(cpu_T64[1], rS(ctx->opcode));                              \
5688     op_spe_ldst(spe_st##name);                                                \
5689 }
5690
5691 #define GEN_SPE_STX(name)                                                     \
5692 static always_inline void gen_evst##name##x (DisasContext *ctx)               \
5693 {                                                                             \
5694     if (unlikely(!ctx->spe_enabled)) {                                        \
5695         GEN_EXCP_NO_AP(ctx);                                                  \
5696         return;                                                               \
5697     }                                                                         \
5698     gen_addr_reg_index(cpu_T[0], ctx);                                        \
5699     gen_load_gpr64(cpu_T64[1], rS(ctx->opcode));                              \
5700     op_spe_ldst(spe_st##name);                                                \
5701 }
5702
5703 #define GEN_SPEOP_ST(name, sh)                                                \
5704 OP_SPE_ST_TABLE(name);                                                        \
5705 GEN_SPE_ST(name, sh);                                                         \
5706 GEN_SPE_STX(name)
5707
5708 #define GEN_SPEOP_LDST(name, sh)                                              \
5709 GEN_SPEOP_LD(name, sh);                                                       \
5710 GEN_SPEOP_ST(name, sh)
5711
5712 /* SPE arithmetic and logic */
5713 #define GEN_SPEOP_ARITH2(name)                                                \
5714 static always_inline void gen_##name (DisasContext *ctx)                      \
5715 {                                                                             \
5716     if (unlikely(!ctx->spe_enabled)) {                                        \
5717         GEN_EXCP_NO_AP(ctx);                                                  \
5718         return;                                                               \
5719     }                                                                         \
5720     gen_load_gpr64(cpu_T64[0], rA(ctx->opcode));                              \
5721     gen_load_gpr64(cpu_T64[1], rB(ctx->opcode));                              \
5722     gen_op_##name();                                                          \
5723     gen_store_gpr64(rD(ctx->opcode), cpu_T64[0]);                             \
5724 }
5725
5726 #define GEN_SPEOP_ARITH1(name)                                                \
5727 static always_inline void gen_##name (DisasContext *ctx)                      \
5728 {                                                                             \
5729     if (unlikely(!ctx->spe_enabled)) {                                        \
5730         GEN_EXCP_NO_AP(ctx);                                                  \
5731         return;                                                               \
5732     }                                                                         \
5733     gen_load_gpr64(cpu_T64[0], rA(ctx->opcode));                              \
5734     gen_op_##name();                                                          \
5735     gen_store_gpr64(rD(ctx->opcode), cpu_T64[0]);                             \
5736 }
5737
5738 #define GEN_SPEOP_COMP(name)                                                  \
5739 static always_inline void gen_##name (DisasContext *ctx)                      \
5740 {                                                                             \
5741     if (unlikely(!ctx->spe_enabled)) {                                        \
5742         GEN_EXCP_NO_AP(ctx);                                                  \
5743         return;                                                               \
5744     }                                                                         \
5745     gen_load_gpr64(cpu_T64[0], rA(ctx->opcode));                              \
5746     gen_load_gpr64(cpu_T64[1], rB(ctx->opcode));                              \
5747     gen_op_##name();                                                          \
5748     tcg_gen_andi_i32(cpu_crf[crfD(ctx->opcode)], cpu_T[0], 0xf);              \
5749 }
5750
5751 /* Logical */
5752 GEN_SPEOP_ARITH2(evand);
5753 GEN_SPEOP_ARITH2(evandc);
5754 GEN_SPEOP_ARITH2(evxor);
5755 GEN_SPEOP_ARITH2(evor);
5756 GEN_SPEOP_ARITH2(evnor);
5757 GEN_SPEOP_ARITH2(eveqv);
5758 GEN_SPEOP_ARITH2(evorc);
5759 GEN_SPEOP_ARITH2(evnand);
5760 GEN_SPEOP_ARITH2(evsrwu);
5761 GEN_SPEOP_ARITH2(evsrws);
5762 GEN_SPEOP_ARITH2(evslw);
5763 GEN_SPEOP_ARITH2(evrlw);
5764 GEN_SPEOP_ARITH2(evmergehi);
5765 GEN_SPEOP_ARITH2(evmergelo);
5766 GEN_SPEOP_ARITH2(evmergehilo);
5767 GEN_SPEOP_ARITH2(evmergelohi);
5768
5769 /* Arithmetic */
5770 GEN_SPEOP_ARITH2(evaddw);
5771 GEN_SPEOP_ARITH2(evsubfw);
5772 GEN_SPEOP_ARITH1(evabs);
5773 GEN_SPEOP_ARITH1(evneg);
5774 GEN_SPEOP_ARITH1(evextsb);
5775 GEN_SPEOP_ARITH1(evextsh);
5776 GEN_SPEOP_ARITH1(evrndw);
5777 GEN_SPEOP_ARITH1(evcntlzw);
5778 GEN_SPEOP_ARITH1(evcntlsw);
5779 static always_inline void gen_brinc (DisasContext *ctx)
5780 {
5781     /* Note: brinc is usable even if SPE is disabled */
5782     tcg_gen_mov_tl(cpu_T[0], cpu_gpr[rA(ctx->opcode)]);
5783     tcg_gen_mov_tl(cpu_T[1], cpu_gpr[rB(ctx->opcode)]);
5784     gen_op_brinc();
5785     tcg_gen_mov_tl(cpu_gpr[rD(ctx->opcode)], cpu_T[0]);
5786 }
5787
5788 #define GEN_SPEOP_ARITH_IMM2(name)                                            \
5789 static always_inline void gen_##name##i (DisasContext *ctx)                   \
5790 {                                                                             \
5791     if (unlikely(!ctx->spe_enabled)) {                                        \
5792         GEN_EXCP_NO_AP(ctx);                                                  \
5793         return;                                                               \
5794     }                                                                         \
5795     gen_load_gpr64(cpu_T64[0], rB(ctx->opcode));                              \
5796     gen_op_splatwi_T1_64(rA(ctx->opcode));                                    \
5797     gen_op_##name();                                                          \
5798     gen_store_gpr64(rD(ctx->opcode), cpu_T64[0]);                             \
5799 }
5800
5801 #define GEN_SPEOP_LOGIC_IMM2(name)                                            \
5802 static always_inline void gen_##name##i (DisasContext *ctx)                   \
5803 {                                                                             \
5804     if (unlikely(!ctx->spe_enabled)) {                                        \
5805         GEN_EXCP_NO_AP(ctx);                                                  \
5806         return;                                                               \
5807     }                                                                         \
5808     gen_load_gpr64(cpu_T64[0], rA(ctx->opcode));                              \
5809     gen_op_splatwi_T1_64(rB(ctx->opcode));                                    \
5810     gen_op_##name();                                                          \
5811     gen_store_gpr64(rD(ctx->opcode), cpu_T64[0]);                             \
5812 }
5813
5814 GEN_SPEOP_ARITH_IMM2(evaddw);
5815 #define gen_evaddiw gen_evaddwi
5816 GEN_SPEOP_ARITH_IMM2(evsubfw);
5817 #define gen_evsubifw gen_evsubfwi
5818 GEN_SPEOP_LOGIC_IMM2(evslw);
5819 GEN_SPEOP_LOGIC_IMM2(evsrwu);
5820 #define gen_evsrwis gen_evsrwsi
5821 GEN_SPEOP_LOGIC_IMM2(evsrws);
5822 #define gen_evsrwiu gen_evsrwui
5823 GEN_SPEOP_LOGIC_IMM2(evrlw);
5824
5825 static always_inline void gen_evsplati (DisasContext *ctx)
5826 {
5827     int32_t imm = (int32_t)(rA(ctx->opcode) << 27) >> 27;
5828
5829     gen_op_splatwi_T0_64(imm);
5830     gen_store_gpr64(rD(ctx->opcode), cpu_T64[0]);
5831 }
5832
5833 static always_inline void gen_evsplatfi (DisasContext *ctx)
5834 {
5835     uint32_t imm = rA(ctx->opcode) << 27;
5836
5837     gen_op_splatwi_T0_64(imm);
5838     gen_store_gpr64(rD(ctx->opcode), cpu_T64[0]);
5839 }
5840
5841 /* Comparison */
5842 GEN_SPEOP_COMP(evcmpgtu);
5843 GEN_SPEOP_COMP(evcmpgts);
5844 GEN_SPEOP_COMP(evcmpltu);
5845 GEN_SPEOP_COMP(evcmplts);
5846 GEN_SPEOP_COMP(evcmpeq);
5847
5848 GEN_SPE(evaddw,         speundef,      0x00, 0x08, 0x00000000, PPC_SPE); ////
5849 GEN_SPE(evaddiw,        speundef,      0x01, 0x08, 0x00000000, PPC_SPE);
5850 GEN_SPE(evsubfw,        speundef,      0x02, 0x08, 0x00000000, PPC_SPE); ////
5851 GEN_SPE(evsubifw,       speundef,      0x03, 0x08, 0x00000000, PPC_SPE);
5852 GEN_SPE(evabs,          evneg,         0x04, 0x08, 0x0000F800, PPC_SPE); ////
5853 GEN_SPE(evextsb,        evextsh,       0x05, 0x08, 0x0000F800, PPC_SPE); ////
5854 GEN_SPE(evrndw,         evcntlzw,      0x06, 0x08, 0x0000F800, PPC_SPE); ////
5855 GEN_SPE(evcntlsw,       brinc,         0x07, 0x08, 0x00000000, PPC_SPE); //
5856 GEN_SPE(speundef,       evand,         0x08, 0x08, 0x00000000, PPC_SPE); ////
5857 GEN_SPE(evandc,         speundef,      0x09, 0x08, 0x00000000, PPC_SPE); ////
5858 GEN_SPE(evxor,          evor,          0x0B, 0x08, 0x00000000, PPC_SPE); ////
5859 GEN_SPE(evnor,          eveqv,         0x0C, 0x08, 0x00000000, PPC_SPE); ////
5860 GEN_SPE(speundef,       evorc,         0x0D, 0x08, 0x00000000, PPC_SPE); ////
5861 GEN_SPE(evnand,         speundef,      0x0F, 0x08, 0x00000000, PPC_SPE); ////
5862 GEN_SPE(evsrwu,         evsrws,        0x10, 0x08, 0x00000000, PPC_SPE); ////
5863 GEN_SPE(evsrwiu,        evsrwis,       0x11, 0x08, 0x00000000, PPC_SPE);
5864 GEN_SPE(evslw,          speundef,      0x12, 0x08, 0x00000000, PPC_SPE); ////
5865 GEN_SPE(evslwi,         speundef,      0x13, 0x08, 0x00000000, PPC_SPE);
5866 GEN_SPE(evrlw,          evsplati,      0x14, 0x08, 0x00000000, PPC_SPE); //
5867 GEN_SPE(evrlwi,         evsplatfi,     0x15, 0x08, 0x00000000, PPC_SPE);
5868 GEN_SPE(evmergehi,      evmergelo,     0x16, 0x08, 0x00000000, PPC_SPE); ////
5869 GEN_SPE(evmergehilo,    evmergelohi,   0x17, 0x08, 0x00000000, PPC_SPE); ////
5870 GEN_SPE(evcmpgtu,       evcmpgts,      0x18, 0x08, 0x00600000, PPC_SPE); ////
5871 GEN_SPE(evcmpltu,       evcmplts,      0x19, 0x08, 0x00600000, PPC_SPE); ////
5872 GEN_SPE(evcmpeq,        speundef,      0x1A, 0x08, 0x00600000, PPC_SPE); ////
5873
5874 static always_inline void gen_evsel (DisasContext *ctx)
5875 {
5876     if (unlikely(!ctx->spe_enabled)) {
5877         GEN_EXCP_NO_AP(ctx);
5878         return;
5879     }
5880     tcg_gen_mov_i32(cpu_T[0], cpu_crf[ctx->opcode & 0x7]);
5881     gen_load_gpr64(cpu_T64[0], rA(ctx->opcode));
5882     gen_load_gpr64(cpu_T64[1], rB(ctx->opcode));
5883     gen_op_evsel();
5884     gen_store_gpr64(rD(ctx->opcode), cpu_T64[0]);
5885 }
5886
5887 GEN_HANDLER2(evsel0, "evsel", 0x04, 0x1c, 0x09, 0x00000000, PPC_SPE)
5888 {
5889     gen_evsel(ctx);
5890 }
5891 GEN_HANDLER2(evsel1, "evsel", 0x04, 0x1d, 0x09, 0x00000000, PPC_SPE)
5892 {
5893     gen_evsel(ctx);
5894 }
5895 GEN_HANDLER2(evsel2, "evsel", 0x04, 0x1e, 0x09, 0x00000000, PPC_SPE)
5896 {
5897     gen_evsel(ctx);
5898 }
5899 GEN_HANDLER2(evsel3, "evsel", 0x04, 0x1f, 0x09, 0x00000000, PPC_SPE)
5900 {
5901     gen_evsel(ctx);
5902 }
5903
5904 /* Load and stores */
5905 GEN_SPEOP_LDST(dd, 3);
5906 GEN_SPEOP_LDST(dw, 3);
5907 GEN_SPEOP_LDST(dh, 3);
5908 GEN_SPEOP_LDST(whe, 2);
5909 GEN_SPEOP_LD(whou, 2);
5910 GEN_SPEOP_LD(whos, 2);
5911 GEN_SPEOP_ST(who, 2);
5912
5913 #define _GEN_OP_SPE_STWWE(suffix)                                             \
5914 static always_inline void gen_op_spe_stwwe_##suffix (void)                    \
5915 {                                                                             \
5916     gen_op_srli32_T1_64();                                                    \
5917     gen_op_spe_stwwo_##suffix();                                              \
5918 }
5919 #define _GEN_OP_SPE_STWWE_LE(suffix)                                          \
5920 static always_inline void gen_op_spe_stwwe_le_##suffix (void)                 \
5921 {                                                                             \
5922     gen_op_srli32_T1_64();                                                    \
5923     gen_op_spe_stwwo_le_##suffix();                                           \
5924 }
5925 #if defined(TARGET_PPC64)
5926 #define GEN_OP_SPE_STWWE(suffix)                                              \
5927 _GEN_OP_SPE_STWWE(suffix);                                                    \
5928 _GEN_OP_SPE_STWWE_LE(suffix);                                                 \
5929 static always_inline void gen_op_spe_stwwe_64_##suffix (void)                 \
5930 {                                                                             \
5931     gen_op_srli32_T1_64();                                                    \
5932     gen_op_spe_stwwo_64_##suffix();                                           \
5933 }                                                                             \
5934 static always_inline void gen_op_spe_stwwe_le_64_##suffix (void)              \
5935 {                                                                             \
5936     gen_op_srli32_T1_64();                                                    \
5937     gen_op_spe_stwwo_le_64_##suffix();                                        \
5938 }
5939 #else
5940 #define GEN_OP_SPE_STWWE(suffix)                                              \
5941 _GEN_OP_SPE_STWWE(suffix);                                                    \
5942 _GEN_OP_SPE_STWWE_LE(suffix)
5943 #endif
5944 #if defined(CONFIG_USER_ONLY)
5945 GEN_OP_SPE_STWWE(raw);
5946 #else /* defined(CONFIG_USER_ONLY) */
5947 GEN_OP_SPE_STWWE(user);
5948 GEN_OP_SPE_STWWE(kernel);
5949 GEN_OP_SPE_STWWE(hypv);
5950 #endif /* defined(CONFIG_USER_ONLY) */
5951 GEN_SPEOP_ST(wwe, 2);
5952 GEN_SPEOP_ST(wwo, 2);
5953
5954 #define GEN_SPE_LDSPLAT(name, op, suffix)                                     \
5955 static always_inline void gen_op_spe_l##name##_##suffix (void)                \
5956 {                                                                             \
5957     gen_op_##op##_##suffix();                                                 \
5958     gen_op_splatw_T1_64();                                                    \
5959 }
5960
5961 #define GEN_OP_SPE_LHE(suffix)                                                \
5962 static always_inline void gen_op_spe_lhe_##suffix (void)                      \
5963 {                                                                             \
5964     gen_op_spe_lh_##suffix();                                                 \
5965     gen_op_sli16_T1_64();                                                     \
5966 }
5967
5968 #define GEN_OP_SPE_LHX(suffix)                                                \
5969 static always_inline void gen_op_spe_lhx_##suffix (void)                      \
5970 {                                                                             \
5971     gen_op_spe_lh_##suffix();                                                 \
5972     gen_op_extsh_T1_64();                                                     \
5973 }
5974
5975 #if defined(CONFIG_USER_ONLY)
5976 GEN_OP_SPE_LHE(raw);
5977 GEN_SPE_LDSPLAT(hhesplat, spe_lhe, raw);
5978 GEN_OP_SPE_LHE(le_raw);
5979 GEN_SPE_LDSPLAT(hhesplat, spe_lhe, le_raw);
5980 GEN_SPE_LDSPLAT(hhousplat, spe_lh, raw);
5981 GEN_SPE_LDSPLAT(hhousplat, spe_lh, le_raw);
5982 GEN_OP_SPE_LHX(raw);
5983 GEN_SPE_LDSPLAT(hhossplat, spe_lhx, raw);
5984 GEN_OP_SPE_LHX(le_raw);
5985 GEN_SPE_LDSPLAT(hhossplat, spe_lhx, le_raw);
5986 #if defined(TARGET_PPC64)
5987 GEN_OP_SPE_LHE(64_raw);
5988 GEN_SPE_LDSPLAT(hhesplat, spe_lhe, 64_raw);
5989 GEN_OP_SPE_LHE(le_64_raw);
5990 GEN_SPE_LDSPLAT(hhesplat, spe_lhe, le_64_raw);
5991 GEN_SPE_LDSPLAT(hhousplat, spe_lh, 64_raw);
5992 GEN_SPE_LDSPLAT(hhousplat, spe_lh, le_64_raw);
5993 GEN_OP_SPE_LHX(64_raw);
5994 GEN_SPE_LDSPLAT(hhossplat, spe_lhx, 64_raw);
5995 GEN_OP_SPE_LHX(le_64_raw);
5996 GEN_SPE_LDSPLAT(hhossplat, spe_lhx, le_64_raw);
5997 #endif
5998 #else
5999 GEN_OP_SPE_LHE(user);
6000 GEN_OP_SPE_LHE(kernel);
6001 GEN_OP_SPE_LHE(hypv);
6002 GEN_SPE_LDSPLAT(hhesplat, spe_lhe, user);
6003 GEN_SPE_LDSPLAT(hhesplat, spe_lhe, kernel);
6004 GEN_SPE_LDSPLAT(hhesplat, spe_lhe, hypv);
6005 GEN_OP_SPE_LHE(le_user);
6006 GEN_OP_SPE_LHE(le_kernel);
6007 GEN_OP_SPE_LHE(le_hypv);
6008 GEN_SPE_LDSPLAT(hhesplat, spe_lhe, le_user);
6009 GEN_SPE_LDSPLAT(hhesplat, spe_lhe, le_kernel);
6010 GEN_SPE_LDSPLAT(hhesplat, spe_lhe, le_hypv);
6011 GEN_SPE_LDSPLAT(hhousplat, spe_lh, user);
6012 GEN_SPE_LDSPLAT(hhousplat, spe_lh, kernel);
6013 GEN_SPE_LDSPLAT(hhousplat, spe_lh, hypv);
6014 GEN_SPE_LDSPLAT(hhousplat, spe_lh, le_user);
6015 GEN_SPE_LDSPLAT(hhousplat, spe_lh, le_kernel);
6016 GEN_SPE_LDSPLAT(hhousplat, spe_lh, le_hypv);
6017 GEN_OP_SPE_LHX(user);
6018 GEN_OP_SPE_LHX(kernel);
6019 GEN_OP_SPE_LHX(hypv);
6020 GEN_SPE_LDSPLAT(hhossplat, spe_lhx, user);
6021 GEN_SPE_LDSPLAT(hhossplat, spe_lhx, kernel);
6022 GEN_SPE_LDSPLAT(hhossplat, spe_lhx, hypv);
6023 GEN_OP_SPE_LHX(le_user);
6024 GEN_OP_SPE_LHX(le_kernel);
6025 GEN_OP_SPE_LHX(le_hypv);
6026 GEN_SPE_LDSPLAT(hhossplat, spe_lhx, le_user);
6027 GEN_SPE_LDSPLAT(hhossplat, spe_lhx, le_kernel);
6028 GEN_SPE_LDSPLAT(hhossplat, spe_lhx, le_hypv);
6029 #if defined(TARGET_PPC64)
6030 GEN_OP_SPE_LHE(64_user);
6031 GEN_OP_SPE_LHE(64_kernel);
6032 GEN_OP_SPE_LHE(64_hypv);
6033 GEN_SPE_LDSPLAT(hhesplat, spe_lhe, 64_user);
6034 GEN_SPE_LDSPLAT(hhesplat, spe_lhe, 64_kernel);
6035 GEN_SPE_LDSPLAT(hhesplat, spe_lhe, 64_hypv);
6036 GEN_OP_SPE_LHE(le_64_user);
6037 GEN_OP_SPE_LHE(le_64_kernel);
6038 GEN_OP_SPE_LHE(le_64_hypv);
6039 GEN_SPE_LDSPLAT(hhesplat, spe_lhe, le_64_user);
6040 GEN_SPE_LDSPLAT(hhesplat, spe_lhe, le_64_kernel);
6041 GEN_SPE_LDSPLAT(hhesplat, spe_lhe, le_64_hypv);
6042 GEN_SPE_LDSPLAT(hhousplat, spe_lh, 64_user);
6043 GEN_SPE_LDSPLAT(hhousplat, spe_lh, 64_kernel);
6044 GEN_SPE_LDSPLAT(hhousplat, spe_lh, 64_hypv);
6045 GEN_SPE_LDSPLAT(hhousplat, spe_lh, le_64_user);
6046 GEN_SPE_LDSPLAT(hhousplat, spe_lh, le_64_kernel);
6047 GEN_SPE_LDSPLAT(hhousplat, spe_lh, le_64_hypv);
6048 GEN_OP_SPE_LHX(64_user);
6049 GEN_OP_SPE_LHX(64_kernel);
6050 GEN_OP_SPE_LHX(64_hypv);
6051 GEN_SPE_LDSPLAT(hhossplat, spe_lhx, 64_user);
6052 GEN_SPE_LDSPLAT(hhossplat, spe_lhx, 64_kernel);
6053 GEN_SPE_LDSPLAT(hhossplat, spe_lhx, 64_hypv);
6054 GEN_OP_SPE_LHX(le_64_user);
6055 GEN_OP_SPE_LHX(le_64_kernel);
6056 GEN_OP_SPE_LHX(le_64_hypv);
6057 GEN_SPE_LDSPLAT(hhossplat, spe_lhx, le_64_user);
6058 GEN_SPE_LDSPLAT(hhossplat, spe_lhx, le_64_kernel);
6059 GEN_SPE_LDSPLAT(hhossplat, spe_lhx, le_64_hypv);
6060 #endif
6061 #endif
6062 GEN_SPEOP_LD(hhesplat, 1);
6063 GEN_SPEOP_LD(hhousplat, 1);
6064 GEN_SPEOP_LD(hhossplat, 1);
6065 GEN_SPEOP_LD(wwsplat, 2);
6066 GEN_SPEOP_LD(whsplat, 2);
6067
6068 GEN_SPE(evlddx,         evldd,         0x00, 0x0C, 0x00000000, PPC_SPE); //
6069 GEN_SPE(evldwx,         evldw,         0x01, 0x0C, 0x00000000, PPC_SPE); //
6070 GEN_SPE(evldhx,         evldh,         0x02, 0x0C, 0x00000000, PPC_SPE); //
6071 GEN_SPE(evlhhesplatx,   evlhhesplat,   0x04, 0x0C, 0x00000000, PPC_SPE); //
6072 GEN_SPE(evlhhousplatx,  evlhhousplat,  0x06, 0x0C, 0x00000000, PPC_SPE); //
6073 GEN_SPE(evlhhossplatx,  evlhhossplat,  0x07, 0x0C, 0x00000000, PPC_SPE); //
6074 GEN_SPE(evlwhex,        evlwhe,        0x08, 0x0C, 0x00000000, PPC_SPE); //
6075 GEN_SPE(evlwhoux,       evlwhou,       0x0A, 0x0C, 0x00000000, PPC_SPE); //
6076 GEN_SPE(evlwhosx,       evlwhos,       0x0B, 0x0C, 0x00000000, PPC_SPE); //
6077 GEN_SPE(evlwwsplatx,    evlwwsplat,    0x0C, 0x0C, 0x00000000, PPC_SPE); //
6078 GEN_SPE(evlwhsplatx,    evlwhsplat,    0x0E, 0x0C, 0x00000000, PPC_SPE); //
6079 GEN_SPE(evstddx,        evstdd,        0x10, 0x0C, 0x00000000, PPC_SPE); //
6080 GEN_SPE(evstdwx,        evstdw,        0x11, 0x0C, 0x00000000, PPC_SPE); //
6081 GEN_SPE(evstdhx,        evstdh,        0x12, 0x0C, 0x00000000, PPC_SPE); //
6082 GEN_SPE(evstwhex,       evstwhe,       0x18, 0x0C, 0x00000000, PPC_SPE); //
6083 GEN_SPE(evstwhox,       evstwho,       0x1A, 0x0C, 0x00000000, PPC_SPE); //
6084 GEN_SPE(evstwwex,       evstwwe,       0x1C, 0x0C, 0x00000000, PPC_SPE); //
6085 GEN_SPE(evstwwox,       evstwwo,       0x1E, 0x0C, 0x00000000, PPC_SPE); //
6086
6087 /* Multiply and add - TODO */
6088 #if 0
6089 GEN_SPE(speundef,       evmhessf,      0x01, 0x10, 0x00000000, PPC_SPE);
6090 GEN_SPE(speundef,       evmhossf,      0x03, 0x10, 0x00000000, PPC_SPE);
6091 GEN_SPE(evmheumi,       evmhesmi,      0x04, 0x10, 0x00000000, PPC_SPE);
6092 GEN_SPE(speundef,       evmhesmf,      0x05, 0x10, 0x00000000, PPC_SPE);
6093 GEN_SPE(evmhoumi,       evmhosmi,      0x06, 0x10, 0x00000000, PPC_SPE);
6094 GEN_SPE(speundef,       evmhosmf,      0x07, 0x10, 0x00000000, PPC_SPE);
6095 GEN_SPE(speundef,       evmhessfa,     0x11, 0x10, 0x00000000, PPC_SPE);
6096 GEN_SPE(speundef,       evmhossfa,     0x13, 0x10, 0x00000000, PPC_SPE);
6097 GEN_SPE(evmheumia,      evmhesmia,     0x14, 0x10, 0x00000000, PPC_SPE);
6098 GEN_SPE(speundef,       evmhesmfa,     0x15, 0x10, 0x00000000, PPC_SPE);
6099 GEN_SPE(evmhoumia,      evmhosmia,     0x16, 0x10, 0x00000000, PPC_SPE);
6100 GEN_SPE(speundef,       evmhosmfa,     0x17, 0x10, 0x00000000, PPC_SPE);
6101
6102 GEN_SPE(speundef,       evmwhssf,      0x03, 0x11, 0x00000000, PPC_SPE);
6103 GEN_SPE(evmwlumi,       speundef,      0x04, 0x11, 0x00000000, PPC_SPE);
6104 GEN_SPE(evmwhumi,       evmwhsmi,      0x06, 0x11, 0x00000000, PPC_SPE);
6105 GEN_SPE(speundef,       evmwhsmf,      0x07, 0x11, 0x00000000, PPC_SPE);
6106 GEN_SPE(speundef,       evmwssf,       0x09, 0x11, 0x00000000, PPC_SPE);
6107 GEN_SPE(evmwumi,        evmwsmi,       0x0C, 0x11, 0x00000000, PPC_SPE);
6108 GEN_SPE(speundef,       evmwsmf,       0x0D, 0x11, 0x00000000, PPC_SPE);
6109 GEN_SPE(speundef,       evmwhssfa,     0x13, 0x11, 0x00000000, PPC_SPE);
6110 GEN_SPE(evmwlumia,      speundef,      0x14, 0x11, 0x00000000, PPC_SPE);
6111 GEN_SPE(evmwhumia,      evmwhsmia,     0x16, 0x11, 0x00000000, PPC_SPE);
6112 GEN_SPE(speundef,       evmwhsmfa,     0x17, 0x11, 0x00000000, PPC_SPE);
6113 GEN_SPE(speundef,       evmwssfa,      0x19, 0x11, 0x00000000, PPC_SPE);
6114 GEN_SPE(evmwumia,       evmwsmia,      0x1C, 0x11, 0x00000000, PPC_SPE);
6115 GEN_SPE(speundef,       evmwsmfa,      0x1D, 0x11, 0x00000000, PPC_SPE);
6116
6117 GEN_SPE(evadduiaaw,     evaddsiaaw,    0x00, 0x13, 0x0000F800, PPC_SPE);
6118 GEN_SPE(evsubfusiaaw,   evsubfssiaaw,  0x01, 0x13, 0x0000F800, PPC_SPE);
6119 GEN_SPE(evaddumiaaw,    evaddsmiaaw,   0x04, 0x13, 0x0000F800, PPC_SPE);
6120 GEN_SPE(evsubfumiaaw,   evsubfsmiaaw,  0x05, 0x13, 0x0000F800, PPC_SPE);
6121 GEN_SPE(evdivws,        evdivwu,       0x06, 0x13, 0x00000000, PPC_SPE);
6122 GEN_SPE(evmra,          speundef,      0x07, 0x13, 0x0000F800, PPC_SPE);
6123
6124 GEN_SPE(evmheusiaaw,    evmhessiaaw,   0x00, 0x14, 0x00000000, PPC_SPE);
6125 GEN_SPE(speundef,       evmhessfaaw,   0x01, 0x14, 0x00000000, PPC_SPE);
6126 GEN_SPE(evmhousiaaw,    evmhossiaaw,   0x02, 0x14, 0x00000000, PPC_SPE);
6127 GEN_SPE(speundef,       evmhossfaaw,   0x03, 0x14, 0x00000000, PPC_SPE);
6128 GEN_SPE(evmheumiaaw,    evmhesmiaaw,   0x04, 0x14, 0x00000000, PPC_SPE);
6129 GEN_SPE(speundef,       evmhesmfaaw,   0x05, 0x14, 0x00000000, PPC_SPE);
6130 GEN_SPE(evmhoumiaaw,    evmhosmiaaw,   0x06, 0x14, 0x00000000, PPC_SPE);
6131 GEN_SPE(speundef,       evmhosmfaaw,   0x07, 0x14, 0x00000000, PPC_SPE);
6132 GEN_SPE(evmhegumiaa,    evmhegsmiaa,   0x14, 0x14, 0x00000000, PPC_SPE);
6133 GEN_SPE(speundef,       evmhegsmfaa,   0x15, 0x14, 0x00000000, PPC_SPE);
6134 GEN_SPE(evmhogumiaa,    evmhogsmiaa,   0x16, 0x14, 0x00000000, PPC_SPE);
6135 GEN_SPE(speundef,       evmhogsmfaa,   0x17, 0x14, 0x00000000, PPC_SPE);
6136
6137 GEN_SPE(evmwlusiaaw,    evmwlssiaaw,   0x00, 0x15, 0x00000000, PPC_SPE);
6138 GEN_SPE(evmwlumiaaw,    evmwlsmiaaw,   0x04, 0x15, 0x00000000, PPC_SPE);
6139 GEN_SPE(speundef,       evmwssfaa,     0x09, 0x15, 0x00000000, PPC_SPE);
6140 GEN_SPE(evmwumiaa,      evmwsmiaa,     0x0C, 0x15, 0x00000000, PPC_SPE);
6141 GEN_SPE(speundef,       evmwsmfaa,     0x0D, 0x15, 0x00000000, PPC_SPE);
6142
6143 GEN_SPE(evmheusianw,    evmhessianw,   0x00, 0x16, 0x00000000, PPC_SPE);
6144 GEN_SPE(speundef,       evmhessfanw,   0x01, 0x16, 0x00000000, PPC_SPE);
6145 GEN_SPE(evmhousianw,    evmhossianw,   0x02, 0x16, 0x00000000, PPC_SPE);
6146 GEN_SPE(speundef,       evmhossfanw,   0x03, 0x16, 0x00000000, PPC_SPE);
6147 GEN_SPE(evmheumianw,    evmhesmianw,   0x04, 0x16, 0x00000000, PPC_SPE);
6148 GEN_SPE(speundef,       evmhesmfanw,   0x05, 0x16, 0x00000000, PPC_SPE);
6149 GEN_SPE(evmhoumianw,    evmhosmianw,   0x06, 0x16, 0x00000000, PPC_SPE);
6150 GEN_SPE(speundef,       evmhosmfanw,   0x07, 0x16, 0x00000000, PPC_SPE);
6151 GEN_SPE(evmhegumian,    evmhegsmian,   0x14, 0x16, 0x00000000, PPC_SPE);
6152 GEN_SPE(speundef,       evmhegsmfan,   0x15, 0x16, 0x00000000, PPC_SPE);
6153 GEN_SPE(evmhigumian,    evmhigsmian,   0x16, 0x16, 0x00000000, PPC_SPE);
6154 GEN_SPE(speundef,       evmhogsmfan,   0x17, 0x16, 0x00000000, PPC_SPE);
6155
6156 GEN_SPE(evmwlusianw,    evmwlssianw,   0x00, 0x17, 0x00000000, PPC_SPE);
6157 GEN_SPE(evmwlumianw,    evmwlsmianw,   0x04, 0x17, 0x00000000, PPC_SPE);
6158 GEN_SPE(speundef,       evmwssfan,     0x09, 0x17, 0x00000000, PPC_SPE);
6159 GEN_SPE(evmwumian,      evmwsmian,     0x0C, 0x17, 0x00000000, PPC_SPE);
6160 GEN_SPE(speundef,       evmwsmfan,     0x0D, 0x17, 0x00000000, PPC_SPE);
6161 #endif
6162
6163 /***                      SPE floating-point extension                     ***/
6164 #define GEN_SPEFPUOP_CONV(name)                                               \
6165 static always_inline void gen_##name (DisasContext *ctx)                      \
6166 {                                                                             \
6167     gen_load_gpr64(cpu_T64[0], rB(ctx->opcode));                              \
6168     gen_op_##name();                                                          \
6169     gen_store_gpr64(rD(ctx->opcode), cpu_T64[0]);                             \
6170 }
6171
6172 /* Single precision floating-point vectors operations */
6173 /* Arithmetic */
6174 GEN_SPEOP_ARITH2(evfsadd);
6175 GEN_SPEOP_ARITH2(evfssub);
6176 GEN_SPEOP_ARITH2(evfsmul);
6177 GEN_SPEOP_ARITH2(evfsdiv);
6178 GEN_SPEOP_ARITH1(evfsabs);
6179 GEN_SPEOP_ARITH1(evfsnabs);
6180 GEN_SPEOP_ARITH1(evfsneg);
6181 /* Conversion */
6182 GEN_SPEFPUOP_CONV(evfscfui);
6183 GEN_SPEFPUOP_CONV(evfscfsi);
6184 GEN_SPEFPUOP_CONV(evfscfuf);
6185 GEN_SPEFPUOP_CONV(evfscfsf);
6186 GEN_SPEFPUOP_CONV(evfsctui);
6187 GEN_SPEFPUOP_CONV(evfsctsi);
6188 GEN_SPEFPUOP_CONV(evfsctuf);
6189 GEN_SPEFPUOP_CONV(evfsctsf);
6190 GEN_SPEFPUOP_CONV(evfsctuiz);
6191 GEN_SPEFPUOP_CONV(evfsctsiz);
6192 /* Comparison */
6193 GEN_SPEOP_COMP(evfscmpgt);
6194 GEN_SPEOP_COMP(evfscmplt);
6195 GEN_SPEOP_COMP(evfscmpeq);
6196 GEN_SPEOP_COMP(evfststgt);
6197 GEN_SPEOP_COMP(evfststlt);
6198 GEN_SPEOP_COMP(evfststeq);
6199
6200 /* Opcodes definitions */
6201 GEN_SPE(evfsadd,        evfssub,       0x00, 0x0A, 0x00000000, PPC_SPEFPU); //
6202 GEN_SPE(evfsabs,        evfsnabs,      0x02, 0x0A, 0x0000F800, PPC_SPEFPU); //
6203 GEN_SPE(evfsneg,        speundef,      0x03, 0x0A, 0x0000F800, PPC_SPEFPU); //
6204 GEN_SPE(evfsmul,        evfsdiv,       0x04, 0x0A, 0x00000000, PPC_SPEFPU); //
6205 GEN_SPE(evfscmpgt,      evfscmplt,     0x06, 0x0A, 0x00600000, PPC_SPEFPU); //
6206 GEN_SPE(evfscmpeq,      speundef,      0x07, 0x0A, 0x00600000, PPC_SPEFPU); //
6207 GEN_SPE(evfscfui,       evfscfsi,      0x08, 0x0A, 0x00180000, PPC_SPEFPU); //
6208 GEN_SPE(evfscfuf,       evfscfsf,      0x09, 0x0A, 0x00180000, PPC_SPEFPU); //
6209 GEN_SPE(evfsctui,       evfsctsi,      0x0A, 0x0A, 0x00180000, PPC_SPEFPU); //
6210 GEN_SPE(evfsctuf,       evfsctsf,      0x0B, 0x0A, 0x00180000, PPC_SPEFPU); //
6211 GEN_SPE(evfsctuiz,      speundef,      0x0C, 0x0A, 0x00180000, PPC_SPEFPU); //
6212 GEN_SPE(evfsctsiz,      speundef,      0x0D, 0x0A, 0x00180000, PPC_SPEFPU); //
6213 GEN_SPE(evfststgt,      evfststlt,     0x0E, 0x0A, 0x00600000, PPC_SPEFPU); //
6214 GEN_SPE(evfststeq,      speundef,      0x0F, 0x0A, 0x00600000, PPC_SPEFPU); //
6215
6216 /* Single precision floating-point operations */
6217 /* Arithmetic */
6218 GEN_SPEOP_ARITH2(efsadd);
6219 GEN_SPEOP_ARITH2(efssub);
6220 GEN_SPEOP_ARITH2(efsmul);
6221 GEN_SPEOP_ARITH2(efsdiv);
6222 GEN_SPEOP_ARITH1(efsabs);
6223 GEN_SPEOP_ARITH1(efsnabs);
6224 GEN_SPEOP_ARITH1(efsneg);
6225 /* Conversion */
6226 GEN_SPEFPUOP_CONV(efscfui);
6227 GEN_SPEFPUOP_CONV(efscfsi);
6228 GEN_SPEFPUOP_CONV(efscfuf);
6229 GEN_SPEFPUOP_CONV(efscfsf);
6230 GEN_SPEFPUOP_CONV(efsctui);
6231 GEN_SPEFPUOP_CONV(efsctsi);
6232 GEN_SPEFPUOP_CONV(efsctuf);
6233 GEN_SPEFPUOP_CONV(efsctsf);
6234 GEN_SPEFPUOP_CONV(efsctuiz);
6235 GEN_SPEFPUOP_CONV(efsctsiz);
6236 GEN_SPEFPUOP_CONV(efscfd);
6237 /* Comparison */
6238 GEN_SPEOP_COMP(efscmpgt);
6239 GEN_SPEOP_COMP(efscmplt);
6240 GEN_SPEOP_COMP(efscmpeq);
6241 GEN_SPEOP_COMP(efststgt);
6242 GEN_SPEOP_COMP(efststlt);
6243 GEN_SPEOP_COMP(efststeq);
6244
6245 /* Opcodes definitions */
6246 GEN_SPE(efsadd,         efssub,        0x00, 0x0B, 0x00000000, PPC_SPEFPU); //
6247 GEN_SPE(efsabs,         efsnabs,       0x02, 0x0B, 0x0000F800, PPC_SPEFPU); //
6248 GEN_SPE(efsneg,         speundef,      0x03, 0x0B, 0x0000F800, PPC_SPEFPU); //
6249 GEN_SPE(efsmul,         efsdiv,        0x04, 0x0B, 0x00000000, PPC_SPEFPU); //
6250 GEN_SPE(efscmpgt,       efscmplt,      0x06, 0x0B, 0x00600000, PPC_SPEFPU); //
6251 GEN_SPE(efscmpeq,       efscfd,        0x07, 0x0B, 0x00600000, PPC_SPEFPU); //
6252 GEN_SPE(efscfui,        efscfsi,       0x08, 0x0B, 0x00180000, PPC_SPEFPU); //
6253 GEN_SPE(efscfuf,        efscfsf,       0x09, 0x0B, 0x00180000, PPC_SPEFPU); //
6254 GEN_SPE(efsctui,        efsctsi,       0x0A, 0x0B, 0x00180000, PPC_SPEFPU); //
6255 GEN_SPE(efsctuf,        efsctsf,       0x0B, 0x0B, 0x00180000, PPC_SPEFPU); //
6256 GEN_SPE(efsctuiz,       speundef,      0x0C, 0x0B, 0x00180000, PPC_SPEFPU); //
6257 GEN_SPE(efsctsiz,       speundef,      0x0D, 0x0B, 0x00180000, PPC_SPEFPU); //
6258 GEN_SPE(efststgt,       efststlt,      0x0E, 0x0B, 0x00600000, PPC_SPEFPU); //
6259 GEN_SPE(efststeq,       speundef,      0x0F, 0x0B, 0x00600000, PPC_SPEFPU); //
6260
6261 /* Double precision floating-point operations */
6262 /* Arithmetic */
6263 GEN_SPEOP_ARITH2(efdadd);
6264 GEN_SPEOP_ARITH2(efdsub);
6265 GEN_SPEOP_ARITH2(efdmul);
6266 GEN_SPEOP_ARITH2(efddiv);
6267 GEN_SPEOP_ARITH1(efdabs);
6268 GEN_SPEOP_ARITH1(efdnabs);
6269 GEN_SPEOP_ARITH1(efdneg);
6270 /* Conversion */
6271
6272 GEN_SPEFPUOP_CONV(efdcfui);
6273 GEN_SPEFPUOP_CONV(efdcfsi);
6274 GEN_SPEFPUOP_CONV(efdcfuf);
6275 GEN_SPEFPUOP_CONV(efdcfsf);
6276 GEN_SPEFPUOP_CONV(efdctui);
6277 GEN_SPEFPUOP_CONV(efdctsi);
6278 GEN_SPEFPUOP_CONV(efdctuf);
6279 GEN_SPEFPUOP_CONV(efdctsf);
6280 GEN_SPEFPUOP_CONV(efdctuiz);
6281 GEN_SPEFPUOP_CONV(efdctsiz);
6282 GEN_SPEFPUOP_CONV(efdcfs);
6283 GEN_SPEFPUOP_CONV(efdcfuid);
6284 GEN_SPEFPUOP_CONV(efdcfsid);
6285 GEN_SPEFPUOP_CONV(efdctuidz);
6286 GEN_SPEFPUOP_CONV(efdctsidz);
6287 /* Comparison */
6288 GEN_SPEOP_COMP(efdcmpgt);
6289 GEN_SPEOP_COMP(efdcmplt);
6290 GEN_SPEOP_COMP(efdcmpeq);
6291 GEN_SPEOP_COMP(efdtstgt);
6292 GEN_SPEOP_COMP(efdtstlt);
6293 GEN_SPEOP_COMP(efdtsteq);
6294
6295 /* Opcodes definitions */
6296 GEN_SPE(efdadd,         efdsub,        0x10, 0x0B, 0x00000000, PPC_SPEFPU); //
6297 GEN_SPE(efdcfuid,       efdcfsid,      0x11, 0x0B, 0x00180000, PPC_SPEFPU); //
6298 GEN_SPE(efdabs,         efdnabs,       0x12, 0x0B, 0x0000F800, PPC_SPEFPU); //
6299 GEN_SPE(efdneg,         speundef,      0x13, 0x0B, 0x0000F800, PPC_SPEFPU); //
6300 GEN_SPE(efdmul,         efddiv,        0x14, 0x0B, 0x00000000, PPC_SPEFPU); //
6301 GEN_SPE(efdctuidz,      efdctsidz,     0x15, 0x0B, 0x00180000, PPC_SPEFPU); //
6302 GEN_SPE(efdcmpgt,       efdcmplt,      0x16, 0x0B, 0x00600000, PPC_SPEFPU); //
6303 GEN_SPE(efdcmpeq,       efdcfs,        0x17, 0x0B, 0x00600000, PPC_SPEFPU); //
6304 GEN_SPE(efdcfui,        efdcfsi,       0x18, 0x0B, 0x00180000, PPC_SPEFPU); //
6305 GEN_SPE(efdcfuf,        efdcfsf,       0x19, 0x0B, 0x00180000, PPC_SPEFPU); //
6306 GEN_SPE(efdctui,        efdctsi,       0x1A, 0x0B, 0x00180000, PPC_SPEFPU); //
6307 GEN_SPE(efdctuf,        efdctsf,       0x1B, 0x0B, 0x00180000, PPC_SPEFPU); //
6308 GEN_SPE(efdctuiz,       speundef,      0x1C, 0x0B, 0x00180000, PPC_SPEFPU); //
6309 GEN_SPE(efdctsiz,       speundef,      0x1D, 0x0B, 0x00180000, PPC_SPEFPU); //
6310 GEN_SPE(efdtstgt,       efdtstlt,      0x1E, 0x0B, 0x00600000, PPC_SPEFPU); //
6311 GEN_SPE(efdtsteq,       speundef,      0x1F, 0x0B, 0x00600000, PPC_SPEFPU); //
6312
6313 /* End opcode list */
6314 GEN_OPCODE_MARK(end);
6315
6316 #include "translate_init.c"
6317 #include "helper_regs.h"
6318
6319 /*****************************************************************************/
6320 /* Misc PowerPC helpers */
6321 void cpu_dump_state (CPUState *env, FILE *f,
6322                      int (*cpu_fprintf)(FILE *f, const char *fmt, ...),
6323                      int flags)
6324 {
6325 #define RGPL  4
6326 #define RFPL  4
6327
6328     int i;
6329
6330     cpu_fprintf(f, "NIP " ADDRX "   LR " ADDRX " CTR " ADDRX " XER %08x\n",
6331                 env->nip, env->lr, env->ctr, hreg_load_xer(env));
6332     cpu_fprintf(f, "MSR " ADDRX " HID0 " ADDRX "  HF " ADDRX " idx %d\n",
6333                 env->msr, env->spr[SPR_HID0], env->hflags, env->mmu_idx);
6334 #if !defined(NO_TIMER_DUMP)
6335     cpu_fprintf(f, "TB %08x %08x "
6336 #if !defined(CONFIG_USER_ONLY)
6337                 "DECR %08x"
6338 #endif
6339                 "\n",
6340                 cpu_ppc_load_tbu(env), cpu_ppc_load_tbl(env)
6341 #if !defined(CONFIG_USER_ONLY)
6342                 , cpu_ppc_load_decr(env)
6343 #endif
6344                 );
6345 #endif
6346     for (i = 0; i < 32; i++) {
6347         if ((i & (RGPL - 1)) == 0)
6348             cpu_fprintf(f, "GPR%02d", i);
6349         cpu_fprintf(f, " " REGX, ppc_dump_gpr(env, i));
6350         if ((i & (RGPL - 1)) == (RGPL - 1))
6351             cpu_fprintf(f, "\n");
6352     }
6353     cpu_fprintf(f, "CR ");
6354     for (i = 0; i < 8; i++)
6355         cpu_fprintf(f, "%01x", env->crf[i]);
6356     cpu_fprintf(f, "  [");
6357     for (i = 0; i < 8; i++) {
6358         char a = '-';
6359         if (env->crf[i] & 0x08)
6360             a = 'L';
6361         else if (env->crf[i] & 0x04)
6362             a = 'G';
6363         else if (env->crf[i] & 0x02)
6364             a = 'E';
6365         cpu_fprintf(f, " %c%c", a, env->crf[i] & 0x01 ? 'O' : ' ');
6366     }
6367     cpu_fprintf(f, " ]             RES " ADDRX "\n", env->reserve);
6368     for (i = 0; i < 32; i++) {
6369         if ((i & (RFPL - 1)) == 0)
6370             cpu_fprintf(f, "FPR%02d", i);
6371         cpu_fprintf(f, " %016" PRIx64, *((uint64_t *)&env->fpr[i]));
6372         if ((i & (RFPL - 1)) == (RFPL - 1))
6373             cpu_fprintf(f, "\n");
6374     }
6375 #if !defined(CONFIG_USER_ONLY)
6376     cpu_fprintf(f, "SRR0 " ADDRX " SRR1 " ADDRX " SDR1 " ADDRX "\n",
6377                 env->spr[SPR_SRR0], env->spr[SPR_SRR1], env->sdr1);
6378 #endif
6379
6380 #undef RGPL
6381 #undef RFPL
6382 }
6383
6384 void cpu_dump_statistics (CPUState *env, FILE*f,
6385                           int (*cpu_fprintf)(FILE *f, const char *fmt, ...),
6386                           int flags)
6387 {
6388 #if defined(DO_PPC_STATISTICS)
6389     opc_handler_t **t1, **t2, **t3, *handler;
6390     int op1, op2, op3;
6391
6392     t1 = env->opcodes;
6393     for (op1 = 0; op1 < 64; op1++) {
6394         handler = t1[op1];
6395         if (is_indirect_opcode(handler)) {
6396             t2 = ind_table(handler);
6397             for (op2 = 0; op2 < 32; op2++) {
6398                 handler = t2[op2];
6399                 if (is_indirect_opcode(handler)) {
6400                     t3 = ind_table(handler);
6401                     for (op3 = 0; op3 < 32; op3++) {
6402                         handler = t3[op3];
6403                         if (handler->count == 0)
6404                             continue;
6405                         cpu_fprintf(f, "%02x %02x %02x (%02x %04d) %16s: "
6406                                     "%016llx %lld\n",
6407                                     op1, op2, op3, op1, (op3 << 5) | op2,
6408                                     handler->oname,
6409                                     handler->count, handler->count);
6410                     }
6411                 } else {
6412                     if (handler->count == 0)
6413                         continue;
6414                     cpu_fprintf(f, "%02x %02x    (%02x %04d) %16s: "
6415                                 "%016llx %lld\n",
6416                                 op1, op2, op1, op2, handler->oname,
6417                                 handler->count, handler->count);
6418                 }
6419             }
6420         } else {
6421             if (handler->count == 0)
6422                 continue;
6423             cpu_fprintf(f, "%02x       (%02x     ) %16s: %016llx %lld\n",
6424                         op1, op1, handler->oname,
6425                         handler->count, handler->count);
6426         }
6427     }
6428 #endif
6429 }
6430
6431 /*****************************************************************************/
6432 static always_inline void gen_intermediate_code_internal (CPUState *env,
6433                                                           TranslationBlock *tb,
6434                                                           int search_pc)
6435 {
6436     DisasContext ctx, *ctxp = &ctx;
6437     opc_handler_t **table, *handler;
6438     target_ulong pc_start;
6439     uint16_t *gen_opc_end;
6440     int supervisor, little_endian;
6441     int j, lj = -1;
6442     int num_insns;
6443     int max_insns;
6444
6445     pc_start = tb->pc;
6446     gen_opc_end = gen_opc_buf + OPC_MAX_SIZE;
6447 #if defined(OPTIMIZE_FPRF_UPDATE)
6448     gen_fprf_ptr = gen_fprf_buf;
6449 #endif
6450     ctx.nip = pc_start;
6451     ctx.tb = tb;
6452     ctx.exception = POWERPC_EXCP_NONE;
6453     ctx.spr_cb = env->spr_cb;
6454     supervisor = env->mmu_idx;
6455 #if !defined(CONFIG_USER_ONLY)
6456     ctx.supervisor = supervisor;
6457 #endif
6458     little_endian = env->hflags & (1 << MSR_LE) ? 1 : 0;
6459 #if defined(TARGET_PPC64)
6460     ctx.sf_mode = msr_sf;
6461     ctx.mem_idx = (supervisor << 2) | (msr_sf << 1) | little_endian;
6462 #else
6463     ctx.mem_idx = (supervisor << 1) | little_endian;
6464 #endif
6465     ctx.dcache_line_size = env->dcache_line_size;
6466     ctx.fpu_enabled = msr_fp;
6467     if ((env->flags & POWERPC_FLAG_SPE) && msr_spe)
6468         ctx.spe_enabled = msr_spe;
6469     else
6470         ctx.spe_enabled = 0;
6471     if ((env->flags & POWERPC_FLAG_VRE) && msr_vr)
6472         ctx.altivec_enabled = msr_vr;
6473     else
6474         ctx.altivec_enabled = 0;
6475     if ((env->flags & POWERPC_FLAG_SE) && msr_se)
6476         ctx.singlestep_enabled = CPU_SINGLE_STEP;
6477     else
6478         ctx.singlestep_enabled = 0;
6479     if ((env->flags & POWERPC_FLAG_BE) && msr_be)
6480         ctx.singlestep_enabled |= CPU_BRANCH_STEP;
6481     if (unlikely(env->singlestep_enabled))
6482         ctx.singlestep_enabled |= GDBSTUB_SINGLE_STEP;
6483 #if defined (DO_SINGLE_STEP) && 0
6484     /* Single step trace mode */
6485     msr_se = 1;
6486 #endif
6487     num_insns = 0;
6488     max_insns = tb->cflags & CF_COUNT_MASK;
6489     if (max_insns == 0)
6490         max_insns = CF_COUNT_MASK;
6491
6492     gen_icount_start();
6493     /* Set env in case of segfault during code fetch */
6494     while (ctx.exception == POWERPC_EXCP_NONE && gen_opc_ptr < gen_opc_end) {
6495         if (unlikely(env->nb_breakpoints > 0)) {
6496             for (j = 0; j < env->nb_breakpoints; j++) {
6497                 if (env->breakpoints[j] == ctx.nip) {
6498                     gen_update_nip(&ctx, ctx.nip);
6499                     gen_op_debug();
6500                     break;
6501                 }
6502             }
6503         }
6504         if (unlikely(search_pc)) {
6505             j = gen_opc_ptr - gen_opc_buf;
6506             if (lj < j) {
6507                 lj++;
6508                 while (lj < j)
6509                     gen_opc_instr_start[lj++] = 0;
6510                 gen_opc_pc[lj] = ctx.nip;
6511                 gen_opc_instr_start[lj] = 1;
6512                 gen_opc_icount[lj] = num_insns;
6513             }
6514         }
6515 #if defined PPC_DEBUG_DISAS
6516         if (loglevel & CPU_LOG_TB_IN_ASM) {
6517             fprintf(logfile, "----------------\n");
6518             fprintf(logfile, "nip=" ADDRX " super=%d ir=%d\n",
6519                     ctx.nip, supervisor, (int)msr_ir);
6520         }
6521 #endif
6522         if (num_insns + 1 == max_insns && (tb->cflags & CF_LAST_IO))
6523             gen_io_start();
6524         if (unlikely(little_endian)) {
6525             ctx.opcode = bswap32(ldl_code(ctx.nip));
6526         } else {
6527             ctx.opcode = ldl_code(ctx.nip);
6528         }
6529 #if defined PPC_DEBUG_DISAS
6530         if (loglevel & CPU_LOG_TB_IN_ASM) {
6531             fprintf(logfile, "translate opcode %08x (%02x %02x %02x) (%s)\n",
6532                     ctx.opcode, opc1(ctx.opcode), opc2(ctx.opcode),
6533                     opc3(ctx.opcode), little_endian ? "little" : "big");
6534         }
6535 #endif
6536         ctx.nip += 4;
6537         table = env->opcodes;
6538         num_insns++;
6539         handler = table[opc1(ctx.opcode)];
6540         if (is_indirect_opcode(handler)) {
6541             table = ind_table(handler);
6542             handler = table[opc2(ctx.opcode)];
6543             if (is_indirect_opcode(handler)) {
6544                 table = ind_table(handler);
6545                 handler = table[opc3(ctx.opcode)];
6546             }
6547         }
6548         /* Is opcode *REALLY* valid ? */
6549         if (unlikely(handler->handler == &gen_invalid)) {
6550             if (loglevel != 0) {
6551                 fprintf(logfile, "invalid/unsupported opcode: "
6552                         "%02x - %02x - %02x (%08x) " ADDRX " %d\n",
6553                         opc1(ctx.opcode), opc2(ctx.opcode),
6554                         opc3(ctx.opcode), ctx.opcode, ctx.nip - 4, (int)msr_ir);
6555             } else {
6556                 printf("invalid/unsupported opcode: "
6557                        "%02x - %02x - %02x (%08x) " ADDRX " %d\n",
6558                        opc1(ctx.opcode), opc2(ctx.opcode),
6559                        opc3(ctx.opcode), ctx.opcode, ctx.nip - 4, (int)msr_ir);
6560             }
6561         } else {
6562             if (unlikely((ctx.opcode & handler->inval) != 0)) {
6563                 if (loglevel != 0) {
6564                     fprintf(logfile, "invalid bits: %08x for opcode: "
6565                             "%02x - %02x - %02x (%08x) " ADDRX "\n",
6566                             ctx.opcode & handler->inval, opc1(ctx.opcode),
6567                             opc2(ctx.opcode), opc3(ctx.opcode),
6568                             ctx.opcode, ctx.nip - 4);
6569                 } else {
6570                     printf("invalid bits: %08x for opcode: "
6571                            "%02x - %02x - %02x (%08x) " ADDRX "\n",
6572                            ctx.opcode & handler->inval, opc1(ctx.opcode),
6573                            opc2(ctx.opcode), opc3(ctx.opcode),
6574                            ctx.opcode, ctx.nip - 4);
6575                 }
6576                 GEN_EXCP_INVAL(ctxp);
6577                 break;
6578             }
6579         }
6580         (*(handler->handler))(&ctx);
6581 #if defined(DO_PPC_STATISTICS)
6582         handler->count++;
6583 #endif
6584         /* Check trace mode exceptions */
6585         if (unlikely(ctx.singlestep_enabled & CPU_SINGLE_STEP &&
6586                      (ctx.nip <= 0x100 || ctx.nip > 0xF00) &&
6587                      ctx.exception != POWERPC_SYSCALL &&
6588                      ctx.exception != POWERPC_EXCP_TRAP &&
6589                      ctx.exception != POWERPC_EXCP_BRANCH)) {
6590             GEN_EXCP(ctxp, POWERPC_EXCP_TRACE, 0);
6591         } else if (unlikely(((ctx.nip & (TARGET_PAGE_SIZE - 1)) == 0) ||
6592                             (env->singlestep_enabled) ||
6593                             num_insns >= max_insns)) {
6594             /* if we reach a page boundary or are single stepping, stop
6595              * generation
6596              */
6597             break;
6598         }
6599 #if defined (DO_SINGLE_STEP)
6600         break;
6601 #endif
6602     }
6603     if (tb->cflags & CF_LAST_IO)
6604         gen_io_end();
6605     if (ctx.exception == POWERPC_EXCP_NONE) {
6606         gen_goto_tb(&ctx, 0, ctx.nip);
6607     } else if (ctx.exception != POWERPC_EXCP_BRANCH) {
6608         if (unlikely(env->singlestep_enabled)) {
6609             gen_update_nip(&ctx, ctx.nip);
6610             gen_op_debug();
6611         }
6612         /* Generate the return instruction */
6613         tcg_gen_exit_tb(0);
6614     }
6615     gen_icount_end(tb, num_insns);
6616     *gen_opc_ptr = INDEX_op_end;
6617     if (unlikely(search_pc)) {
6618         j = gen_opc_ptr - gen_opc_buf;
6619         lj++;
6620         while (lj <= j)
6621             gen_opc_instr_start[lj++] = 0;
6622     } else {
6623         tb->size = ctx.nip - pc_start;
6624         tb->icount = num_insns;
6625     }
6626 #if defined(DEBUG_DISAS)
6627     if (loglevel & CPU_LOG_TB_CPU) {
6628         fprintf(logfile, "---------------- excp: %04x\n", ctx.exception);
6629         cpu_dump_state(env, logfile, fprintf, 0);
6630     }
6631     if (loglevel & CPU_LOG_TB_IN_ASM) {
6632         int flags;
6633         flags = env->bfd_mach;
6634         flags |= little_endian << 16;
6635         fprintf(logfile, "IN: %s\n", lookup_symbol(pc_start));
6636         target_disas(logfile, pc_start, ctx.nip - pc_start, flags);
6637         fprintf(logfile, "\n");
6638     }
6639 #endif
6640 }
6641
6642 void gen_intermediate_code (CPUState *env, struct TranslationBlock *tb)
6643 {
6644     gen_intermediate_code_internal(env, tb, 0);
6645 }
6646
6647 void gen_intermediate_code_pc (CPUState *env, struct TranslationBlock *tb)
6648 {
6649     gen_intermediate_code_internal(env, tb, 1);
6650 }
6651
6652 void gen_pc_load(CPUState *env, TranslationBlock *tb,
6653                 unsigned long searched_pc, int pc_pos, void *puc)
6654 {
6655     int type, c;
6656     /* for PPC, we need to look at the micro operation to get the
6657      * access type */
6658     env->nip = gen_opc_pc[pc_pos];
6659     c = gen_opc_buf[pc_pos];
6660     switch(c) {
6661 #if defined(CONFIG_USER_ONLY)
6662 #define CASE3(op)\
6663     case INDEX_op_ ## op ## _raw
6664 #else
6665 #define CASE3(op)\
6666     case INDEX_op_ ## op ## _user:\
6667     case INDEX_op_ ## op ## _kernel:\
6668     case INDEX_op_ ## op ## _hypv
6669 #endif
6670
6671     CASE3(stfd):
6672     CASE3(stfs):
6673     CASE3(lfd):
6674     CASE3(lfs):
6675         type = ACCESS_FLOAT;
6676         break;
6677     CASE3(lwarx):
6678         type = ACCESS_RES;
6679         break;
6680     CASE3(stwcx):
6681         type = ACCESS_RES;
6682         break;
6683     CASE3(eciwx):
6684     CASE3(ecowx):
6685         type = ACCESS_EXT;
6686         break;
6687     default:
6688         type = ACCESS_INT;
6689         break;
6690     }
6691     env->access_type = type;
6692 }