lazytensor_bert_example_output.txt

Running bert.forward...

Metrics report:
Metric: IrValueTensorToDataHandle
  TotalSamples: 204
  Accumulator: 691.986us
  ValueRate: 286.386us / second
  Rate: 84.4275 / second
  Percentiles: 1%=002.259us; 5%=002.321us; 10%=002.397us; 20%=002.512us; 50%=002.801us; 80%=003.142us; 90%=003.314us; 95%=004.588us; 99%=014.209us
Counter: CreateLtcTensor
  Value: 1008
Counter: DestroyLtcTensor
  Value: 421
Counter: DeviceDataCacheMiss
  Value: 2
Counter: lazy::_copy_from
  Value: 277
Counter: lazy::_softmax
  Value: 12
Counter: lazy::add
  Value: 110
Counter: lazy::addmm
  Value: 2
Counter: lazy::bmm
  Value: 24
Counter: lazy::div
  Value: 12
Counter: lazy::expand
  Value: 49
Counter: lazy::fill_
  Value: 1
Counter: lazy::gelu
  Value: 12
Counter: lazy::index_select
  Value: 3
Counter: lazy::mm
  Value: 72
Counter: lazy::mul
  Value: 1
Counter: lazy::native_layer_norm
  Value: 25
Counter: lazy::permute
  Value: 48
Counter: lazy::select
  Value: 1
Counter: lazy::slice
  Value: 7
Counter: lazy::sub
  Value: 1
Counter: lazy::t
  Value: 74
Counter: lazy::tanh
  Value: 1
Counter: lazy::transpose
  Value: 12
Counter: lazy::unsqueeze
  Value: 2
Counter: lazy::view
  Value: 270

graph(%p0 : Tensor,
      %p1 : Tensor,
      %p2 : Tensor,
      %p3 : Tensor,
      %p4 : Tensor,
      %p5 : Tensor,
      %p6 : Tensor,
      %p7 : Tensor,
      %p8 : Tensor,
      %p9 : Tensor,
      %p10 : Tensor,
      %p11 : Tensor,
      %p12 : Tensor,
      %p13 : Tensor,
      %p14 : Tensor,
      %p15 : Tensor,
      %p16 : Tensor,
      %p17 : Tensor,
      %p18 : Tensor,
      %p19 : Tensor,
      %p20 : Tensor,
      %p21 : Tensor,
      %p22 : Tensor,
      %p23 : Tensor,
      %p24 : Tensor,
      %p25 : Tensor,
      %p26 : Tensor,
      %p27 : Tensor,
      %p28 : Tensor,
      %p29 : Tensor,
      %p30 : Tensor,
      %p31 : Tensor,
      %p32 : Tensor,
      %p33 : Tensor,
      %p34 : Tensor,
      %p35 : Tensor,
      %p36 : Tensor,
      %p37 : Tensor,
      %p38 : Tensor,
      %p39 : Tensor,
      %p40 : Tensor,
      %p41 : Tensor,
      %p42 : Tensor,
      %p43 : Tensor,
      %p44 : Tensor,
      %p45 : Tensor,
      %p46 : Tensor,
      %p47 : Tensor,
      %p48 : Tensor,
      %p49 : Tensor,
      %p50 : Tensor,
      %p51 : Tensor,
      %p52 : Tensor,
      %p53 : Tensor,
      %p54 : Tensor,
      %p55 : Tensor,
      %p56 : Tensor,
      %p57 : Tensor,
      %p58 : Tensor,
      %p59 : Tensor,
      %p60 : Tensor,
      %p61 : Tensor,
      %p62 : Tensor,
      %p63 : Tensor,
      %p64 : Tensor,
      %p65 : Tensor,
      %p66 : Tensor,
      %p67 : Tensor,
      %p68 : Tensor,
      %p69 : Tensor,
      %p70 : Tensor,
      %p71 : Tensor,
      %p72 : Tensor,
      %p73 : Tensor,
      %p74 : Tensor,
      %p75 : Tensor,
      %p76 : Tensor,
      %p77 : Tensor,
      %p78 : Tensor,
      %p79 : Tensor,
      %p80 : Tensor,
      %p81 : Tensor,
      %p82 : Tensor,
      %p83 : Tensor,
      %p84 : Tensor,
      %p85 : Tensor,
      %p86 : Tensor,
      %p87 : Tensor,
      %p88 : Tensor,
      %p89 : Tensor,
      %p90 : Tensor,
      %p91 : Tensor,
      %p92 : Tensor,
      %p93 : Tensor,
      %p94 : Tensor,
      %p95 : Tensor,
      %p96 : Tensor,
      %p97 : Tensor,
      %p98 : Tensor,
      %p99 : Tensor,
      %p100 : Tensor,
      %p101 : Tensor,
      %p102 : Tensor,
      %p103 : Tensor,
      %p104 : Tensor,
      %p105 : Tensor,
      %p106 : Tensor,
      %p107 : Tensor,
      %p108 : Tensor,
      %p109 : Tensor,
      %p110 : Tensor,
      %p111 : Tensor,
      %p112 : Tensor,
      %p113 : Tensor,
      %p114 : Tensor,
      %p115 : Tensor,
      %p116 : Tensor,
      %p117 : Tensor,
      %p118 : Tensor,
      %p119 : Tensor,
      %p120 : Tensor,
      %p121 : Tensor,
      %p122 : Tensor,
      %p123 : Tensor,
      %p124 : Tensor,
      %p125 : Tensor,
      %p126 : Tensor,
      %p127 : Tensor,
      %p128 : Tensor,
      %p129 : Tensor,
      %p130 : Tensor,
      %p131 : Tensor,
      %p132 : Tensor,
      %p133 : Tensor,
      %p134 : Tensor,
      %p135 : Tensor,
      %p136 : Tensor,
      %p137 : Tensor,
      %p138 : Tensor,
      %p139 : Tensor,
      %p140 : Tensor,
      %p141 : Tensor,
      %p142 : Tensor,
      %p143 : Tensor,
      %p144 : Tensor,
      %p145 : Tensor,
      %p146 : Tensor,
      %p147 : Tensor,
      %p148 : Tensor,
      %p149 : Tensor,
      %p150 : Tensor,
      %p151 : Tensor,
      %p152 : Tensor,
      %p153 : Tensor,
      %p154 : Tensor,
      %p155 : Tensor,
      %p156 : Tensor,
      %p157 : Tensor,
      %p158 : Tensor,
      %p159 : Tensor,
      %p160 : Tensor,
      %p161 : Tensor,
      %p162 : Tensor,
      %p163 : Tensor,
      %p164 : Tensor,
      %p165 : Tensor,
      %p166 : Tensor,
      %p167 : Tensor,
      %p168 : Tensor,
      %p169 : Tensor,
      %p170 : Tensor,
      %p171 : Tensor,
      %p172 : Tensor,
      %p173 : Tensor,
      %p174 : Tensor,
      %p175 : Tensor,
      %p176 : Tensor,
      %p177 : Tensor,
      %p178 : Tensor,
      %p179 : Tensor,
      %p180 : Tensor,
      %p181 : Tensor,
      %p182 : Tensor,
      %p183 : Tensor,
      %p184 : Tensor,
      %p185 : Tensor,
      %p186 : Tensor,
      %p187 : Tensor,
      %p188 : Tensor,
      %p189 : Tensor,
      %p190 : Tensor,
      %p191 : Tensor,
      %p192 : Tensor,
      %p193 : Tensor,
      %p194 : Tensor,
      %p195 : Tensor,
      %p196 : Tensor,
      %p197 : Tensor,
      %p198 : Tensor,
      %p199 : Tensor,
      %p200 : Tensor,
      %p201 : Tensor,
      %p202 : Tensor,
      %p203 : Tensor,
      %p204 : Tensor,
      %p205 : Tensor):
  %206 : int[] = prim::Constant[value=[1, 0]]()
  %207 : int[] = prim::Constant[value=[1, 0]]()
  %208 : Tensor = aten::permute(%p0, %207)
  %209 : int[] = prim::Constant[value=[1, 0]]()
  %210 : int[] = prim::Constant[value=[1, 0]]()
  %211 : Tensor = aten::permute(%p1, %210)
  %212 : int = prim::Constant[value=0]()
  %213 : int = prim::Constant[value=0]()
  %214 : int = prim::Constant[value=1]()
  %215 : int = prim::Constant[value=1]()
  %216 : Tensor = aten::slice(%p52, %212, %213, %214, %215)
  %217 : int = prim::Constant[value=1]()
  %218 : int = prim::Constant[value=0]()
  %219 : int = prim::Constant[value=7]()
  %220 : int = prim::Constant[value=1]()
  %221 : Tensor = aten::slice(%216, %217, %218, %219, %220)
  %222 : int[] = prim::Constant[value=[7]]()
  %223 : int[] = prim::Constant[value=[7]]()
  %224 : Tensor = aten::reshape(%221, %223)
  %225 : int = prim::Constant[value=0]()
  %226 : Tensor = aten::index_select(%p53, %225, %224)
  %227 : int[] = prim::Constant[value=[1, 7, 768]]()
  %228 : int[] = prim::Constant[value=[1, 7, 768]]()
  %229 : Tensor = aten::reshape(%226, %228)
  %230 : int = prim::Constant[value=0]()
  %231 : int = prim::Constant[value=0]()
  %232 : int = prim::Constant[value=1]()
  %233 : int = prim::Constant[value=1]()
  %234 : Tensor = aten::slice(%p54, %230, %231, %232, %233)
  %235 : int = prim::Constant[value=1]()
  %236 : int = prim::Constant[value=0]()
  %237 : int = prim::Constant[value=7]()
  %238 : int = prim::Constant[value=1]()
  %239 : Tensor = aten::slice(%234, %235, %236, %237, %238)
  %240 : int[] = prim::Constant[value=[1, 7]]()
  %241 : int[] = prim::Constant[value=[1, 7]]()
  %242 : bool = prim::Constant[value=0]()
  %243 : Tensor = aten::expand(%239, %241, %242)
  %244 : int[] = prim::Constant[value=[7]]()
  %245 : int[] = prim::Constant[value=[7]]()
  %246 : Tensor = aten::reshape(%243, %245)
  %247 : int = prim::Constant[value=0]()
  %248 : Tensor = aten::index_select(%p55, %247, %246)
  %249 : int[] = prim::Constant[value=[1, 7, 768]]()
  %250 : int[] = prim::Constant[value=[1, 7, 768]]()
  %251 : Tensor = aten::reshape(%248, %250)
  %252 : int[] = prim::Constant[value=[7]]()
  %253 : int[] = prim::Constant[value=[7]]()
  %254 : Tensor = aten::reshape(%p56, %253)
  %255 : int = prim::Constant[value=0]()
  %256 : Tensor = aten::index_select(%p57, %255, %254)
  %257 : int[] = prim::Constant[value=[1, 7, 768]]()
  %258 : int[] = prim::Constant[value=[1, 7, 768]]()
  %259 : Tensor = aten::reshape(%256, %258)
  %260 : int = prim::Constant[value=1]()
  %261 : Tensor = aten::add(%259, %251, %260)
  %262 : int = prim::Constant[value=1]()
  %263 : Tensor = aten::add(%261, %229, %262)
  %264 : int[] = prim::Constant[value=[768]]()
  %265 : float = prim::Constant[value=9.9999999999999998e-13]()
  %266 : Tensor, %267 : Tensor, %268 : Tensor = aten::native_layer_norm(%263, %264, %p51, %p50, %265)
  %269 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%266, %267, %268)
  %270 : int[] = prim::Constant[value=[1, 0]]()
  %271 : int[] = prim::Constant[value=[1, 0]]()
  %272 : Tensor = aten::permute(%p59, %271)
  %273 : int[] = prim::Constant[value=[1, 0]]()
  %274 : int[] = prim::Constant[value=[1, 0]]()
  %275 : Tensor = aten::permute(%p61, %274)
  %276 : int[] = prim::Constant[value=[7, 768]]()
  %277 : int[] = prim::Constant[value=[7, 768]]()
  %278 : Tensor = aten::reshape(%266, %277)
  %279 : Tensor = aten::mm(%278, %275)
  %280 : int[] = prim::Constant[value=[1, 7, 768]]()
  %281 : int[] = prim::Constant[value=[1, 7, 768]]()
  %282 : Tensor = aten::reshape(%279, %281)
  %283 : int = prim::Constant[value=1]()
  %284 : Tensor = aten::add(%282, %p60, %283)
  %285 : int[] = prim::Constant[value=[7, 768]]()
  %286 : int[] = prim::Constant[value=[7, 768]]()
  %287 : Tensor = aten::reshape(%284, %286)
  %288 : int[] = prim::Constant[value=[1, 7, 768]]()
  %289 : int[] = prim::Constant[value=[1, 7, 768]]()
  %290 : Tensor = aten::reshape(%287, %289)
  %291 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %292 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %293 : Tensor = aten::reshape(%290, %292)
  %294 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %295 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %296 : Tensor = aten::permute(%293, %295)
  %297 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %298 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %299 : bool = prim::Constant[value=0]()
  %300 : Tensor = aten::expand(%296, %298, %299)
  %301 : int[] = prim::Constant[value=[12, 7, 64]]()
  %302 : int[] = prim::Constant[value=[12, 7, 64]]()
  %303 : Tensor = aten::reshape(%300, %302)
  %304 : Tensor = prim::Constant[value={1}]()
  %305 : int[] = prim::Constant[value=[1, 1, 1, 7]]()
  %306 : int[] = prim::Constant[value=[1, 1, 1, 7]]()
  %307 : bool = prim::Constant[value=0]()
  %308 : Tensor = aten::expand(%304, %306, %307)
  %309 : NoneType = prim::Constant()
  %310 : Tensor = aten::clone(%308, %309)
  %311 : Tensor = prim::Constant[value={1}]()
  %312 : int[] = prim::Constant[value=[1, 7]]()
  %313 : int[] = prim::Constant[value=[1, 7]]()
  %314 : bool = prim::Constant[value=0]()
  %315 : Tensor = aten::expand(%311, %313, %314)
  %316 : NoneType = prim::Constant()
  %317 : Tensor = aten::clone(%315, %316)
  %318 : int = prim::Constant[value=0]()
  %319 : int = prim::Constant[value=0]()
  %320 : int = prim::Constant[value=1]()
  %321 : int = prim::Constant[value=1]()
  %322 : Tensor = aten::slice(%317, %318, %319, %320, %321)
  %323 : int[] = prim::Constant[value=[1, 1, 7]]()
  %324 : int[] = prim::Constant[value=[1, 1, 7]]()
  %325 : Tensor = aten::reshape(%322, %324)
  %326 : int[] = prim::Constant[value=[1, 1, 1, 7]]()
  %327 : int[] = prim::Constant[value=[1, 1, 1, 7]]()
  %328 : Tensor = aten::reshape(%325, %327)
  %329 : int = prim::Constant[value=3]()
  %330 : int = prim::Constant[value=0]()
  %331 : int = prim::Constant[value=7]()
  %332 : int = prim::Constant[value=1]()
  %333 : Tensor = aten::slice(%328, %329, %330, %331, %332)
  %334 : Tensor = aten::mul(%333, %310)
  %335 : Tensor = prim::Constant[value={1}]()
  %336 : int = prim::Constant[value=1]()
  %337 : Tensor = aten::sub(%335, %334, %336)
  %338 : Tensor = aten::mul(%337, %p62)
  %339 : int[] = prim::Constant[value=[1, 0]]()
  %340 : int[] = prim::Constant[value=[1, 0]]()
  %341 : Tensor = aten::permute(%p65, %340)
  %342 : int[] = prim::Constant[value=[7, 768]]()
  %343 : int[] = prim::Constant[value=[7, 768]]()
  %344 : Tensor = aten::reshape(%266, %343)
  %345 : Tensor = aten::mm(%344, %341)
  %346 : int[] = prim::Constant[value=[1, 7, 768]]()
  %347 : int[] = prim::Constant[value=[1, 7, 768]]()
  %348 : Tensor = aten::reshape(%345, %347)
  %349 : int = prim::Constant[value=1]()
  %350 : Tensor = aten::add(%348, %p64, %349)
  %351 : int[] = prim::Constant[value=[7, 768]]()
  %352 : int[] = prim::Constant[value=[7, 768]]()
  %353 : Tensor = aten::reshape(%350, %352)
  %354 : int[] = prim::Constant[value=[1, 7, 768]]()
  %355 : int[] = prim::Constant[value=[1, 7, 768]]()
  %356 : Tensor = aten::reshape(%353, %355)
  %357 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %358 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %359 : Tensor = aten::reshape(%356, %358)
  %360 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %361 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %362 : Tensor = aten::permute(%359, %361)
  %363 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %364 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %365 : Tensor = aten::permute(%362, %364)
  %366 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %367 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %368 : bool = prim::Constant[value=0]()
  %369 : Tensor = aten::expand(%365, %367, %368)
  %370 : int[] = prim::Constant[value=[12, 64, 7]]()
  %371 : int[] = prim::Constant[value=[12, 64, 7]]()
  %372 : Tensor = aten::reshape(%369, %371)
  %373 : int[] = prim::Constant[value=[1, 0]]()
  %374 : int[] = prim::Constant[value=[1, 0]]()
  %375 : Tensor = aten::permute(%p67, %374)
  %376 : int[] = prim::Constant[value=[7, 768]]()
  %377 : int[] = prim::Constant[value=[7, 768]]()
  %378 : Tensor = aten::reshape(%266, %377)
  %379 : Tensor = aten::mm(%378, %375)
  %380 : int[] = prim::Constant[value=[1, 7, 768]]()
  %381 : int[] = prim::Constant[value=[1, 7, 768]]()
  %382 : Tensor = aten::reshape(%379, %381)
  %383 : int = prim::Constant[value=1]()
  %384 : Tensor = aten::add(%382, %p66, %383)
  %385 : int[] = prim::Constant[value=[7, 768]]()
  %386 : int[] = prim::Constant[value=[7, 768]]()
  %387 : Tensor = aten::reshape(%384, %386)
  %388 : int[] = prim::Constant[value=[1, 7, 768]]()
  %389 : int[] = prim::Constant[value=[1, 7, 768]]()
  %390 : Tensor = aten::reshape(%387, %389)
  %391 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %392 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %393 : Tensor = aten::reshape(%390, %392)
  %394 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %395 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %396 : Tensor = aten::permute(%393, %395)
  %397 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %398 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %399 : bool = prim::Constant[value=0]()
  %400 : Tensor = aten::expand(%396, %398, %399)
  %401 : int[] = prim::Constant[value=[12, 7, 64]]()
  %402 : int[] = prim::Constant[value=[12, 7, 64]]()
  %403 : Tensor = aten::reshape(%400, %402)
  %404 : Tensor = aten::bmm(%403, %372)
  %405 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %406 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %407 : Tensor = aten::reshape(%404, %406)
  %408 : Tensor = aten::div(%407, %p63)
  %409 : int = prim::Constant[value=1]()
  %410 : Tensor = aten::add(%408, %338, %409)
  %411 : int = prim::Constant[value=-1]()
  %412 : bool = prim::Constant[value=0]()
  %413 : Tensor = aten::_softmax(%410, %411, %412)
  %414 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %415 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %416 : bool = prim::Constant[value=0]()
  %417 : Tensor = aten::expand(%413, %415, %416)
  %418 : int[] = prim::Constant[value=[12, 7, 7]]()
  %419 : int[] = prim::Constant[value=[12, 7, 7]]()
  %420 : Tensor = aten::reshape(%417, %419)
  %421 : Tensor = aten::bmm(%420, %303)
  %422 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %423 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %424 : Tensor = aten::reshape(%421, %423)
  %425 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %426 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %427 : Tensor = aten::permute(%424, %426)
  %428 : int[] = prim::Constant[value=[1, 7, 768]]()
  %429 : int[] = prim::Constant[value=[1, 7, 768]]()
  %430 : Tensor = aten::reshape(%427, %429)
  %431 : int[] = prim::Constant[value=[7, 768]]()
  %432 : int[] = prim::Constant[value=[7, 768]]()
  %433 : Tensor = aten::reshape(%430, %432)
  %434 : Tensor = aten::mm(%433, %272)
  %435 : int[] = prim::Constant[value=[1, 7, 768]]()
  %436 : int[] = prim::Constant[value=[1, 7, 768]]()
  %437 : Tensor = aten::reshape(%434, %436)
  %438 : int = prim::Constant[value=1]()
  %439 : Tensor = aten::add(%437, %p58, %438)
  %440 : int[] = prim::Constant[value=[7, 768]]()
  %441 : int[] = prim::Constant[value=[7, 768]]()
  %442 : Tensor = aten::reshape(%439, %441)
  %443 : int[] = prim::Constant[value=[1, 7, 768]]()
  %444 : int[] = prim::Constant[value=[1, 7, 768]]()
  %445 : Tensor = aten::reshape(%442, %444)
  %446 : int = prim::Constant[value=1]()
  %447 : Tensor = aten::add(%445, %266, %446)
  %448 : int[] = prim::Constant[value=[768]]()
  %449 : float = prim::Constant[value=9.9999999999999998e-13]()
  %450 : Tensor, %451 : Tensor, %452 : Tensor = aten::native_layer_norm(%447, %448, %p49, %p48, %449)
  %453 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%450, %451, %452)
  %454 : int[] = prim::Constant[value=[1, 0]]()
  %455 : int[] = prim::Constant[value=[1, 0]]()
  %456 : Tensor = aten::permute(%p69, %455)
  %457 : int[] = prim::Constant[value=[1, 0]]()
  %458 : int[] = prim::Constant[value=[1, 0]]()
  %459 : Tensor = aten::permute(%p71, %458)
  %460 : int[] = prim::Constant[value=[7, 768]]()
  %461 : int[] = prim::Constant[value=[7, 768]]()
  %462 : Tensor = aten::reshape(%450, %461)
  %463 : Tensor = aten::mm(%462, %459)
  %464 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %465 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %466 : Tensor = aten::reshape(%463, %465)
  %467 : int = prim::Constant[value=1]()
  %468 : Tensor = aten::add(%466, %p70, %467)
  %469 : int[] = prim::Constant[value=[7, 3072]]()
  %470 : int[] = prim::Constant[value=[7, 3072]]()
  %471 : Tensor = aten::reshape(%468, %470)
  %472 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %473 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %474 : Tensor = aten::reshape(%471, %473)
  %475 : Tensor = aten::gelu(%474)
  %476 : int[] = prim::Constant[value=[7, 3072]]()
  %477 : int[] = prim::Constant[value=[7, 3072]]()
  %478 : Tensor = aten::reshape(%475, %477)
  %479 : Tensor = aten::mm(%478, %456)
  %480 : int[] = prim::Constant[value=[1, 7, 768]]()
  %481 : int[] = prim::Constant[value=[1, 7, 768]]()
  %482 : Tensor = aten::reshape(%479, %481)
  %483 : int = prim::Constant[value=1]()
  %484 : Tensor = aten::add(%482, %p68, %483)
  %485 : int[] = prim::Constant[value=[7, 768]]()
  %486 : int[] = prim::Constant[value=[7, 768]]()
  %487 : Tensor = aten::reshape(%484, %486)
  %488 : int[] = prim::Constant[value=[1, 7, 768]]()
  %489 : int[] = prim::Constant[value=[1, 7, 768]]()
  %490 : Tensor = aten::reshape(%487, %489)
  %491 : int = prim::Constant[value=1]()
  %492 : Tensor = aten::add(%490, %450, %491)
  %493 : int[] = prim::Constant[value=[768]]()
  %494 : float = prim::Constant[value=9.9999999999999998e-13]()
  %495 : Tensor, %496 : Tensor, %497 : Tensor = aten::native_layer_norm(%492, %493, %p47, %p46, %494)
  %498 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%495, %496, %497)
  %499 : int[] = prim::Constant[value=[1, 0]]()
  %500 : int[] = prim::Constant[value=[1, 0]]()
  %501 : Tensor = aten::permute(%p73, %500)
  %502 : int[] = prim::Constant[value=[1, 0]]()
  %503 : int[] = prim::Constant[value=[1, 0]]()
  %504 : Tensor = aten::permute(%p75, %503)
  %505 : int[] = prim::Constant[value=[7, 768]]()
  %506 : int[] = prim::Constant[value=[7, 768]]()
  %507 : Tensor = aten::reshape(%495, %506)
  %508 : Tensor = aten::mm(%507, %504)
  %509 : int[] = prim::Constant[value=[1, 7, 768]]()
  %510 : int[] = prim::Constant[value=[1, 7, 768]]()
  %511 : Tensor = aten::reshape(%508, %510)
  %512 : int = prim::Constant[value=1]()
  %513 : Tensor = aten::add(%511, %p74, %512)
  %514 : int[] = prim::Constant[value=[7, 768]]()
  %515 : int[] = prim::Constant[value=[7, 768]]()
  %516 : Tensor = aten::reshape(%513, %515)
  %517 : int[] = prim::Constant[value=[1, 7, 768]]()
  %518 : int[] = prim::Constant[value=[1, 7, 768]]()
  %519 : Tensor = aten::reshape(%516, %518)
  %520 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %521 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %522 : Tensor = aten::reshape(%519, %521)
  %523 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %524 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %525 : Tensor = aten::permute(%522, %524)
  %526 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %527 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %528 : bool = prim::Constant[value=0]()
  %529 : Tensor = aten::expand(%525, %527, %528)
  %530 : int[] = prim::Constant[value=[12, 7, 64]]()
  %531 : int[] = prim::Constant[value=[12, 7, 64]]()
  %532 : Tensor = aten::reshape(%529, %531)
  %533 : int[] = prim::Constant[value=[1, 0]]()
  %534 : int[] = prim::Constant[value=[1, 0]]()
  %535 : Tensor = aten::permute(%p77, %534)
  %536 : int[] = prim::Constant[value=[7, 768]]()
  %537 : int[] = prim::Constant[value=[7, 768]]()
  %538 : Tensor = aten::reshape(%495, %537)
  %539 : Tensor = aten::mm(%538, %535)
  %540 : int[] = prim::Constant[value=[1, 7, 768]]()
  %541 : int[] = prim::Constant[value=[1, 7, 768]]()
  %542 : Tensor = aten::reshape(%539, %541)
  %543 : int = prim::Constant[value=1]()
  %544 : Tensor = aten::add(%542, %p76, %543)
  %545 : int[] = prim::Constant[value=[7, 768]]()
  %546 : int[] = prim::Constant[value=[7, 768]]()
  %547 : Tensor = aten::reshape(%544, %546)
  %548 : int[] = prim::Constant[value=[1, 7, 768]]()
  %549 : int[] = prim::Constant[value=[1, 7, 768]]()
  %550 : Tensor = aten::reshape(%547, %549)
  %551 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %552 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %553 : Tensor = aten::reshape(%550, %552)
  %554 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %555 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %556 : Tensor = aten::permute(%553, %555)
  %557 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %558 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %559 : Tensor = aten::permute(%556, %558)
  %560 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %561 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %562 : bool = prim::Constant[value=0]()
  %563 : Tensor = aten::expand(%559, %561, %562)
  %564 : int[] = prim::Constant[value=[12, 64, 7]]()
  %565 : int[] = prim::Constant[value=[12, 64, 7]]()
  %566 : Tensor = aten::reshape(%563, %565)
  %567 : int[] = prim::Constant[value=[1, 0]]()
  %568 : int[] = prim::Constant[value=[1, 0]]()
  %569 : Tensor = aten::permute(%p79, %568)
  %570 : int[] = prim::Constant[value=[7, 768]]()
  %571 : int[] = prim::Constant[value=[7, 768]]()
  %572 : Tensor = aten::reshape(%495, %571)
  %573 : Tensor = aten::mm(%572, %569)
  %574 : int[] = prim::Constant[value=[1, 7, 768]]()
  %575 : int[] = prim::Constant[value=[1, 7, 768]]()
  %576 : Tensor = aten::reshape(%573, %575)
  %577 : int = prim::Constant[value=1]()
  %578 : Tensor = aten::add(%576, %p78, %577)
  %579 : int[] = prim::Constant[value=[7, 768]]()
  %580 : int[] = prim::Constant[value=[7, 768]]()
  %581 : Tensor = aten::reshape(%578, %580)
  %582 : int[] = prim::Constant[value=[1, 7, 768]]()
  %583 : int[] = prim::Constant[value=[1, 7, 768]]()
  %584 : Tensor = aten::reshape(%581, %583)
  %585 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %586 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %587 : Tensor = aten::reshape(%584, %586)
  %588 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %589 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %590 : Tensor = aten::permute(%587, %589)
  %591 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %592 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %593 : bool = prim::Constant[value=0]()
  %594 : Tensor = aten::expand(%590, %592, %593)
  %595 : int[] = prim::Constant[value=[12, 7, 64]]()
  %596 : int[] = prim::Constant[value=[12, 7, 64]]()
  %597 : Tensor = aten::reshape(%594, %596)
  %598 : Tensor = aten::bmm(%597, %566)
  %599 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %600 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %601 : Tensor = aten::reshape(%598, %600)
  %602 : Tensor = aten::div(%601, %p63)
  %603 : int = prim::Constant[value=1]()
  %604 : Tensor = aten::add(%602, %338, %603)
  %605 : int = prim::Constant[value=-1]()
  %606 : bool = prim::Constant[value=0]()
  %607 : Tensor = aten::_softmax(%604, %605, %606)
  %608 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %609 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %610 : bool = prim::Constant[value=0]()
  %611 : Tensor = aten::expand(%607, %609, %610)
  %612 : int[] = prim::Constant[value=[12, 7, 7]]()
  %613 : int[] = prim::Constant[value=[12, 7, 7]]()
  %614 : Tensor = aten::reshape(%611, %613)
  %615 : Tensor = aten::bmm(%614, %532)
  %616 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %617 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %618 : Tensor = aten::reshape(%615, %617)
  %619 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %620 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %621 : Tensor = aten::permute(%618, %620)
  %622 : int[] = prim::Constant[value=[1, 7, 768]]()
  %623 : int[] = prim::Constant[value=[1, 7, 768]]()
  %624 : Tensor = aten::reshape(%621, %623)
  %625 : int[] = prim::Constant[value=[7, 768]]()
  %626 : int[] = prim::Constant[value=[7, 768]]()
  %627 : Tensor = aten::reshape(%624, %626)
  %628 : Tensor = aten::mm(%627, %501)
  %629 : int[] = prim::Constant[value=[1, 7, 768]]()
  %630 : int[] = prim::Constant[value=[1, 7, 768]]()
  %631 : Tensor = aten::reshape(%628, %630)
  %632 : int = prim::Constant[value=1]()
  %633 : Tensor = aten::add(%631, %p72, %632)
  %634 : int[] = prim::Constant[value=[7, 768]]()
  %635 : int[] = prim::Constant[value=[7, 768]]()
  %636 : Tensor = aten::reshape(%633, %635)
  %637 : int[] = prim::Constant[value=[1, 7, 768]]()
  %638 : int[] = prim::Constant[value=[1, 7, 768]]()
  %639 : Tensor = aten::reshape(%636, %638)
  %640 : int = prim::Constant[value=1]()
  %641 : Tensor = aten::add(%639, %495, %640)
  %642 : int[] = prim::Constant[value=[768]]()
  %643 : float = prim::Constant[value=9.9999999999999998e-13]()
  %644 : Tensor, %645 : Tensor, %646 : Tensor = aten::native_layer_norm(%641, %642, %p45, %p44, %643)
  %647 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%644, %645, %646)
  %648 : int[] = prim::Constant[value=[1, 0]]()
  %649 : int[] = prim::Constant[value=[1, 0]]()
  %650 : Tensor = aten::permute(%p81, %649)
  %651 : int[] = prim::Constant[value=[1, 0]]()
  %652 : int[] = prim::Constant[value=[1, 0]]()
  %653 : Tensor = aten::permute(%p83, %652)
  %654 : int[] = prim::Constant[value=[7, 768]]()
  %655 : int[] = prim::Constant[value=[7, 768]]()
  %656 : Tensor = aten::reshape(%644, %655)
  %657 : Tensor = aten::mm(%656, %653)
  %658 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %659 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %660 : Tensor = aten::reshape(%657, %659)
  %661 : int = prim::Constant[value=1]()
  %662 : Tensor = aten::add(%660, %p82, %661)
  %663 : int[] = prim::Constant[value=[7, 3072]]()
  %664 : int[] = prim::Constant[value=[7, 3072]]()
  %665 : Tensor = aten::reshape(%662, %664)
  %666 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %667 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %668 : Tensor = aten::reshape(%665, %667)
  %669 : Tensor = aten::gelu(%668)
  %670 : int[] = prim::Constant[value=[7, 3072]]()
  %671 : int[] = prim::Constant[value=[7, 3072]]()
  %672 : Tensor = aten::reshape(%669, %671)
  %673 : Tensor = aten::mm(%672, %650)
  %674 : int[] = prim::Constant[value=[1, 7, 768]]()
  %675 : int[] = prim::Constant[value=[1, 7, 768]]()
  %676 : Tensor = aten::reshape(%673, %675)
  %677 : int = prim::Constant[value=1]()
  %678 : Tensor = aten::add(%676, %p80, %677)
  %679 : int[] = prim::Constant[value=[7, 768]]()
  %680 : int[] = prim::Constant[value=[7, 768]]()
  %681 : Tensor = aten::reshape(%678, %680)
  %682 : int[] = prim::Constant[value=[1, 7, 768]]()
  %683 : int[] = prim::Constant[value=[1, 7, 768]]()
  %684 : Tensor = aten::reshape(%681, %683)
  %685 : int = prim::Constant[value=1]()
  %686 : Tensor = aten::add(%684, %644, %685)
  %687 : int[] = prim::Constant[value=[768]]()
  %688 : float = prim::Constant[value=9.9999999999999998e-13]()
  %689 : Tensor, %690 : Tensor, %691 : Tensor = aten::native_layer_norm(%686, %687, %p43, %p42, %688)
  %692 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%689, %690, %691)
  %693 : int[] = prim::Constant[value=[1, 0]]()
  %694 : int[] = prim::Constant[value=[1, 0]]()
  %695 : Tensor = aten::permute(%p85, %694)
  %696 : int[] = prim::Constant[value=[1, 0]]()
  %697 : int[] = prim::Constant[value=[1, 0]]()
  %698 : Tensor = aten::permute(%p87, %697)
  %699 : int[] = prim::Constant[value=[7, 768]]()
  %700 : int[] = prim::Constant[value=[7, 768]]()
  %701 : Tensor = aten::reshape(%689, %700)
  %702 : Tensor = aten::mm(%701, %698)
  %703 : int[] = prim::Constant[value=[1, 7, 768]]()
  %704 : int[] = prim::Constant[value=[1, 7, 768]]()
  %705 : Tensor = aten::reshape(%702, %704)
  %706 : int = prim::Constant[value=1]()
  %707 : Tensor = aten::add(%705, %p86, %706)
  %708 : int[] = prim::Constant[value=[7, 768]]()
  %709 : int[] = prim::Constant[value=[7, 768]]()
  %710 : Tensor = aten::reshape(%707, %709)
  %711 : int[] = prim::Constant[value=[1, 7, 768]]()
  %712 : int[] = prim::Constant[value=[1, 7, 768]]()
  %713 : Tensor = aten::reshape(%710, %712)
  %714 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %715 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %716 : Tensor = aten::reshape(%713, %715)
  %717 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %718 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %719 : Tensor = aten::permute(%716, %718)
  %720 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %721 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %722 : bool = prim::Constant[value=0]()
  %723 : Tensor = aten::expand(%719, %721, %722)
  %724 : int[] = prim::Constant[value=[12, 7, 64]]()
  %725 : int[] = prim::Constant[value=[12, 7, 64]]()
  %726 : Tensor = aten::reshape(%723, %725)
  %727 : int[] = prim::Constant[value=[1, 0]]()
  %728 : int[] = prim::Constant[value=[1, 0]]()
  %729 : Tensor = aten::permute(%p89, %728)
  %730 : int[] = prim::Constant[value=[7, 768]]()
  %731 : int[] = prim::Constant[value=[7, 768]]()
  %732 : Tensor = aten::reshape(%689, %731)
  %733 : Tensor = aten::mm(%732, %729)
  %734 : int[] = prim::Constant[value=[1, 7, 768]]()
  %735 : int[] = prim::Constant[value=[1, 7, 768]]()
  %736 : Tensor = aten::reshape(%733, %735)
  %737 : int = prim::Constant[value=1]()
  %738 : Tensor = aten::add(%736, %p88, %737)
  %739 : int[] = prim::Constant[value=[7, 768]]()
  %740 : int[] = prim::Constant[value=[7, 768]]()
  %741 : Tensor = aten::reshape(%738, %740)
  %742 : int[] = prim::Constant[value=[1, 7, 768]]()
  %743 : int[] = prim::Constant[value=[1, 7, 768]]()
  %744 : Tensor = aten::reshape(%741, %743)
  %745 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %746 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %747 : Tensor = aten::reshape(%744, %746)
  %748 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %749 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %750 : Tensor = aten::permute(%747, %749)
  %751 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %752 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %753 : Tensor = aten::permute(%750, %752)
  %754 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %755 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %756 : bool = prim::Constant[value=0]()
  %757 : Tensor = aten::expand(%753, %755, %756)
  %758 : int[] = prim::Constant[value=[12, 64, 7]]()
  %759 : int[] = prim::Constant[value=[12, 64, 7]]()
  %760 : Tensor = aten::reshape(%757, %759)
  %761 : int[] = prim::Constant[value=[1, 0]]()
  %762 : int[] = prim::Constant[value=[1, 0]]()
  %763 : Tensor = aten::permute(%p91, %762)
  %764 : int[] = prim::Constant[value=[7, 768]]()
  %765 : int[] = prim::Constant[value=[7, 768]]()
  %766 : Tensor = aten::reshape(%689, %765)
  %767 : Tensor = aten::mm(%766, %763)
  %768 : int[] = prim::Constant[value=[1, 7, 768]]()
  %769 : int[] = prim::Constant[value=[1, 7, 768]]()
  %770 : Tensor = aten::reshape(%767, %769)
  %771 : int = prim::Constant[value=1]()
  %772 : Tensor = aten::add(%770, %p90, %771)
  %773 : int[] = prim::Constant[value=[7, 768]]()
  %774 : int[] = prim::Constant[value=[7, 768]]()
  %775 : Tensor = aten::reshape(%772, %774)
  %776 : int[] = prim::Constant[value=[1, 7, 768]]()
  %777 : int[] = prim::Constant[value=[1, 7, 768]]()
  %778 : Tensor = aten::reshape(%775, %777)
  %779 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %780 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %781 : Tensor = aten::reshape(%778, %780)
  %782 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %783 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %784 : Tensor = aten::permute(%781, %783)
  %785 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %786 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %787 : bool = prim::Constant[value=0]()
  %788 : Tensor = aten::expand(%784, %786, %787)
  %789 : int[] = prim::Constant[value=[12, 7, 64]]()
  %790 : int[] = prim::Constant[value=[12, 7, 64]]()
  %791 : Tensor = aten::reshape(%788, %790)
  %792 : Tensor = aten::bmm(%791, %760)
  %793 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %794 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %795 : Tensor = aten::reshape(%792, %794)
  %796 : Tensor = aten::div(%795, %p63)
  %797 : int = prim::Constant[value=1]()
  %798 : Tensor = aten::add(%796, %338, %797)
  %799 : int = prim::Constant[value=-1]()
  %800 : bool = prim::Constant[value=0]()
  %801 : Tensor = aten::_softmax(%798, %799, %800)
  %802 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %803 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %804 : bool = prim::Constant[value=0]()
  %805 : Tensor = aten::expand(%801, %803, %804)
  %806 : int[] = prim::Constant[value=[12, 7, 7]]()
  %807 : int[] = prim::Constant[value=[12, 7, 7]]()
  %808 : Tensor = aten::reshape(%805, %807)
  %809 : Tensor = aten::bmm(%808, %726)
  %810 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %811 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %812 : Tensor = aten::reshape(%809, %811)
  %813 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %814 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %815 : Tensor = aten::permute(%812, %814)
  %816 : int[] = prim::Constant[value=[1, 7, 768]]()
  %817 : int[] = prim::Constant[value=[1, 7, 768]]()
  %818 : Tensor = aten::reshape(%815, %817)
  %819 : int[] = prim::Constant[value=[7, 768]]()
  %820 : int[] = prim::Constant[value=[7, 768]]()
  %821 : Tensor = aten::reshape(%818, %820)
  %822 : Tensor = aten::mm(%821, %695)
  %823 : int[] = prim::Constant[value=[1, 7, 768]]()
  %824 : int[] = prim::Constant[value=[1, 7, 768]]()
  %825 : Tensor = aten::reshape(%822, %824)
  %826 : int = prim::Constant[value=1]()
  %827 : Tensor = aten::add(%825, %p84, %826)
  %828 : int[] = prim::Constant[value=[7, 768]]()
  %829 : int[] = prim::Constant[value=[7, 768]]()
  %830 : Tensor = aten::reshape(%827, %829)
  %831 : int[] = prim::Constant[value=[1, 7, 768]]()
  %832 : int[] = prim::Constant[value=[1, 7, 768]]()
  %833 : Tensor = aten::reshape(%830, %832)
  %834 : int = prim::Constant[value=1]()
  %835 : Tensor = aten::add(%833, %689, %834)
  %836 : int[] = prim::Constant[value=[768]]()
  %837 : float = prim::Constant[value=9.9999999999999998e-13]()
  %838 : Tensor, %839 : Tensor, %840 : Tensor = aten::native_layer_norm(%835, %836, %p41, %p40, %837)
  %841 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%838, %839, %840)
  %842 : int[] = prim::Constant[value=[1, 0]]()
  %843 : int[] = prim::Constant[value=[1, 0]]()
  %844 : Tensor = aten::permute(%p93, %843)
  %845 : int[] = prim::Constant[value=[1, 0]]()
  %846 : int[] = prim::Constant[value=[1, 0]]()
  %847 : Tensor = aten::permute(%p95, %846)
  %848 : int[] = prim::Constant[value=[7, 768]]()
  %849 : int[] = prim::Constant[value=[7, 768]]()
  %850 : Tensor = aten::reshape(%838, %849)
  %851 : Tensor = aten::mm(%850, %847)
  %852 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %853 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %854 : Tensor = aten::reshape(%851, %853)
  %855 : int = prim::Constant[value=1]()
  %856 : Tensor = aten::add(%854, %p94, %855)
  %857 : int[] = prim::Constant[value=[7, 3072]]()
  %858 : int[] = prim::Constant[value=[7, 3072]]()
  %859 : Tensor = aten::reshape(%856, %858)
  %860 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %861 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %862 : Tensor = aten::reshape(%859, %861)
  %863 : Tensor = aten::gelu(%862)
  %864 : int[] = prim::Constant[value=[7, 3072]]()
  %865 : int[] = prim::Constant[value=[7, 3072]]()
  %866 : Tensor = aten::reshape(%863, %865)
  %867 : Tensor = aten::mm(%866, %844)
  %868 : int[] = prim::Constant[value=[1, 7, 768]]()
  %869 : int[] = prim::Constant[value=[1, 7, 768]]()
  %870 : Tensor = aten::reshape(%867, %869)
  %871 : int = prim::Constant[value=1]()
  %872 : Tensor = aten::add(%870, %p92, %871)
  %873 : int[] = prim::Constant[value=[7, 768]]()
  %874 : int[] = prim::Constant[value=[7, 768]]()
  %875 : Tensor = aten::reshape(%872, %874)
  %876 : int[] = prim::Constant[value=[1, 7, 768]]()
  %877 : int[] = prim::Constant[value=[1, 7, 768]]()
  %878 : Tensor = aten::reshape(%875, %877)
  %879 : int = prim::Constant[value=1]()
  %880 : Tensor = aten::add(%878, %838, %879)
  %881 : int[] = prim::Constant[value=[768]]()
  %882 : float = prim::Constant[value=9.9999999999999998e-13]()
  %883 : Tensor, %884 : Tensor, %885 : Tensor = aten::native_layer_norm(%880, %881, %p39, %p38, %882)
  %886 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%883, %884, %885)
  %887 : int[] = prim::Constant[value=[1, 0]]()
  %888 : int[] = prim::Constant[value=[1, 0]]()
  %889 : Tensor = aten::permute(%p97, %888)
  %890 : int[] = prim::Constant[value=[1, 0]]()
  %891 : int[] = prim::Constant[value=[1, 0]]()
  %892 : Tensor = aten::permute(%p99, %891)
  %893 : int[] = prim::Constant[value=[7, 768]]()
  %894 : int[] = prim::Constant[value=[7, 768]]()
  %895 : Tensor = aten::reshape(%883, %894)
  %896 : Tensor = aten::mm(%895, %892)
  %897 : int[] = prim::Constant[value=[1, 7, 768]]()
  %898 : int[] = prim::Constant[value=[1, 7, 768]]()
  %899 : Tensor = aten::reshape(%896, %898)
  %900 : int = prim::Constant[value=1]()
  %901 : Tensor = aten::add(%899, %p98, %900)
  %902 : int[] = prim::Constant[value=[7, 768]]()
  %903 : int[] = prim::Constant[value=[7, 768]]()
  %904 : Tensor = aten::reshape(%901, %903)
  %905 : int[] = prim::Constant[value=[1, 7, 768]]()
  %906 : int[] = prim::Constant[value=[1, 7, 768]]()
  %907 : Tensor = aten::reshape(%904, %906)
  %908 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %909 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %910 : Tensor = aten::reshape(%907, %909)
  %911 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %912 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %913 : Tensor = aten::permute(%910, %912)
  %914 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %915 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %916 : bool = prim::Constant[value=0]()
  %917 : Tensor = aten::expand(%913, %915, %916)
  %918 : int[] = prim::Constant[value=[12, 7, 64]]()
  %919 : int[] = prim::Constant[value=[12, 7, 64]]()
  %920 : Tensor = aten::reshape(%917, %919)
  %921 : int[] = prim::Constant[value=[1, 0]]()
  %922 : int[] = prim::Constant[value=[1, 0]]()
  %923 : Tensor = aten::permute(%p101, %922)
  %924 : int[] = prim::Constant[value=[7, 768]]()
  %925 : int[] = prim::Constant[value=[7, 768]]()
  %926 : Tensor = aten::reshape(%883, %925)
  %927 : Tensor = aten::mm(%926, %923)
  %928 : int[] = prim::Constant[value=[1, 7, 768]]()
  %929 : int[] = prim::Constant[value=[1, 7, 768]]()
  %930 : Tensor = aten::reshape(%927, %929)
  %931 : int = prim::Constant[value=1]()
  %932 : Tensor = aten::add(%930, %p100, %931)
  %933 : int[] = prim::Constant[value=[7, 768]]()
  %934 : int[] = prim::Constant[value=[7, 768]]()
  %935 : Tensor = aten::reshape(%932, %934)
  %936 : int[] = prim::Constant[value=[1, 7, 768]]()
  %937 : int[] = prim::Constant[value=[1, 7, 768]]()
  %938 : Tensor = aten::reshape(%935, %937)
  %939 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %940 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %941 : Tensor = aten::reshape(%938, %940)
  %942 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %943 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %944 : Tensor = aten::permute(%941, %943)
  %945 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %946 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %947 : Tensor = aten::permute(%944, %946)
  %948 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %949 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %950 : bool = prim::Constant[value=0]()
  %951 : Tensor = aten::expand(%947, %949, %950)
  %952 : int[] = prim::Constant[value=[12, 64, 7]]()
  %953 : int[] = prim::Constant[value=[12, 64, 7]]()
  %954 : Tensor = aten::reshape(%951, %953)
  %955 : int[] = prim::Constant[value=[1, 0]]()
  %956 : int[] = prim::Constant[value=[1, 0]]()
  %957 : Tensor = aten::permute(%p103, %956)
  %958 : int[] = prim::Constant[value=[7, 768]]()
  %959 : int[] = prim::Constant[value=[7, 768]]()
  %960 : Tensor = aten::reshape(%883, %959)
  %961 : Tensor = aten::mm(%960, %957)
  %962 : int[] = prim::Constant[value=[1, 7, 768]]()
  %963 : int[] = prim::Constant[value=[1, 7, 768]]()
  %964 : Tensor = aten::reshape(%961, %963)
  %965 : int = prim::Constant[value=1]()
  %966 : Tensor = aten::add(%964, %p102, %965)
  %967 : int[] = prim::Constant[value=[7, 768]]()
  %968 : int[] = prim::Constant[value=[7, 768]]()
  %969 : Tensor = aten::reshape(%966, %968)
  %970 : int[] = prim::Constant[value=[1, 7, 768]]()
  %971 : int[] = prim::Constant[value=[1, 7, 768]]()
  %972 : Tensor = aten::reshape(%969, %971)
  %973 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %974 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %975 : Tensor = aten::reshape(%972, %974)
  %976 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %977 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %978 : Tensor = aten::permute(%975, %977)
  %979 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %980 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %981 : bool = prim::Constant[value=0]()
  %982 : Tensor = aten::expand(%978, %980, %981)
  %983 : int[] = prim::Constant[value=[12, 7, 64]]()
  %984 : int[] = prim::Constant[value=[12, 7, 64]]()
  %985 : Tensor = aten::reshape(%982, %984)
  %986 : Tensor = aten::bmm(%985, %954)
  %987 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %988 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %989 : Tensor = aten::reshape(%986, %988)
  %990 : Tensor = aten::div(%989, %p63)
  %991 : int = prim::Constant[value=1]()
  %992 : Tensor = aten::add(%990, %338, %991)
  %993 : int = prim::Constant[value=-1]()
  %994 : bool = prim::Constant[value=0]()
  %995 : Tensor = aten::_softmax(%992, %993, %994)
  %996 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %997 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %998 : bool = prim::Constant[value=0]()
  %999 : Tensor = aten::expand(%995, %997, %998)
  %1000 : int[] = prim::Constant[value=[12, 7, 7]]()
  %1001 : int[] = prim::Constant[value=[12, 7, 7]]()
  %1002 : Tensor = aten::reshape(%999, %1001)
  %1003 : Tensor = aten::bmm(%1002, %920)
  %1004 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1005 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1006 : Tensor = aten::reshape(%1003, %1005)
  %1007 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1008 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1009 : Tensor = aten::permute(%1006, %1008)
  %1010 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1011 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1012 : Tensor = aten::reshape(%1009, %1011)
  %1013 : int[] = prim::Constant[value=[7, 768]]()
  %1014 : int[] = prim::Constant[value=[7, 768]]()
  %1015 : Tensor = aten::reshape(%1012, %1014)
  %1016 : Tensor = aten::mm(%1015, %889)
  %1017 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1018 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1019 : Tensor = aten::reshape(%1016, %1018)
  %1020 : int = prim::Constant[value=1]()
  %1021 : Tensor = aten::add(%1019, %p96, %1020)
  %1022 : int[] = prim::Constant[value=[7, 768]]()
  %1023 : int[] = prim::Constant[value=[7, 768]]()
  %1024 : Tensor = aten::reshape(%1021, %1023)
  %1025 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1026 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1027 : Tensor = aten::reshape(%1024, %1026)
  %1028 : int = prim::Constant[value=1]()
  %1029 : Tensor = aten::add(%1027, %883, %1028)
  %1030 : int[] = prim::Constant[value=[768]]()
  %1031 : float = prim::Constant[value=9.9999999999999998e-13]()
  %1032 : Tensor, %1033 : Tensor, %1034 : Tensor = aten::native_layer_norm(%1029, %1030, %p37, %p36, %1031)
  %1035 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%1032, %1033, %1034)
  %1036 : int[] = prim::Constant[value=[1, 0]]()
  %1037 : int[] = prim::Constant[value=[1, 0]]()
  %1038 : Tensor = aten::permute(%p105, %1037)
  %1039 : int[] = prim::Constant[value=[1, 0]]()
  %1040 : int[] = prim::Constant[value=[1, 0]]()
  %1041 : Tensor = aten::permute(%p107, %1040)
  %1042 : int[] = prim::Constant[value=[7, 768]]()
  %1043 : int[] = prim::Constant[value=[7, 768]]()
  %1044 : Tensor = aten::reshape(%1032, %1043)
  %1045 : Tensor = aten::mm(%1044, %1041)
  %1046 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1047 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1048 : Tensor = aten::reshape(%1045, %1047)
  %1049 : int = prim::Constant[value=1]()
  %1050 : Tensor = aten::add(%1048, %p106, %1049)
  %1051 : int[] = prim::Constant[value=[7, 3072]]()
  %1052 : int[] = prim::Constant[value=[7, 3072]]()
  %1053 : Tensor = aten::reshape(%1050, %1052)
  %1054 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1055 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1056 : Tensor = aten::reshape(%1053, %1055)
  %1057 : Tensor = aten::gelu(%1056)
  %1058 : int[] = prim::Constant[value=[7, 3072]]()
  %1059 : int[] = prim::Constant[value=[7, 3072]]()
  %1060 : Tensor = aten::reshape(%1057, %1059)
  %1061 : Tensor = aten::mm(%1060, %1038)
  %1062 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1063 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1064 : Tensor = aten::reshape(%1061, %1063)
  %1065 : int = prim::Constant[value=1]()
  %1066 : Tensor = aten::add(%1064, %p104, %1065)
  %1067 : int[] = prim::Constant[value=[7, 768]]()
  %1068 : int[] = prim::Constant[value=[7, 768]]()
  %1069 : Tensor = aten::reshape(%1066, %1068)
  %1070 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1071 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1072 : Tensor = aten::reshape(%1069, %1071)
  %1073 : int = prim::Constant[value=1]()
  %1074 : Tensor = aten::add(%1072, %1032, %1073)
  %1075 : int[] = prim::Constant[value=[768]]()
  %1076 : float = prim::Constant[value=9.9999999999999998e-13]()
  %1077 : Tensor, %1078 : Tensor, %1079 : Tensor = aten::native_layer_norm(%1074, %1075, %p35, %p34, %1076)
  %1080 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%1077, %1078, %1079)
  %1081 : int[] = prim::Constant[value=[1, 0]]()
  %1082 : int[] = prim::Constant[value=[1, 0]]()
  %1083 : Tensor = aten::permute(%p109, %1082)
  %1084 : int[] = prim::Constant[value=[1, 0]]()
  %1085 : int[] = prim::Constant[value=[1, 0]]()
  %1086 : Tensor = aten::permute(%p111, %1085)
  %1087 : int[] = prim::Constant[value=[7, 768]]()
  %1088 : int[] = prim::Constant[value=[7, 768]]()
  %1089 : Tensor = aten::reshape(%1077, %1088)
  %1090 : Tensor = aten::mm(%1089, %1086)
  %1091 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1092 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1093 : Tensor = aten::reshape(%1090, %1092)
  %1094 : int = prim::Constant[value=1]()
  %1095 : Tensor = aten::add(%1093, %p110, %1094)
  %1096 : int[] = prim::Constant[value=[7, 768]]()
  %1097 : int[] = prim::Constant[value=[7, 768]]()
  %1098 : Tensor = aten::reshape(%1095, %1097)
  %1099 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1100 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1101 : Tensor = aten::reshape(%1098, %1100)
  %1102 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1103 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1104 : Tensor = aten::reshape(%1101, %1103)
  %1105 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1106 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1107 : Tensor = aten::permute(%1104, %1106)
  %1108 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1109 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1110 : bool = prim::Constant[value=0]()
  %1111 : Tensor = aten::expand(%1107, %1109, %1110)
  %1112 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1113 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1114 : Tensor = aten::reshape(%1111, %1113)
  %1115 : int[] = prim::Constant[value=[1, 0]]()
  %1116 : int[] = prim::Constant[value=[1, 0]]()
  %1117 : Tensor = aten::permute(%p113, %1116)
  %1118 : int[] = prim::Constant[value=[7, 768]]()
  %1119 : int[] = prim::Constant[value=[7, 768]]()
  %1120 : Tensor = aten::reshape(%1077, %1119)
  %1121 : Tensor = aten::mm(%1120, %1117)
  %1122 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1123 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1124 : Tensor = aten::reshape(%1121, %1123)
  %1125 : int = prim::Constant[value=1]()
  %1126 : Tensor = aten::add(%1124, %p112, %1125)
  %1127 : int[] = prim::Constant[value=[7, 768]]()
  %1128 : int[] = prim::Constant[value=[7, 768]]()
  %1129 : Tensor = aten::reshape(%1126, %1128)
  %1130 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1131 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1132 : Tensor = aten::reshape(%1129, %1131)
  %1133 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1134 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1135 : Tensor = aten::reshape(%1132, %1134)
  %1136 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1137 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1138 : Tensor = aten::permute(%1135, %1137)
  %1139 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %1140 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %1141 : Tensor = aten::permute(%1138, %1140)
  %1142 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %1143 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %1144 : bool = prim::Constant[value=0]()
  %1145 : Tensor = aten::expand(%1141, %1143, %1144)
  %1146 : int[] = prim::Constant[value=[12, 64, 7]]()
  %1147 : int[] = prim::Constant[value=[12, 64, 7]]()
  %1148 : Tensor = aten::reshape(%1145, %1147)
  %1149 : int[] = prim::Constant[value=[1, 0]]()
  %1150 : int[] = prim::Constant[value=[1, 0]]()
  %1151 : Tensor = aten::permute(%p115, %1150)
  %1152 : int[] = prim::Constant[value=[7, 768]]()
  %1153 : int[] = prim::Constant[value=[7, 768]]()
  %1154 : Tensor = aten::reshape(%1077, %1153)
  %1155 : Tensor = aten::mm(%1154, %1151)
  %1156 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1157 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1158 : Tensor = aten::reshape(%1155, %1157)
  %1159 : int = prim::Constant[value=1]()
  %1160 : Tensor = aten::add(%1158, %p114, %1159)
  %1161 : int[] = prim::Constant[value=[7, 768]]()
  %1162 : int[] = prim::Constant[value=[7, 768]]()
  %1163 : Tensor = aten::reshape(%1160, %1162)
  %1164 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1165 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1166 : Tensor = aten::reshape(%1163, %1165)
  %1167 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1168 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1169 : Tensor = aten::reshape(%1166, %1168)
  %1170 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1171 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1172 : Tensor = aten::permute(%1169, %1171)
  %1173 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1174 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1175 : bool = prim::Constant[value=0]()
  %1176 : Tensor = aten::expand(%1172, %1174, %1175)
  %1177 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1178 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1179 : Tensor = aten::reshape(%1176, %1178)
  %1180 : Tensor = aten::bmm(%1179, %1148)
  %1181 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1182 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1183 : Tensor = aten::reshape(%1180, %1182)
  %1184 : Tensor = aten::div(%1183, %p63)
  %1185 : int = prim::Constant[value=1]()
  %1186 : Tensor = aten::add(%1184, %338, %1185)
  %1187 : int = prim::Constant[value=-1]()
  %1188 : bool = prim::Constant[value=0]()
  %1189 : Tensor = aten::_softmax(%1186, %1187, %1188)
  %1190 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1191 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1192 : bool = prim::Constant[value=0]()
  %1193 : Tensor = aten::expand(%1189, %1191, %1192)
  %1194 : int[] = prim::Constant[value=[12, 7, 7]]()
  %1195 : int[] = prim::Constant[value=[12, 7, 7]]()
  %1196 : Tensor = aten::reshape(%1193, %1195)
  %1197 : Tensor = aten::bmm(%1196, %1114)
  %1198 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1199 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1200 : Tensor = aten::reshape(%1197, %1199)
  %1201 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1202 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1203 : Tensor = aten::permute(%1200, %1202)
  %1204 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1205 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1206 : Tensor = aten::reshape(%1203, %1205)
  %1207 : int[] = prim::Constant[value=[7, 768]]()
  %1208 : int[] = prim::Constant[value=[7, 768]]()
  %1209 : Tensor = aten::reshape(%1206, %1208)
  %1210 : Tensor = aten::mm(%1209, %1083)
  %1211 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1212 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1213 : Tensor = aten::reshape(%1210, %1212)
  %1214 : int = prim::Constant[value=1]()
  %1215 : Tensor = aten::add(%1213, %p108, %1214)
  %1216 : int[] = prim::Constant[value=[7, 768]]()
  %1217 : int[] = prim::Constant[value=[7, 768]]()
  %1218 : Tensor = aten::reshape(%1215, %1217)
  %1219 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1220 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1221 : Tensor = aten::reshape(%1218, %1220)
  %1222 : int = prim::Constant[value=1]()
  %1223 : Tensor = aten::add(%1221, %1077, %1222)
  %1224 : int[] = prim::Constant[value=[768]]()
  %1225 : float = prim::Constant[value=9.9999999999999998e-13]()
  %1226 : Tensor, %1227 : Tensor, %1228 : Tensor = aten::native_layer_norm(%1223, %1224, %p33, %p32, %1225)
  %1229 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%1226, %1227, %1228)
  %1230 : int[] = prim::Constant[value=[1, 0]]()
  %1231 : int[] = prim::Constant[value=[1, 0]]()
  %1232 : Tensor = aten::permute(%p117, %1231)
  %1233 : int[] = prim::Constant[value=[1, 0]]()
  %1234 : int[] = prim::Constant[value=[1, 0]]()
  %1235 : Tensor = aten::permute(%p119, %1234)
  %1236 : int[] = prim::Constant[value=[7, 768]]()
  %1237 : int[] = prim::Constant[value=[7, 768]]()
  %1238 : Tensor = aten::reshape(%1226, %1237)
  %1239 : Tensor = aten::mm(%1238, %1235)
  %1240 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1241 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1242 : Tensor = aten::reshape(%1239, %1241)
  %1243 : int = prim::Constant[value=1]()
  %1244 : Tensor = aten::add(%1242, %p118, %1243)
  %1245 : int[] = prim::Constant[value=[7, 3072]]()
  %1246 : int[] = prim::Constant[value=[7, 3072]]()
  %1247 : Tensor = aten::reshape(%1244, %1246)
  %1248 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1249 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1250 : Tensor = aten::reshape(%1247, %1249)
  %1251 : Tensor = aten::gelu(%1250)
  %1252 : int[] = prim::Constant[value=[7, 3072]]()
  %1253 : int[] = prim::Constant[value=[7, 3072]]()
  %1254 : Tensor = aten::reshape(%1251, %1253)
  %1255 : Tensor = aten::mm(%1254, %1232)
  %1256 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1257 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1258 : Tensor = aten::reshape(%1255, %1257)
  %1259 : int = prim::Constant[value=1]()
  %1260 : Tensor = aten::add(%1258, %p116, %1259)
  %1261 : int[] = prim::Constant[value=[7, 768]]()
  %1262 : int[] = prim::Constant[value=[7, 768]]()
  %1263 : Tensor = aten::reshape(%1260, %1262)
  %1264 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1265 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1266 : Tensor = aten::reshape(%1263, %1265)
  %1267 : int = prim::Constant[value=1]()
  %1268 : Tensor = aten::add(%1266, %1226, %1267)
  %1269 : int[] = prim::Constant[value=[768]]()
  %1270 : float = prim::Constant[value=9.9999999999999998e-13]()
  %1271 : Tensor, %1272 : Tensor, %1273 : Tensor = aten::native_layer_norm(%1268, %1269, %p31, %p30, %1270)
  %1274 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%1271, %1272, %1273)
  %1275 : int[] = prim::Constant[value=[1, 0]]()
  %1276 : int[] = prim::Constant[value=[1, 0]]()
  %1277 : Tensor = aten::permute(%p121, %1276)
  %1278 : int[] = prim::Constant[value=[1, 0]]()
  %1279 : int[] = prim::Constant[value=[1, 0]]()
  %1280 : Tensor = aten::permute(%p123, %1279)
  %1281 : int[] = prim::Constant[value=[7, 768]]()
  %1282 : int[] = prim::Constant[value=[7, 768]]()
  %1283 : Tensor = aten::reshape(%1271, %1282)
  %1284 : Tensor = aten::mm(%1283, %1280)
  %1285 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1286 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1287 : Tensor = aten::reshape(%1284, %1286)
  %1288 : int = prim::Constant[value=1]()
  %1289 : Tensor = aten::add(%1287, %p122, %1288)
  %1290 : int[] = prim::Constant[value=[7, 768]]()
  %1291 : int[] = prim::Constant[value=[7, 768]]()
  %1292 : Tensor = aten::reshape(%1289, %1291)
  %1293 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1294 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1295 : Tensor = aten::reshape(%1292, %1294)
  %1296 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1297 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1298 : Tensor = aten::reshape(%1295, %1297)
  %1299 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1300 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1301 : Tensor = aten::permute(%1298, %1300)
  %1302 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1303 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1304 : bool = prim::Constant[value=0]()
  %1305 : Tensor = aten::expand(%1301, %1303, %1304)
  %1306 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1307 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1308 : Tensor = aten::reshape(%1305, %1307)
  %1309 : int[] = prim::Constant[value=[1, 0]]()
  %1310 : int[] = prim::Constant[value=[1, 0]]()
  %1311 : Tensor = aten::permute(%p125, %1310)
  %1312 : int[] = prim::Constant[value=[7, 768]]()
  %1313 : int[] = prim::Constant[value=[7, 768]]()
  %1314 : Tensor = aten::reshape(%1271, %1313)
  %1315 : Tensor = aten::mm(%1314, %1311)
  %1316 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1317 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1318 : Tensor = aten::reshape(%1315, %1317)
  %1319 : int = prim::Constant[value=1]()
  %1320 : Tensor = aten::add(%1318, %p124, %1319)
  %1321 : int[] = prim::Constant[value=[7, 768]]()
  %1322 : int[] = prim::Constant[value=[7, 768]]()
  %1323 : Tensor = aten::reshape(%1320, %1322)
  %1324 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1325 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1326 : Tensor = aten::reshape(%1323, %1325)
  %1327 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1328 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1329 : Tensor = aten::reshape(%1326, %1328)
  %1330 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1331 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1332 : Tensor = aten::permute(%1329, %1331)
  %1333 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %1334 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %1335 : Tensor = aten::permute(%1332, %1334)
  %1336 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %1337 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %1338 : bool = prim::Constant[value=0]()
  %1339 : Tensor = aten::expand(%1335, %1337, %1338)
  %1340 : int[] = prim::Constant[value=[12, 64, 7]]()
  %1341 : int[] = prim::Constant[value=[12, 64, 7]]()
  %1342 : Tensor = aten::reshape(%1339, %1341)
  %1343 : int[] = prim::Constant[value=[1, 0]]()
  %1344 : int[] = prim::Constant[value=[1, 0]]()
  %1345 : Tensor = aten::permute(%p127, %1344)
  %1346 : int[] = prim::Constant[value=[7, 768]]()
  %1347 : int[] = prim::Constant[value=[7, 768]]()
  %1348 : Tensor = aten::reshape(%1271, %1347)
  %1349 : Tensor = aten::mm(%1348, %1345)
  %1350 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1351 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1352 : Tensor = aten::reshape(%1349, %1351)
  %1353 : int = prim::Constant[value=1]()
  %1354 : Tensor = aten::add(%1352, %p126, %1353)
  %1355 : int[] = prim::Constant[value=[7, 768]]()
  %1356 : int[] = prim::Constant[value=[7, 768]]()
  %1357 : Tensor = aten::reshape(%1354, %1356)
  %1358 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1359 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1360 : Tensor = aten::reshape(%1357, %1359)
  %1361 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1362 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1363 : Tensor = aten::reshape(%1360, %1362)
  %1364 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1365 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1366 : Tensor = aten::permute(%1363, %1365)
  %1367 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1368 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1369 : bool = prim::Constant[value=0]()
  %1370 : Tensor = aten::expand(%1366, %1368, %1369)
  %1371 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1372 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1373 : Tensor = aten::reshape(%1370, %1372)
  %1374 : Tensor = aten::bmm(%1373, %1342)
  %1375 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1376 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1377 : Tensor = aten::reshape(%1374, %1376)
  %1378 : Tensor = aten::div(%1377, %p63)
  %1379 : int = prim::Constant[value=1]()
  %1380 : Tensor = aten::add(%1378, %338, %1379)
  %1381 : int = prim::Constant[value=-1]()
  %1382 : bool = prim::Constant[value=0]()
  %1383 : Tensor = aten::_softmax(%1380, %1381, %1382)
  %1384 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1385 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1386 : bool = prim::Constant[value=0]()
  %1387 : Tensor = aten::expand(%1383, %1385, %1386)
  %1388 : int[] = prim::Constant[value=[12, 7, 7]]()
  %1389 : int[] = prim::Constant[value=[12, 7, 7]]()
  %1390 : Tensor = aten::reshape(%1387, %1389)
  %1391 : Tensor = aten::bmm(%1390, %1308)
  %1392 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1393 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1394 : Tensor = aten::reshape(%1391, %1393)
  %1395 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1396 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1397 : Tensor = aten::permute(%1394, %1396)
  %1398 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1399 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1400 : Tensor = aten::reshape(%1397, %1399)
  %1401 : int[] = prim::Constant[value=[7, 768]]()
  %1402 : int[] = prim::Constant[value=[7, 768]]()
  %1403 : Tensor = aten::reshape(%1400, %1402)
  %1404 : Tensor = aten::mm(%1403, %1277)
  %1405 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1406 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1407 : Tensor = aten::reshape(%1404, %1406)
  %1408 : int = prim::Constant[value=1]()
  %1409 : Tensor = aten::add(%1407, %p120, %1408)
  %1410 : int[] = prim::Constant[value=[7, 768]]()
  %1411 : int[] = prim::Constant[value=[7, 768]]()
  %1412 : Tensor = aten::reshape(%1409, %1411)
  %1413 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1414 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1415 : Tensor = aten::reshape(%1412, %1414)
  %1416 : int = prim::Constant[value=1]()
  %1417 : Tensor = aten::add(%1415, %1271, %1416)
  %1418 : int[] = prim::Constant[value=[768]]()
  %1419 : float = prim::Constant[value=9.9999999999999998e-13]()
  %1420 : Tensor, %1421 : Tensor, %1422 : Tensor = aten::native_layer_norm(%1417, %1418, %p29, %p28, %1419)
  %1423 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%1420, %1421, %1422)
  %1424 : int[] = prim::Constant[value=[1, 0]]()
  %1425 : int[] = prim::Constant[value=[1, 0]]()
  %1426 : Tensor = aten::permute(%p129, %1425)
  %1427 : int[] = prim::Constant[value=[1, 0]]()
  %1428 : int[] = prim::Constant[value=[1, 0]]()
  %1429 : Tensor = aten::permute(%p131, %1428)
  %1430 : int[] = prim::Constant[value=[7, 768]]()
  %1431 : int[] = prim::Constant[value=[7, 768]]()
  %1432 : Tensor = aten::reshape(%1420, %1431)
  %1433 : Tensor = aten::mm(%1432, %1429)
  %1434 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1435 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1436 : Tensor = aten::reshape(%1433, %1435)
  %1437 : int = prim::Constant[value=1]()
  %1438 : Tensor = aten::add(%1436, %p130, %1437)
  %1439 : int[] = prim::Constant[value=[7, 3072]]()
  %1440 : int[] = prim::Constant[value=[7, 3072]]()
  %1441 : Tensor = aten::reshape(%1438, %1440)
  %1442 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1443 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1444 : Tensor = aten::reshape(%1441, %1443)
  %1445 : Tensor = aten::gelu(%1444)
  %1446 : int[] = prim::Constant[value=[7, 3072]]()
  %1447 : int[] = prim::Constant[value=[7, 3072]]()
  %1448 : Tensor = aten::reshape(%1445, %1447)
  %1449 : Tensor = aten::mm(%1448, %1426)
  %1450 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1451 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1452 : Tensor = aten::reshape(%1449, %1451)
  %1453 : int = prim::Constant[value=1]()
  %1454 : Tensor = aten::add(%1452, %p128, %1453)
  %1455 : int[] = prim::Constant[value=[7, 768]]()
  %1456 : int[] = prim::Constant[value=[7, 768]]()
  %1457 : Tensor = aten::reshape(%1454, %1456)
  %1458 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1459 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1460 : Tensor = aten::reshape(%1457, %1459)
  %1461 : int = prim::Constant[value=1]()
  %1462 : Tensor = aten::add(%1460, %1420, %1461)
  %1463 : int[] = prim::Constant[value=[768]]()
  %1464 : float = prim::Constant[value=9.9999999999999998e-13]()
  %1465 : Tensor, %1466 : Tensor, %1467 : Tensor = aten::native_layer_norm(%1462, %1463, %p27, %p26, %1464)
  %1468 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%1465, %1466, %1467)
  %1469 : int[] = prim::Constant[value=[1, 0]]()
  %1470 : int[] = prim::Constant[value=[1, 0]]()
  %1471 : Tensor = aten::permute(%p133, %1470)
  %1472 : int[] = prim::Constant[value=[1, 0]]()
  %1473 : int[] = prim::Constant[value=[1, 0]]()
  %1474 : Tensor = aten::permute(%p135, %1473)
  %1475 : int[] = prim::Constant[value=[7, 768]]()
  %1476 : int[] = prim::Constant[value=[7, 768]]()
  %1477 : Tensor = aten::reshape(%1465, %1476)
  %1478 : Tensor = aten::mm(%1477, %1474)
  %1479 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1480 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1481 : Tensor = aten::reshape(%1478, %1480)
  %1482 : int = prim::Constant[value=1]()
  %1483 : Tensor = aten::add(%1481, %p134, %1482)
  %1484 : int[] = prim::Constant[value=[7, 768]]()
  %1485 : int[] = prim::Constant[value=[7, 768]]()
  %1486 : Tensor = aten::reshape(%1483, %1485)
  %1487 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1488 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1489 : Tensor = aten::reshape(%1486, %1488)
  %1490 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1491 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1492 : Tensor = aten::reshape(%1489, %1491)
  %1493 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1494 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1495 : Tensor = aten::permute(%1492, %1494)
  %1496 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1497 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1498 : bool = prim::Constant[value=0]()
  %1499 : Tensor = aten::expand(%1495, %1497, %1498)
  %1500 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1501 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1502 : Tensor = aten::reshape(%1499, %1501)
  %1503 : int[] = prim::Constant[value=[1, 0]]()
  %1504 : int[] = prim::Constant[value=[1, 0]]()
  %1505 : Tensor = aten::permute(%p137, %1504)
  %1506 : int[] = prim::Constant[value=[7, 768]]()
  %1507 : int[] = prim::Constant[value=[7, 768]]()
  %1508 : Tensor = aten::reshape(%1465, %1507)
  %1509 : Tensor = aten::mm(%1508, %1505)
  %1510 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1511 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1512 : Tensor = aten::reshape(%1509, %1511)
  %1513 : int = prim::Constant[value=1]()
  %1514 : Tensor = aten::add(%1512, %p136, %1513)
  %1515 : int[] = prim::Constant[value=[7, 768]]()
  %1516 : int[] = prim::Constant[value=[7, 768]]()
  %1517 : Tensor = aten::reshape(%1514, %1516)
  %1518 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1519 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1520 : Tensor = aten::reshape(%1517, %1519)
  %1521 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1522 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1523 : Tensor = aten::reshape(%1520, %1522)
  %1524 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1525 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1526 : Tensor = aten::permute(%1523, %1525)
  %1527 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %1528 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %1529 : Tensor = aten::permute(%1526, %1528)
  %1530 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %1531 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %1532 : bool = prim::Constant[value=0]()
  %1533 : Tensor = aten::expand(%1529, %1531, %1532)
  %1534 : int[] = prim::Constant[value=[12, 64, 7]]()
  %1535 : int[] = prim::Constant[value=[12, 64, 7]]()
  %1536 : Tensor = aten::reshape(%1533, %1535)
  %1537 : int[] = prim::Constant[value=[1, 0]]()
  %1538 : int[] = prim::Constant[value=[1, 0]]()
  %1539 : Tensor = aten::permute(%p139, %1538)
  %1540 : int[] = prim::Constant[value=[7, 768]]()
  %1541 : int[] = prim::Constant[value=[7, 768]]()
  %1542 : Tensor = aten::reshape(%1465, %1541)
  %1543 : Tensor = aten::mm(%1542, %1539)
  %1544 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1545 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1546 : Tensor = aten::reshape(%1543, %1545)
  %1547 : int = prim::Constant[value=1]()
  %1548 : Tensor = aten::add(%1546, %p138, %1547)
  %1549 : int[] = prim::Constant[value=[7, 768]]()
  %1550 : int[] = prim::Constant[value=[7, 768]]()
  %1551 : Tensor = aten::reshape(%1548, %1550)
  %1552 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1553 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1554 : Tensor = aten::reshape(%1551, %1553)
  %1555 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1556 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1557 : Tensor = aten::reshape(%1554, %1556)
  %1558 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1559 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1560 : Tensor = aten::permute(%1557, %1559)
  %1561 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1562 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1563 : bool = prim::Constant[value=0]()
  %1564 : Tensor = aten::expand(%1560, %1562, %1563)
  %1565 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1566 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1567 : Tensor = aten::reshape(%1564, %1566)
  %1568 : Tensor = aten::bmm(%1567, %1536)
  %1569 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1570 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1571 : Tensor = aten::reshape(%1568, %1570)
  %1572 : Tensor = aten::div(%1571, %p63)
  %1573 : int = prim::Constant[value=1]()
  %1574 : Tensor = aten::add(%1572, %338, %1573)
  %1575 : int = prim::Constant[value=-1]()
  %1576 : bool = prim::Constant[value=0]()
  %1577 : Tensor = aten::_softmax(%1574, %1575, %1576)
  %1578 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1579 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1580 : bool = prim::Constant[value=0]()
  %1581 : Tensor = aten::expand(%1577, %1579, %1580)
  %1582 : int[] = prim::Constant[value=[12, 7, 7]]()
  %1583 : int[] = prim::Constant[value=[12, 7, 7]]()
  %1584 : Tensor = aten::reshape(%1581, %1583)
  %1585 : Tensor = aten::bmm(%1584, %1502)
  %1586 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1587 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1588 : Tensor = aten::reshape(%1585, %1587)
  %1589 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1590 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1591 : Tensor = aten::permute(%1588, %1590)
  %1592 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1593 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1594 : Tensor = aten::reshape(%1591, %1593)
  %1595 : int[] = prim::Constant[value=[7, 768]]()
  %1596 : int[] = prim::Constant[value=[7, 768]]()
  %1597 : Tensor = aten::reshape(%1594, %1596)
  %1598 : Tensor = aten::mm(%1597, %1471)
  %1599 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1600 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1601 : Tensor = aten::reshape(%1598, %1600)
  %1602 : int = prim::Constant[value=1]()
  %1603 : Tensor = aten::add(%1601, %p132, %1602)
  %1604 : int[] = prim::Constant[value=[7, 768]]()
  %1605 : int[] = prim::Constant[value=[7, 768]]()
  %1606 : Tensor = aten::reshape(%1603, %1605)
  %1607 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1608 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1609 : Tensor = aten::reshape(%1606, %1608)
  %1610 : int = prim::Constant[value=1]()
  %1611 : Tensor = aten::add(%1609, %1465, %1610)
  %1612 : int[] = prim::Constant[value=[768]]()
  %1613 : float = prim::Constant[value=9.9999999999999998e-13]()
  %1614 : Tensor, %1615 : Tensor, %1616 : Tensor = aten::native_layer_norm(%1611, %1612, %p25, %p24, %1613)
  %1617 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%1614, %1615, %1616)
  %1618 : int[] = prim::Constant[value=[1, 0]]()
  %1619 : int[] = prim::Constant[value=[1, 0]]()
  %1620 : Tensor = aten::permute(%p141, %1619)
  %1621 : int[] = prim::Constant[value=[1, 0]]()
  %1622 : int[] = prim::Constant[value=[1, 0]]()
  %1623 : Tensor = aten::permute(%p143, %1622)
  %1624 : int[] = prim::Constant[value=[7, 768]]()
  %1625 : int[] = prim::Constant[value=[7, 768]]()
  %1626 : Tensor = aten::reshape(%1614, %1625)
  %1627 : Tensor = aten::mm(%1626, %1623)
  %1628 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1629 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1630 : Tensor = aten::reshape(%1627, %1629)
  %1631 : int = prim::Constant[value=1]()
  %1632 : Tensor = aten::add(%1630, %p142, %1631)
  %1633 : int[] = prim::Constant[value=[7, 3072]]()
  %1634 : int[] = prim::Constant[value=[7, 3072]]()
  %1635 : Tensor = aten::reshape(%1632, %1634)
  %1636 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1637 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1638 : Tensor = aten::reshape(%1635, %1637)
  %1639 : Tensor = aten::gelu(%1638)
  %1640 : int[] = prim::Constant[value=[7, 3072]]()
  %1641 : int[] = prim::Constant[value=[7, 3072]]()
  %1642 : Tensor = aten::reshape(%1639, %1641)
  %1643 : Tensor = aten::mm(%1642, %1620)
  %1644 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1645 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1646 : Tensor = aten::reshape(%1643, %1645)
  %1647 : int = prim::Constant[value=1]()
  %1648 : Tensor = aten::add(%1646, %p140, %1647)
  %1649 : int[] = prim::Constant[value=[7, 768]]()
  %1650 : int[] = prim::Constant[value=[7, 768]]()
  %1651 : Tensor = aten::reshape(%1648, %1650)
  %1652 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1653 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1654 : Tensor = aten::reshape(%1651, %1653)
  %1655 : int = prim::Constant[value=1]()
  %1656 : Tensor = aten::add(%1654, %1614, %1655)
  %1657 : int[] = prim::Constant[value=[768]]()
  %1658 : float = prim::Constant[value=9.9999999999999998e-13]()
  %1659 : Tensor, %1660 : Tensor, %1661 : Tensor = aten::native_layer_norm(%1656, %1657, %p23, %p22, %1658)
  %1662 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%1659, %1660, %1661)
  %1663 : int[] = prim::Constant[value=[1, 0]]()
  %1664 : int[] = prim::Constant[value=[1, 0]]()
  %1665 : Tensor = aten::permute(%p145, %1664)
  %1666 : int[] = prim::Constant[value=[1, 0]]()
  %1667 : int[] = prim::Constant[value=[1, 0]]()
  %1668 : Tensor = aten::permute(%p147, %1667)
  %1669 : int[] = prim::Constant[value=[7, 768]]()
  %1670 : int[] = prim::Constant[value=[7, 768]]()
  %1671 : Tensor = aten::reshape(%1659, %1670)
  %1672 : Tensor = aten::mm(%1671, %1668)
  %1673 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1674 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1675 : Tensor = aten::reshape(%1672, %1674)
  %1676 : int = prim::Constant[value=1]()
  %1677 : Tensor = aten::add(%1675, %p146, %1676)
  %1678 : int[] = prim::Constant[value=[7, 768]]()
  %1679 : int[] = prim::Constant[value=[7, 768]]()
  %1680 : Tensor = aten::reshape(%1677, %1679)
  %1681 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1682 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1683 : Tensor = aten::reshape(%1680, %1682)
  %1684 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1685 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1686 : Tensor = aten::reshape(%1683, %1685)
  %1687 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1688 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1689 : Tensor = aten::permute(%1686, %1688)
  %1690 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1691 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1692 : bool = prim::Constant[value=0]()
  %1693 : Tensor = aten::expand(%1689, %1691, %1692)
  %1694 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1695 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1696 : Tensor = aten::reshape(%1693, %1695)
  %1697 : int[] = prim::Constant[value=[1, 0]]()
  %1698 : int[] = prim::Constant[value=[1, 0]]()
  %1699 : Tensor = aten::permute(%p149, %1698)
  %1700 : int[] = prim::Constant[value=[7, 768]]()
  %1701 : int[] = prim::Constant[value=[7, 768]]()
  %1702 : Tensor = aten::reshape(%1659, %1701)
  %1703 : Tensor = aten::mm(%1702, %1699)
  %1704 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1705 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1706 : Tensor = aten::reshape(%1703, %1705)
  %1707 : int = prim::Constant[value=1]()
  %1708 : Tensor = aten::add(%1706, %p148, %1707)
  %1709 : int[] = prim::Constant[value=[7, 768]]()
  %1710 : int[] = prim::Constant[value=[7, 768]]()
  %1711 : Tensor = aten::reshape(%1708, %1710)
  %1712 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1713 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1714 : Tensor = aten::reshape(%1711, %1713)
  %1715 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1716 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1717 : Tensor = aten::reshape(%1714, %1716)
  %1718 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1719 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1720 : Tensor = aten::permute(%1717, %1719)
  %1721 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %1722 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %1723 : Tensor = aten::permute(%1720, %1722)
  %1724 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %1725 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %1726 : bool = prim::Constant[value=0]()
  %1727 : Tensor = aten::expand(%1723, %1725, %1726)
  %1728 : int[] = prim::Constant[value=[12, 64, 7]]()
  %1729 : int[] = prim::Constant[value=[12, 64, 7]]()
  %1730 : Tensor = aten::reshape(%1727, %1729)
  %1731 : int[] = prim::Constant[value=[1, 0]]()
  %1732 : int[] = prim::Constant[value=[1, 0]]()
  %1733 : Tensor = aten::permute(%p151, %1732)
  %1734 : int[] = prim::Constant[value=[7, 768]]()
  %1735 : int[] = prim::Constant[value=[7, 768]]()
  %1736 : Tensor = aten::reshape(%1659, %1735)
  %1737 : Tensor = aten::mm(%1736, %1733)
  %1738 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1739 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1740 : Tensor = aten::reshape(%1737, %1739)
  %1741 : int = prim::Constant[value=1]()
  %1742 : Tensor = aten::add(%1740, %p150, %1741)
  %1743 : int[] = prim::Constant[value=[7, 768]]()
  %1744 : int[] = prim::Constant[value=[7, 768]]()
  %1745 : Tensor = aten::reshape(%1742, %1744)
  %1746 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1747 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1748 : Tensor = aten::reshape(%1745, %1747)
  %1749 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1750 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1751 : Tensor = aten::reshape(%1748, %1750)
  %1752 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1753 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1754 : Tensor = aten::permute(%1751, %1753)
  %1755 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1756 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1757 : bool = prim::Constant[value=0]()
  %1758 : Tensor = aten::expand(%1754, %1756, %1757)
  %1759 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1760 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1761 : Tensor = aten::reshape(%1758, %1760)
  %1762 : Tensor = aten::bmm(%1761, %1730)
  %1763 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1764 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1765 : Tensor = aten::reshape(%1762, %1764)
  %1766 : Tensor = aten::div(%1765, %p63)
  %1767 : int = prim::Constant[value=1]()
  %1768 : Tensor = aten::add(%1766, %338, %1767)
  %1769 : int = prim::Constant[value=-1]()
  %1770 : bool = prim::Constant[value=0]()
  %1771 : Tensor = aten::_softmax(%1768, %1769, %1770)
  %1772 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1773 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1774 : bool = prim::Constant[value=0]()
  %1775 : Tensor = aten::expand(%1771, %1773, %1774)
  %1776 : int[] = prim::Constant[value=[12, 7, 7]]()
  %1777 : int[] = prim::Constant[value=[12, 7, 7]]()
  %1778 : Tensor = aten::reshape(%1775, %1777)
  %1779 : Tensor = aten::bmm(%1778, %1696)
  %1780 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1781 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1782 : Tensor = aten::reshape(%1779, %1781)
  %1783 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1784 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1785 : Tensor = aten::permute(%1782, %1784)
  %1786 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1787 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1788 : Tensor = aten::reshape(%1785, %1787)
  %1789 : int[] = prim::Constant[value=[7, 768]]()
  %1790 : int[] = prim::Constant[value=[7, 768]]()
  %1791 : Tensor = aten::reshape(%1788, %1790)
  %1792 : Tensor = aten::mm(%1791, %1665)
  %1793 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1794 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1795 : Tensor = aten::reshape(%1792, %1794)
  %1796 : int = prim::Constant[value=1]()
  %1797 : Tensor = aten::add(%1795, %p144, %1796)
  %1798 : int[] = prim::Constant[value=[7, 768]]()
  %1799 : int[] = prim::Constant[value=[7, 768]]()
  %1800 : Tensor = aten::reshape(%1797, %1799)
  %1801 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1802 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1803 : Tensor = aten::reshape(%1800, %1802)
  %1804 : int = prim::Constant[value=1]()
  %1805 : Tensor = aten::add(%1803, %1659, %1804)
  %1806 : int[] = prim::Constant[value=[768]]()
  %1807 : float = prim::Constant[value=9.9999999999999998e-13]()
  %1808 : Tensor, %1809 : Tensor, %1810 : Tensor = aten::native_layer_norm(%1805, %1806, %p21, %p20, %1807)
  %1811 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%1808, %1809, %1810)
  %1812 : int[] = prim::Constant[value=[1, 0]]()
  %1813 : int[] = prim::Constant[value=[1, 0]]()
  %1814 : Tensor = aten::permute(%p153, %1813)
  %1815 : int[] = prim::Constant[value=[1, 0]]()
  %1816 : int[] = prim::Constant[value=[1, 0]]()
  %1817 : Tensor = aten::permute(%p155, %1816)
  %1818 : int[] = prim::Constant[value=[7, 768]]()
  %1819 : int[] = prim::Constant[value=[7, 768]]()
  %1820 : Tensor = aten::reshape(%1808, %1819)
  %1821 : Tensor = aten::mm(%1820, %1817)
  %1822 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1823 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1824 : Tensor = aten::reshape(%1821, %1823)
  %1825 : int = prim::Constant[value=1]()
  %1826 : Tensor = aten::add(%1824, %p154, %1825)
  %1827 : int[] = prim::Constant[value=[7, 3072]]()
  %1828 : int[] = prim::Constant[value=[7, 3072]]()
  %1829 : Tensor = aten::reshape(%1826, %1828)
  %1830 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1831 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %1832 : Tensor = aten::reshape(%1829, %1831)
  %1833 : Tensor = aten::gelu(%1832)
  %1834 : int[] = prim::Constant[value=[7, 3072]]()
  %1835 : int[] = prim::Constant[value=[7, 3072]]()
  %1836 : Tensor = aten::reshape(%1833, %1835)
  %1837 : Tensor = aten::mm(%1836, %1814)
  %1838 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1839 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1840 : Tensor = aten::reshape(%1837, %1839)
  %1841 : int = prim::Constant[value=1]()
  %1842 : Tensor = aten::add(%1840, %p152, %1841)
  %1843 : int[] = prim::Constant[value=[7, 768]]()
  %1844 : int[] = prim::Constant[value=[7, 768]]()
  %1845 : Tensor = aten::reshape(%1842, %1844)
  %1846 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1847 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1848 : Tensor = aten::reshape(%1845, %1847)
  %1849 : int = prim::Constant[value=1]()
  %1850 : Tensor = aten::add(%1848, %1808, %1849)
  %1851 : int[] = prim::Constant[value=[768]]()
  %1852 : float = prim::Constant[value=9.9999999999999998e-13]()
  %1853 : Tensor, %1854 : Tensor, %1855 : Tensor = aten::native_layer_norm(%1850, %1851, %p19, %p18, %1852)
  %1856 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%1853, %1854, %1855)
  %1857 : int[] = prim::Constant[value=[1, 0]]()
  %1858 : int[] = prim::Constant[value=[1, 0]]()
  %1859 : Tensor = aten::permute(%p157, %1858)
  %1860 : int[] = prim::Constant[value=[1, 0]]()
  %1861 : int[] = prim::Constant[value=[1, 0]]()
  %1862 : Tensor = aten::permute(%p159, %1861)
  %1863 : int[] = prim::Constant[value=[7, 768]]()
  %1864 : int[] = prim::Constant[value=[7, 768]]()
  %1865 : Tensor = aten::reshape(%1853, %1864)
  %1866 : Tensor = aten::mm(%1865, %1862)
  %1867 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1868 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1869 : Tensor = aten::reshape(%1866, %1868)
  %1870 : int = prim::Constant[value=1]()
  %1871 : Tensor = aten::add(%1869, %p158, %1870)
  %1872 : int[] = prim::Constant[value=[7, 768]]()
  %1873 : int[] = prim::Constant[value=[7, 768]]()
  %1874 : Tensor = aten::reshape(%1871, %1873)
  %1875 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1876 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1877 : Tensor = aten::reshape(%1874, %1876)
  %1878 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1879 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1880 : Tensor = aten::reshape(%1877, %1879)
  %1881 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1882 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1883 : Tensor = aten::permute(%1880, %1882)
  %1884 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1885 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1886 : bool = prim::Constant[value=0]()
  %1887 : Tensor = aten::expand(%1883, %1885, %1886)
  %1888 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1889 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1890 : Tensor = aten::reshape(%1887, %1889)
  %1891 : int[] = prim::Constant[value=[1, 0]]()
  %1892 : int[] = prim::Constant[value=[1, 0]]()
  %1893 : Tensor = aten::permute(%p161, %1892)
  %1894 : int[] = prim::Constant[value=[7, 768]]()
  %1895 : int[] = prim::Constant[value=[7, 768]]()
  %1896 : Tensor = aten::reshape(%1853, %1895)
  %1897 : Tensor = aten::mm(%1896, %1893)
  %1898 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1899 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1900 : Tensor = aten::reshape(%1897, %1899)
  %1901 : int = prim::Constant[value=1]()
  %1902 : Tensor = aten::add(%1900, %p160, %1901)
  %1903 : int[] = prim::Constant[value=[7, 768]]()
  %1904 : int[] = prim::Constant[value=[7, 768]]()
  %1905 : Tensor = aten::reshape(%1902, %1904)
  %1906 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1907 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1908 : Tensor = aten::reshape(%1905, %1907)
  %1909 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1910 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1911 : Tensor = aten::reshape(%1908, %1910)
  %1912 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1913 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1914 : Tensor = aten::permute(%1911, %1913)
  %1915 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %1916 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %1917 : Tensor = aten::permute(%1914, %1916)
  %1918 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %1919 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %1920 : bool = prim::Constant[value=0]()
  %1921 : Tensor = aten::expand(%1917, %1919, %1920)
  %1922 : int[] = prim::Constant[value=[12, 64, 7]]()
  %1923 : int[] = prim::Constant[value=[12, 64, 7]]()
  %1924 : Tensor = aten::reshape(%1921, %1923)
  %1925 : int[] = prim::Constant[value=[1, 0]]()
  %1926 : int[] = prim::Constant[value=[1, 0]]()
  %1927 : Tensor = aten::permute(%p163, %1926)
  %1928 : int[] = prim::Constant[value=[7, 768]]()
  %1929 : int[] = prim::Constant[value=[7, 768]]()
  %1930 : Tensor = aten::reshape(%1853, %1929)
  %1931 : Tensor = aten::mm(%1930, %1927)
  %1932 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1933 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1934 : Tensor = aten::reshape(%1931, %1933)
  %1935 : int = prim::Constant[value=1]()
  %1936 : Tensor = aten::add(%1934, %p162, %1935)
  %1937 : int[] = prim::Constant[value=[7, 768]]()
  %1938 : int[] = prim::Constant[value=[7, 768]]()
  %1939 : Tensor = aten::reshape(%1936, %1938)
  %1940 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1941 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1942 : Tensor = aten::reshape(%1939, %1941)
  %1943 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1944 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %1945 : Tensor = aten::reshape(%1942, %1944)
  %1946 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1947 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1948 : Tensor = aten::permute(%1945, %1947)
  %1949 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1950 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1951 : bool = prim::Constant[value=0]()
  %1952 : Tensor = aten::expand(%1948, %1950, %1951)
  %1953 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1954 : int[] = prim::Constant[value=[12, 7, 64]]()
  %1955 : Tensor = aten::reshape(%1952, %1954)
  %1956 : Tensor = aten::bmm(%1955, %1924)
  %1957 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1958 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1959 : Tensor = aten::reshape(%1956, %1958)
  %1960 : Tensor = aten::div(%1959, %p63)
  %1961 : int = prim::Constant[value=1]()
  %1962 : Tensor = aten::add(%1960, %338, %1961)
  %1963 : int = prim::Constant[value=-1]()
  %1964 : bool = prim::Constant[value=0]()
  %1965 : Tensor = aten::_softmax(%1962, %1963, %1964)
  %1966 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1967 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %1968 : bool = prim::Constant[value=0]()
  %1969 : Tensor = aten::expand(%1965, %1967, %1968)
  %1970 : int[] = prim::Constant[value=[12, 7, 7]]()
  %1971 : int[] = prim::Constant[value=[12, 7, 7]]()
  %1972 : Tensor = aten::reshape(%1969, %1971)
  %1973 : Tensor = aten::bmm(%1972, %1890)
  %1974 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1975 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %1976 : Tensor = aten::reshape(%1973, %1975)
  %1977 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1978 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %1979 : Tensor = aten::permute(%1976, %1978)
  %1980 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1981 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1982 : Tensor = aten::reshape(%1979, %1981)
  %1983 : int[] = prim::Constant[value=[7, 768]]()
  %1984 : int[] = prim::Constant[value=[7, 768]]()
  %1985 : Tensor = aten::reshape(%1982, %1984)
  %1986 : Tensor = aten::mm(%1985, %1859)
  %1987 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1988 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1989 : Tensor = aten::reshape(%1986, %1988)
  %1990 : int = prim::Constant[value=1]()
  %1991 : Tensor = aten::add(%1989, %p156, %1990)
  %1992 : int[] = prim::Constant[value=[7, 768]]()
  %1993 : int[] = prim::Constant[value=[7, 768]]()
  %1994 : Tensor = aten::reshape(%1991, %1993)
  %1995 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1996 : int[] = prim::Constant[value=[1, 7, 768]]()
  %1997 : Tensor = aten::reshape(%1994, %1996)
  %1998 : int = prim::Constant[value=1]()
  %1999 : Tensor = aten::add(%1997, %1853, %1998)
  %2000 : int[] = prim::Constant[value=[768]]()
  %2001 : float = prim::Constant[value=9.9999999999999998e-13]()
  %2002 : Tensor, %2003 : Tensor, %2004 : Tensor = aten::native_layer_norm(%1999, %2000, %p17, %p16, %2001)
  %2005 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%2002, %2003, %2004)
  %2006 : int[] = prim::Constant[value=[1, 0]]()
  %2007 : int[] = prim::Constant[value=[1, 0]]()
  %2008 : Tensor = aten::permute(%p165, %2007)
  %2009 : int[] = prim::Constant[value=[1, 0]]()
  %2010 : int[] = prim::Constant[value=[1, 0]]()
  %2011 : Tensor = aten::permute(%p167, %2010)
  %2012 : int[] = prim::Constant[value=[7, 768]]()
  %2013 : int[] = prim::Constant[value=[7, 768]]()
  %2014 : Tensor = aten::reshape(%2002, %2013)
  %2015 : Tensor = aten::mm(%2014, %2011)
  %2016 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %2017 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %2018 : Tensor = aten::reshape(%2015, %2017)
  %2019 : int = prim::Constant[value=1]()
  %2020 : Tensor = aten::add(%2018, %p166, %2019)
  %2021 : int[] = prim::Constant[value=[7, 3072]]()
  %2022 : int[] = prim::Constant[value=[7, 3072]]()
  %2023 : Tensor = aten::reshape(%2020, %2022)
  %2024 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %2025 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %2026 : Tensor = aten::reshape(%2023, %2025)
  %2027 : Tensor = aten::gelu(%2026)
  %2028 : int[] = prim::Constant[value=[7, 3072]]()
  %2029 : int[] = prim::Constant[value=[7, 3072]]()
  %2030 : Tensor = aten::reshape(%2027, %2029)
  %2031 : Tensor = aten::mm(%2030, %2008)
  %2032 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2033 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2034 : Tensor = aten::reshape(%2031, %2033)
  %2035 : int = prim::Constant[value=1]()
  %2036 : Tensor = aten::add(%2034, %p164, %2035)
  %2037 : int[] = prim::Constant[value=[7, 768]]()
  %2038 : int[] = prim::Constant[value=[7, 768]]()
  %2039 : Tensor = aten::reshape(%2036, %2038)
  %2040 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2041 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2042 : Tensor = aten::reshape(%2039, %2041)
  %2043 : int = prim::Constant[value=1]()
  %2044 : Tensor = aten::add(%2042, %2002, %2043)
  %2045 : int[] = prim::Constant[value=[768]]()
  %2046 : float = prim::Constant[value=9.9999999999999998e-13]()
  %2047 : Tensor, %2048 : Tensor, %2049 : Tensor = aten::native_layer_norm(%2044, %2045, %p15, %p14, %2046)
  %2050 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%2047, %2048, %2049)
  %2051 : int[] = prim::Constant[value=[1, 0]]()
  %2052 : int[] = prim::Constant[value=[1, 0]]()
  %2053 : Tensor = aten::permute(%p169, %2052)
  %2054 : int[] = prim::Constant[value=[1, 0]]()
  %2055 : int[] = prim::Constant[value=[1, 0]]()
  %2056 : Tensor = aten::permute(%p171, %2055)
  %2057 : int[] = prim::Constant[value=[7, 768]]()
  %2058 : int[] = prim::Constant[value=[7, 768]]()
  %2059 : Tensor = aten::reshape(%2047, %2058)
  %2060 : Tensor = aten::mm(%2059, %2056)
  %2061 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2062 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2063 : Tensor = aten::reshape(%2060, %2062)
  %2064 : int = prim::Constant[value=1]()
  %2065 : Tensor = aten::add(%2063, %p170, %2064)
  %2066 : int[] = prim::Constant[value=[7, 768]]()
  %2067 : int[] = prim::Constant[value=[7, 768]]()
  %2068 : Tensor = aten::reshape(%2065, %2067)
  %2069 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2070 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2071 : Tensor = aten::reshape(%2068, %2070)
  %2072 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2073 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2074 : Tensor = aten::reshape(%2071, %2073)
  %2075 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2076 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2077 : Tensor = aten::permute(%2074, %2076)
  %2078 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2079 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2080 : bool = prim::Constant[value=0]()
  %2081 : Tensor = aten::expand(%2077, %2079, %2080)
  %2082 : int[] = prim::Constant[value=[12, 7, 64]]()
  %2083 : int[] = prim::Constant[value=[12, 7, 64]]()
  %2084 : Tensor = aten::reshape(%2081, %2083)
  %2085 : int[] = prim::Constant[value=[1, 0]]()
  %2086 : int[] = prim::Constant[value=[1, 0]]()
  %2087 : Tensor = aten::permute(%p173, %2086)
  %2088 : int[] = prim::Constant[value=[7, 768]]()
  %2089 : int[] = prim::Constant[value=[7, 768]]()
  %2090 : Tensor = aten::reshape(%2047, %2089)
  %2091 : Tensor = aten::mm(%2090, %2087)
  %2092 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2093 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2094 : Tensor = aten::reshape(%2091, %2093)
  %2095 : int = prim::Constant[value=1]()
  %2096 : Tensor = aten::add(%2094, %p172, %2095)
  %2097 : int[] = prim::Constant[value=[7, 768]]()
  %2098 : int[] = prim::Constant[value=[7, 768]]()
  %2099 : Tensor = aten::reshape(%2096, %2098)
  %2100 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2101 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2102 : Tensor = aten::reshape(%2099, %2101)
  %2103 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2104 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2105 : Tensor = aten::reshape(%2102, %2104)
  %2106 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2107 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2108 : Tensor = aten::permute(%2105, %2107)
  %2109 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %2110 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %2111 : Tensor = aten::permute(%2108, %2110)
  %2112 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %2113 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %2114 : bool = prim::Constant[value=0]()
  %2115 : Tensor = aten::expand(%2111, %2113, %2114)
  %2116 : int[] = prim::Constant[value=[12, 64, 7]]()
  %2117 : int[] = prim::Constant[value=[12, 64, 7]]()
  %2118 : Tensor = aten::reshape(%2115, %2117)
  %2119 : int[] = prim::Constant[value=[1, 0]]()
  %2120 : int[] = prim::Constant[value=[1, 0]]()
  %2121 : Tensor = aten::permute(%p175, %2120)
  %2122 : int[] = prim::Constant[value=[7, 768]]()
  %2123 : int[] = prim::Constant[value=[7, 768]]()
  %2124 : Tensor = aten::reshape(%2047, %2123)
  %2125 : Tensor = aten::mm(%2124, %2121)
  %2126 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2127 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2128 : Tensor = aten::reshape(%2125, %2127)
  %2129 : int = prim::Constant[value=1]()
  %2130 : Tensor = aten::add(%2128, %p174, %2129)
  %2131 : int[] = prim::Constant[value=[7, 768]]()
  %2132 : int[] = prim::Constant[value=[7, 768]]()
  %2133 : Tensor = aten::reshape(%2130, %2132)
  %2134 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2135 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2136 : Tensor = aten::reshape(%2133, %2135)
  %2137 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2138 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2139 : Tensor = aten::reshape(%2136, %2138)
  %2140 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2141 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2142 : Tensor = aten::permute(%2139, %2141)
  %2143 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2144 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2145 : bool = prim::Constant[value=0]()
  %2146 : Tensor = aten::expand(%2142, %2144, %2145)
  %2147 : int[] = prim::Constant[value=[12, 7, 64]]()
  %2148 : int[] = prim::Constant[value=[12, 7, 64]]()
  %2149 : Tensor = aten::reshape(%2146, %2148)
  %2150 : Tensor = aten::bmm(%2149, %2118)
  %2151 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %2152 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %2153 : Tensor = aten::reshape(%2150, %2152)
  %2154 : Tensor = aten::div(%2153, %p63)
  %2155 : int = prim::Constant[value=1]()
  %2156 : Tensor = aten::add(%2154, %338, %2155)
  %2157 : int = prim::Constant[value=-1]()
  %2158 : bool = prim::Constant[value=0]()
  %2159 : Tensor = aten::_softmax(%2156, %2157, %2158)
  %2160 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %2161 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %2162 : bool = prim::Constant[value=0]()
  %2163 : Tensor = aten::expand(%2159, %2161, %2162)
  %2164 : int[] = prim::Constant[value=[12, 7, 7]]()
  %2165 : int[] = prim::Constant[value=[12, 7, 7]]()
  %2166 : Tensor = aten::reshape(%2163, %2165)
  %2167 : Tensor = aten::bmm(%2166, %2084)
  %2168 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2169 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2170 : Tensor = aten::reshape(%2167, %2169)
  %2171 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2172 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2173 : Tensor = aten::permute(%2170, %2172)
  %2174 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2175 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2176 : Tensor = aten::reshape(%2173, %2175)
  %2177 : int[] = prim::Constant[value=[7, 768]]()
  %2178 : int[] = prim::Constant[value=[7, 768]]()
  %2179 : Tensor = aten::reshape(%2176, %2178)
  %2180 : Tensor = aten::mm(%2179, %2053)
  %2181 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2182 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2183 : Tensor = aten::reshape(%2180, %2182)
  %2184 : int = prim::Constant[value=1]()
  %2185 : Tensor = aten::add(%2183, %p168, %2184)
  %2186 : int[] = prim::Constant[value=[7, 768]]()
  %2187 : int[] = prim::Constant[value=[7, 768]]()
  %2188 : Tensor = aten::reshape(%2185, %2187)
  %2189 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2190 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2191 : Tensor = aten::reshape(%2188, %2190)
  %2192 : int = prim::Constant[value=1]()
  %2193 : Tensor = aten::add(%2191, %2047, %2192)
  %2194 : int[] = prim::Constant[value=[768]]()
  %2195 : float = prim::Constant[value=9.9999999999999998e-13]()
  %2196 : Tensor, %2197 : Tensor, %2198 : Tensor = aten::native_layer_norm(%2193, %2194, %p13, %p12, %2195)
  %2199 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%2196, %2197, %2198)
  %2200 : int[] = prim::Constant[value=[1, 0]]()
  %2201 : int[] = prim::Constant[value=[1, 0]]()
  %2202 : Tensor = aten::permute(%p177, %2201)
  %2203 : int[] = prim::Constant[value=[1, 0]]()
  %2204 : int[] = prim::Constant[value=[1, 0]]()
  %2205 : Tensor = aten::permute(%p179, %2204)
  %2206 : int[] = prim::Constant[value=[7, 768]]()
  %2207 : int[] = prim::Constant[value=[7, 768]]()
  %2208 : Tensor = aten::reshape(%2196, %2207)
  %2209 : Tensor = aten::mm(%2208, %2205)
  %2210 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %2211 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %2212 : Tensor = aten::reshape(%2209, %2211)
  %2213 : int = prim::Constant[value=1]()
  %2214 : Tensor = aten::add(%2212, %p178, %2213)
  %2215 : int[] = prim::Constant[value=[7, 3072]]()
  %2216 : int[] = prim::Constant[value=[7, 3072]]()
  %2217 : Tensor = aten::reshape(%2214, %2216)
  %2218 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %2219 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %2220 : Tensor = aten::reshape(%2217, %2219)
  %2221 : Tensor = aten::gelu(%2220)
  %2222 : int[] = prim::Constant[value=[7, 3072]]()
  %2223 : int[] = prim::Constant[value=[7, 3072]]()
  %2224 : Tensor = aten::reshape(%2221, %2223)
  %2225 : Tensor = aten::mm(%2224, %2202)
  %2226 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2227 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2228 : Tensor = aten::reshape(%2225, %2227)
  %2229 : int = prim::Constant[value=1]()
  %2230 : Tensor = aten::add(%2228, %p176, %2229)
  %2231 : int[] = prim::Constant[value=[7, 768]]()
  %2232 : int[] = prim::Constant[value=[7, 768]]()
  %2233 : Tensor = aten::reshape(%2230, %2232)
  %2234 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2235 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2236 : Tensor = aten::reshape(%2233, %2235)
  %2237 : int = prim::Constant[value=1]()
  %2238 : Tensor = aten::add(%2236, %2196, %2237)
  %2239 : int[] = prim::Constant[value=[768]]()
  %2240 : float = prim::Constant[value=9.9999999999999998e-13]()
  %2241 : Tensor, %2242 : Tensor, %2243 : Tensor = aten::native_layer_norm(%2238, %2239, %p11, %p10, %2240)
  %2244 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%2241, %2242, %2243)
  %2245 : int[] = prim::Constant[value=[1, 0]]()
  %2246 : int[] = prim::Constant[value=[1, 0]]()
  %2247 : Tensor = aten::permute(%p181, %2246)
  %2248 : int[] = prim::Constant[value=[1, 0]]()
  %2249 : int[] = prim::Constant[value=[1, 0]]()
  %2250 : Tensor = aten::permute(%p183, %2249)
  %2251 : int[] = prim::Constant[value=[7, 768]]()
  %2252 : int[] = prim::Constant[value=[7, 768]]()
  %2253 : Tensor = aten::reshape(%2241, %2252)
  %2254 : Tensor = aten::mm(%2253, %2250)
  %2255 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2256 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2257 : Tensor = aten::reshape(%2254, %2256)
  %2258 : int = prim::Constant[value=1]()
  %2259 : Tensor = aten::add(%2257, %p182, %2258)
  %2260 : int[] = prim::Constant[value=[7, 768]]()
  %2261 : int[] = prim::Constant[value=[7, 768]]()
  %2262 : Tensor = aten::reshape(%2259, %2261)
  %2263 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2264 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2265 : Tensor = aten::reshape(%2262, %2264)
  %2266 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2267 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2268 : Tensor = aten::reshape(%2265, %2267)
  %2269 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2270 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2271 : Tensor = aten::permute(%2268, %2270)
  %2272 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2273 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2274 : bool = prim::Constant[value=0]()
  %2275 : Tensor = aten::expand(%2271, %2273, %2274)
  %2276 : int[] = prim::Constant[value=[12, 7, 64]]()
  %2277 : int[] = prim::Constant[value=[12, 7, 64]]()
  %2278 : Tensor = aten::reshape(%2275, %2277)
  %2279 : int[] = prim::Constant[value=[1, 0]]()
  %2280 : int[] = prim::Constant[value=[1, 0]]()
  %2281 : Tensor = aten::permute(%p185, %2280)
  %2282 : int[] = prim::Constant[value=[7, 768]]()
  %2283 : int[] = prim::Constant[value=[7, 768]]()
  %2284 : Tensor = aten::reshape(%2241, %2283)
  %2285 : Tensor = aten::mm(%2284, %2281)
  %2286 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2287 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2288 : Tensor = aten::reshape(%2285, %2287)
  %2289 : int = prim::Constant[value=1]()
  %2290 : Tensor = aten::add(%2288, %p184, %2289)
  %2291 : int[] = prim::Constant[value=[7, 768]]()
  %2292 : int[] = prim::Constant[value=[7, 768]]()
  %2293 : Tensor = aten::reshape(%2290, %2292)
  %2294 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2295 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2296 : Tensor = aten::reshape(%2293, %2295)
  %2297 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2298 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2299 : Tensor = aten::reshape(%2296, %2298)
  %2300 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2301 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2302 : Tensor = aten::permute(%2299, %2301)
  %2303 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %2304 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %2305 : Tensor = aten::permute(%2302, %2304)
  %2306 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %2307 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %2308 : bool = prim::Constant[value=0]()
  %2309 : Tensor = aten::expand(%2305, %2307, %2308)
  %2310 : int[] = prim::Constant[value=[12, 64, 7]]()
  %2311 : int[] = prim::Constant[value=[12, 64, 7]]()
  %2312 : Tensor = aten::reshape(%2309, %2311)
  %2313 : int[] = prim::Constant[value=[1, 0]]()
  %2314 : int[] = prim::Constant[value=[1, 0]]()
  %2315 : Tensor = aten::permute(%p187, %2314)
  %2316 : int[] = prim::Constant[value=[7, 768]]()
  %2317 : int[] = prim::Constant[value=[7, 768]]()
  %2318 : Tensor = aten::reshape(%2241, %2317)
  %2319 : Tensor = aten::mm(%2318, %2315)
  %2320 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2321 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2322 : Tensor = aten::reshape(%2319, %2321)
  %2323 : int = prim::Constant[value=1]()
  %2324 : Tensor = aten::add(%2322, %p186, %2323)
  %2325 : int[] = prim::Constant[value=[7, 768]]()
  %2326 : int[] = prim::Constant[value=[7, 768]]()
  %2327 : Tensor = aten::reshape(%2324, %2326)
  %2328 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2329 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2330 : Tensor = aten::reshape(%2327, %2329)
  %2331 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2332 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2333 : Tensor = aten::reshape(%2330, %2332)
  %2334 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2335 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2336 : Tensor = aten::permute(%2333, %2335)
  %2337 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2338 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2339 : bool = prim::Constant[value=0]()
  %2340 : Tensor = aten::expand(%2336, %2338, %2339)
  %2341 : int[] = prim::Constant[value=[12, 7, 64]]()
  %2342 : int[] = prim::Constant[value=[12, 7, 64]]()
  %2343 : Tensor = aten::reshape(%2340, %2342)
  %2344 : Tensor = aten::bmm(%2343, %2312)
  %2345 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %2346 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %2347 : Tensor = aten::reshape(%2344, %2346)
  %2348 : Tensor = aten::div(%2347, %p63)
  %2349 : int = prim::Constant[value=1]()
  %2350 : Tensor = aten::add(%2348, %338, %2349)
  %2351 : int = prim::Constant[value=-1]()
  %2352 : bool = prim::Constant[value=0]()
  %2353 : Tensor = aten::_softmax(%2350, %2351, %2352)
  %2354 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %2355 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %2356 : bool = prim::Constant[value=0]()
  %2357 : Tensor = aten::expand(%2353, %2355, %2356)
  %2358 : int[] = prim::Constant[value=[12, 7, 7]]()
  %2359 : int[] = prim::Constant[value=[12, 7, 7]]()
  %2360 : Tensor = aten::reshape(%2357, %2359)
  %2361 : Tensor = aten::bmm(%2360, %2278)
  %2362 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2363 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2364 : Tensor = aten::reshape(%2361, %2363)
  %2365 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2366 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2367 : Tensor = aten::permute(%2364, %2366)
  %2368 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2369 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2370 : Tensor = aten::reshape(%2367, %2369)
  %2371 : int[] = prim::Constant[value=[7, 768]]()
  %2372 : int[] = prim::Constant[value=[7, 768]]()
  %2373 : Tensor = aten::reshape(%2370, %2372)
  %2374 : Tensor = aten::mm(%2373, %2247)
  %2375 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2376 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2377 : Tensor = aten::reshape(%2374, %2376)
  %2378 : int = prim::Constant[value=1]()
  %2379 : Tensor = aten::add(%2377, %p180, %2378)
  %2380 : int[] = prim::Constant[value=[7, 768]]()
  %2381 : int[] = prim::Constant[value=[7, 768]]()
  %2382 : Tensor = aten::reshape(%2379, %2381)
  %2383 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2384 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2385 : Tensor = aten::reshape(%2382, %2384)
  %2386 : int = prim::Constant[value=1]()
  %2387 : Tensor = aten::add(%2385, %2241, %2386)
  %2388 : int[] = prim::Constant[value=[768]]()
  %2389 : float = prim::Constant[value=9.9999999999999998e-13]()
  %2390 : Tensor, %2391 : Tensor, %2392 : Tensor = aten::native_layer_norm(%2387, %2388, %p9, %p8, %2389)
  %2393 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%2390, %2391, %2392)
  %2394 : int[] = prim::Constant[value=[1, 0]]()
  %2395 : int[] = prim::Constant[value=[1, 0]]()
  %2396 : Tensor = aten::permute(%p189, %2395)
  %2397 : int[] = prim::Constant[value=[1, 0]]()
  %2398 : int[] = prim::Constant[value=[1, 0]]()
  %2399 : Tensor = aten::permute(%p191, %2398)
  %2400 : int[] = prim::Constant[value=[7, 768]]()
  %2401 : int[] = prim::Constant[value=[7, 768]]()
  %2402 : Tensor = aten::reshape(%2390, %2401)
  %2403 : Tensor = aten::mm(%2402, %2399)
  %2404 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %2405 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %2406 : Tensor = aten::reshape(%2403, %2405)
  %2407 : int = prim::Constant[value=1]()
  %2408 : Tensor = aten::add(%2406, %p190, %2407)
  %2409 : int[] = prim::Constant[value=[7, 3072]]()
  %2410 : int[] = prim::Constant[value=[7, 3072]]()
  %2411 : Tensor = aten::reshape(%2408, %2410)
  %2412 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %2413 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %2414 : Tensor = aten::reshape(%2411, %2413)
  %2415 : Tensor = aten::gelu(%2414)
  %2416 : int[] = prim::Constant[value=[7, 3072]]()
  %2417 : int[] = prim::Constant[value=[7, 3072]]()
  %2418 : Tensor = aten::reshape(%2415, %2417)
  %2419 : Tensor = aten::mm(%2418, %2396)
  %2420 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2421 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2422 : Tensor = aten::reshape(%2419, %2421)
  %2423 : int = prim::Constant[value=1]()
  %2424 : Tensor = aten::add(%2422, %p188, %2423)
  %2425 : int[] = prim::Constant[value=[7, 768]]()
  %2426 : int[] = prim::Constant[value=[7, 768]]()
  %2427 : Tensor = aten::reshape(%2424, %2426)
  %2428 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2429 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2430 : Tensor = aten::reshape(%2427, %2429)
  %2431 : int = prim::Constant[value=1]()
  %2432 : Tensor = aten::add(%2430, %2390, %2431)
  %2433 : int[] = prim::Constant[value=[768]]()
  %2434 : float = prim::Constant[value=9.9999999999999998e-13]()
  %2435 : Tensor, %2436 : Tensor, %2437 : Tensor = aten::native_layer_norm(%2432, %2433, %p7, %p6, %2434)
  %2438 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%2435, %2436, %2437)
  %2439 : int[] = prim::Constant[value=[1, 0]]()
  %2440 : int[] = prim::Constant[value=[1, 0]]()
  %2441 : Tensor = aten::permute(%p193, %2440)
  %2442 : int[] = prim::Constant[value=[1, 0]]()
  %2443 : int[] = prim::Constant[value=[1, 0]]()
  %2444 : Tensor = aten::permute(%p195, %2443)
  %2445 : int[] = prim::Constant[value=[7, 768]]()
  %2446 : int[] = prim::Constant[value=[7, 768]]()
  %2447 : Tensor = aten::reshape(%2435, %2446)
  %2448 : Tensor = aten::mm(%2447, %2444)
  %2449 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2450 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2451 : Tensor = aten::reshape(%2448, %2450)
  %2452 : int = prim::Constant[value=1]()
  %2453 : Tensor = aten::add(%2451, %p194, %2452)
  %2454 : int[] = prim::Constant[value=[7, 768]]()
  %2455 : int[] = prim::Constant[value=[7, 768]]()
  %2456 : Tensor = aten::reshape(%2453, %2455)
  %2457 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2458 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2459 : Tensor = aten::reshape(%2456, %2458)
  %2460 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2461 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2462 : Tensor = aten::reshape(%2459, %2461)
  %2463 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2464 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2465 : Tensor = aten::permute(%2462, %2464)
  %2466 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2467 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2468 : bool = prim::Constant[value=0]()
  %2469 : Tensor = aten::expand(%2465, %2467, %2468)
  %2470 : int[] = prim::Constant[value=[12, 7, 64]]()
  %2471 : int[] = prim::Constant[value=[12, 7, 64]]()
  %2472 : Tensor = aten::reshape(%2469, %2471)
  %2473 : int[] = prim::Constant[value=[1, 0]]()
  %2474 : int[] = prim::Constant[value=[1, 0]]()
  %2475 : Tensor = aten::permute(%p197, %2474)
  %2476 : int[] = prim::Constant[value=[7, 768]]()
  %2477 : int[] = prim::Constant[value=[7, 768]]()
  %2478 : Tensor = aten::reshape(%2435, %2477)
  %2479 : Tensor = aten::mm(%2478, %2475)
  %2480 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2481 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2482 : Tensor = aten::reshape(%2479, %2481)
  %2483 : int = prim::Constant[value=1]()
  %2484 : Tensor = aten::add(%2482, %p196, %2483)
  %2485 : int[] = prim::Constant[value=[7, 768]]()
  %2486 : int[] = prim::Constant[value=[7, 768]]()
  %2487 : Tensor = aten::reshape(%2484, %2486)
  %2488 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2489 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2490 : Tensor = aten::reshape(%2487, %2489)
  %2491 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2492 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2493 : Tensor = aten::reshape(%2490, %2492)
  %2494 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2495 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2496 : Tensor = aten::permute(%2493, %2495)
  %2497 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %2498 : int[] = prim::Constant[value=[0, 1, 3, 2]]()
  %2499 : Tensor = aten::permute(%2496, %2498)
  %2500 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %2501 : int[] = prim::Constant[value=[1, 12, 64, 7]]()
  %2502 : bool = prim::Constant[value=0]()
  %2503 : Tensor = aten::expand(%2499, %2501, %2502)
  %2504 : int[] = prim::Constant[value=[12, 64, 7]]()
  %2505 : int[] = prim::Constant[value=[12, 64, 7]]()
  %2506 : Tensor = aten::reshape(%2503, %2505)
  %2507 : int[] = prim::Constant[value=[1, 0]]()
  %2508 : int[] = prim::Constant[value=[1, 0]]()
  %2509 : Tensor = aten::permute(%p199, %2508)
  %2510 : int[] = prim::Constant[value=[7, 768]]()
  %2511 : int[] = prim::Constant[value=[7, 768]]()
  %2512 : Tensor = aten::reshape(%2435, %2511)
  %2513 : Tensor = aten::mm(%2512, %2509)
  %2514 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2515 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2516 : Tensor = aten::reshape(%2513, %2515)
  %2517 : int = prim::Constant[value=1]()
  %2518 : Tensor = aten::add(%2516, %p198, %2517)
  %2519 : int[] = prim::Constant[value=[7, 768]]()
  %2520 : int[] = prim::Constant[value=[7, 768]]()
  %2521 : Tensor = aten::reshape(%2518, %2520)
  %2522 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2523 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2524 : Tensor = aten::reshape(%2521, %2523)
  %2525 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2526 : int[] = prim::Constant[value=[1, 7, 12, 64]]()
  %2527 : Tensor = aten::reshape(%2524, %2526)
  %2528 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2529 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2530 : Tensor = aten::permute(%2527, %2529)
  %2531 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2532 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2533 : bool = prim::Constant[value=0]()
  %2534 : Tensor = aten::expand(%2530, %2532, %2533)
  %2535 : int[] = prim::Constant[value=[12, 7, 64]]()
  %2536 : int[] = prim::Constant[value=[12, 7, 64]]()
  %2537 : Tensor = aten::reshape(%2534, %2536)
  %2538 : Tensor = aten::bmm(%2537, %2506)
  %2539 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %2540 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %2541 : Tensor = aten::reshape(%2538, %2540)
  %2542 : Tensor = aten::div(%2541, %p63)
  %2543 : int = prim::Constant[value=1]()
  %2544 : Tensor = aten::add(%2542, %338, %2543)
  %2545 : int = prim::Constant[value=-1]()
  %2546 : bool = prim::Constant[value=0]()
  %2547 : Tensor = aten::_softmax(%2544, %2545, %2546)
  %2548 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %2549 : int[] = prim::Constant[value=[1, 12, 7, 7]]()
  %2550 : bool = prim::Constant[value=0]()
  %2551 : Tensor = aten::expand(%2547, %2549, %2550)
  %2552 : int[] = prim::Constant[value=[12, 7, 7]]()
  %2553 : int[] = prim::Constant[value=[12, 7, 7]]()
  %2554 : Tensor = aten::reshape(%2551, %2553)
  %2555 : Tensor = aten::bmm(%2554, %2472)
  %2556 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2557 : int[] = prim::Constant[value=[1, 12, 7, 64]]()
  %2558 : Tensor = aten::reshape(%2555, %2557)
  %2559 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2560 : int[] = prim::Constant[value=[0, 2, 1, 3]]()
  %2561 : Tensor = aten::permute(%2558, %2560)
  %2562 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2563 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2564 : Tensor = aten::reshape(%2561, %2563)
  %2565 : int[] = prim::Constant[value=[7, 768]]()
  %2566 : int[] = prim::Constant[value=[7, 768]]()
  %2567 : Tensor = aten::reshape(%2564, %2566)
  %2568 : Tensor = aten::mm(%2567, %2441)
  %2569 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2570 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2571 : Tensor = aten::reshape(%2568, %2570)
  %2572 : int = prim::Constant[value=1]()
  %2573 : Tensor = aten::add(%2571, %p192, %2572)
  %2574 : int[] = prim::Constant[value=[7, 768]]()
  %2575 : int[] = prim::Constant[value=[7, 768]]()
  %2576 : Tensor = aten::reshape(%2573, %2575)
  %2577 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2578 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2579 : Tensor = aten::reshape(%2576, %2578)
  %2580 : int = prim::Constant[value=1]()
  %2581 : Tensor = aten::add(%2579, %2435, %2580)
  %2582 : int[] = prim::Constant[value=[768]]()
  %2583 : float = prim::Constant[value=9.9999999999999998e-13]()
  %2584 : Tensor, %2585 : Tensor, %2586 : Tensor = aten::native_layer_norm(%2581, %2582, %p5, %p4, %2583)
  %2587 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%2584, %2585, %2586)
  %2588 : int[] = prim::Constant[value=[1, 0]]()
  %2589 : int[] = prim::Constant[value=[1, 0]]()
  %2590 : Tensor = aten::permute(%p201, %2589)
  %2591 : int[] = prim::Constant[value=[1, 0]]()
  %2592 : int[] = prim::Constant[value=[1, 0]]()
  %2593 : Tensor = aten::permute(%p203, %2592)
  %2594 : int[] = prim::Constant[value=[7, 768]]()
  %2595 : int[] = prim::Constant[value=[7, 768]]()
  %2596 : Tensor = aten::reshape(%2584, %2595)
  %2597 : Tensor = aten::mm(%2596, %2593)
  %2598 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %2599 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %2600 : Tensor = aten::reshape(%2597, %2599)
  %2601 : int = prim::Constant[value=1]()
  %2602 : Tensor = aten::add(%2600, %p202, %2601)
  %2603 : int[] = prim::Constant[value=[7, 3072]]()
  %2604 : int[] = prim::Constant[value=[7, 3072]]()
  %2605 : Tensor = aten::reshape(%2602, %2604)
  %2606 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %2607 : int[] = prim::Constant[value=[1, 7, 3072]]()
  %2608 : Tensor = aten::reshape(%2605, %2607)
  %2609 : Tensor = aten::gelu(%2608)
  %2610 : int[] = prim::Constant[value=[7, 3072]]()
  %2611 : int[] = prim::Constant[value=[7, 3072]]()
  %2612 : Tensor = aten::reshape(%2609, %2611)
  %2613 : Tensor = aten::mm(%2612, %2590)
  %2614 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2615 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2616 : Tensor = aten::reshape(%2613, %2615)
  %2617 : int = prim::Constant[value=1]()
  %2618 : Tensor = aten::add(%2616, %p200, %2617)
  %2619 : int[] = prim::Constant[value=[7, 768]]()
  %2620 : int[] = prim::Constant[value=[7, 768]]()
  %2621 : Tensor = aten::reshape(%2618, %2620)
  %2622 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2623 : int[] = prim::Constant[value=[1, 7, 768]]()
  %2624 : Tensor = aten::reshape(%2621, %2623)
  %2625 : int = prim::Constant[value=1]()
  %2626 : Tensor = aten::add(%2624, %2584, %2625)
  %2627 : int[] = prim::Constant[value=[768]]()
  %2628 : float = prim::Constant[value=9.9999999999999998e-13]()
  %2629 : Tensor, %2630 : Tensor, %2631 : Tensor = aten::native_layer_norm(%2626, %2627, %p3, %p2, %2628)
  %2632 : (Tensor, Tensor, Tensor) = prim::TupleConstruct(%2629, %2630, %2631)
  %2633 : int = prim::Constant[value=0]()
  %2634 : int = prim::Constant[value=0]()
  %2635 : int = prim::Constant[value=1]()
  %2636 : int = prim::Constant[value=1]()
  %2637 : Tensor = aten::slice(%2629, %2633, %2634, %2635, %2636)
  %2638 : int = prim::Constant[value=0]()
  %2639 : int = prim::Constant[value=0]()
  %2640 : int = prim::Constant[value=1]()
  %2641 : int = prim::Constant[value=1]()
  %2642 : Tensor = aten::slice(%2637, %2638, %2639, %2640, %2641)
  %2643 : int = prim::Constant[value=1]()
  %2644 : int = prim::Constant[value=0]()
  %2645 : int = prim::Constant[value=1]()
  %2646 : int = prim::Constant[value=1]()
  %2647 : Tensor = aten::slice(%2642, %2643, %2644, %2645, %2646)
  %2648 : int = prim::Constant[value=2]()
  %2649 : int = prim::Constant[value=0]()
  %2650 : int = prim::Constant[value=768]()
  %2651 : int = prim::Constant[value=1]()
  %2652 : Tensor = aten::slice(%2647, %2648, %2649, %2650, %2651)
  %2653 : int[] = prim::Constant[value=[1, 768]]()
  %2654 : int[] = prim::Constant[value=[1, 768]]()
  %2655 : Tensor = aten::reshape(%2652, %2654)
  %2656 : int = prim::Constant[value=1]()
  %2657 : int = prim::Constant[value=1]()
  %2658 : Tensor = aten::addmm(%p204, %2655, %211, %2656, %2657)
  %2659 : Tensor = aten::tanh(%2658)
  %2660 : int = prim::Constant[value=1]()
  %2661 : int = prim::Constant[value=1]()
  %2662 : Tensor = aten::addmm(%p205, %2659, %208, %2660, %2661)
  return (%2662)