ELOG DESPEC

AIDA GELINA BRIKEN nToF CRIB ISOLDE CIRCE nTOFCapture DESPEC DTAS EDI_PSA 179Ta CARME StellarModelling DCF K40

DESPEC

Fields marked with * are required
Entry time:	Fri Apr 12 15:15:33 2019
Author*:
Subject*:
<p>Update on issue #48 - the "confusing state" is that the FEE has restarted and hence is undefined again.</p> <p>An attached TTY log from the pi shows that the module is kernel panicking.<br /> I have seen a couple of FEEs panic with the same error now.</p> <p>(NB. The Day/time of the logs is wrong as the pi does not have the correct time - pis dont have a RTC or Internet access so the time isn't corrected)</p> <p>Temperature of the modules is fine.</p> <p>Aida is currently powered off (and I am away from GSI)</p> <table align="center" cellspacing="1" style="width:98%"> <tbody> <tr> <td style="background-color:#486090">Quote:</td> </tr> <tr> <td style="background-color:#FFFFB0"> <p>it seems a FEE somtimes enters a confusing state and stops sending data<br /> the current merger requires all FEEs to be active and so this stops the entire system from proceeding.</p> <p>On MIDAS the page reports the module is "undefined"</p> <p>On the TTY console (PUTTY) it returns: do_GetState returned z=0 and 8</p> <p>Resetting the DAQ in question via MIDAS works (Putty logs of the stages shown) and then the merger resumes without trouble.</p> </td> </tr> </tbody> </table> <p> </p> Encoding: HTML ELCode plain Suppress Email notification Resubmit as new entry

Attachment 1:	aida01_log.txt 30/11:31:53\|completed generic doGo 30/11:31:53\|do_GetState returned z=0 and 1 30/11:31:53\|get_ASICBlk : Blk=1 : bytes = 98048 : Blk_Status = 00000088 : Offset = 00100000 : Databuffer : 273090556 : 0 => 80500228 : 1 => 0AE18000 30/11:31:53\|Last Data : Databuffer 273188600 : 0 => 80468F1E : 1 => 00DD4000 30/11:31:53\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:53\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:54\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:54\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:54\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:54\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:54\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:54\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:54\|get_ASICBlk : Blk=0 : bytes = 98048 : Blk_Status = 00000048 : Offset = 00000000 : Databuffer : 273090556 : 0 => 80500228 : 1 => 00DD8000 30/11:31:54\|Last Data : Databuffer 273188600 : 0 => 80468F1E : 1 => 06D94000 30/11:31:54\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:54\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:55\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:55\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:55\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:55\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:55\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:55\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:55\|get_ASICBlk : Blk=1 : bytes = 98048 : Blk_Status = 00000088 : Offset = 00100000 : Databuffer : 273090556 : 0 => 80500228 : 1 => 06D98000 30/11:31:55\|Last Data : Databuffer 273188600 : 0 => 80468F1E : 1 => 0CD54000 30/11:31:55\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:55\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:56\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:56\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:56\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:56\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:56\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:56\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:56\|get_ASICBlk : Blk=0 : bytes = 98048 : Blk_Status = 00000048 : Offset = 00000000 : Databuffer : 273090556 : 0 => 80500228 : 1 => 0CD58000 30/11:31:56\|Last Data : Databuffer 273188600 : 0 => 80468F1F : 1 => 02D14000 30/11:31:56\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:56\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:57\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:57\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:57\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:57\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:57\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:57\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:57\|get_ASICBlk : Blk=1 : bytes = 98048 : Blk_Status = 00000088 : Offset = 00100000 : Databuffer : 273090556 : 0 => 80500228 : 1 => 02D18000 30/11:31:57\|Last Data : Databuffer 273188600 : 0 => 80468F1F : 1 => 08CD4000 30/11:31:57\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:57\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:58\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:58\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:58\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:58\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:58\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:58\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:58\|get_ASICBlk : Blk=0 : bytes = 98048 : Blk_Status = 00000048 : Offset = 00000000 : Databuffer : 273090556 : 0 => 80500228 : 1 => 08CD8000 30/11:31:58\|Last Data : Databuffer 273188600 : 0 => 80468F1F : 1 => 0EC94000 30/11:31:58\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:58\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:59\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:59\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:59\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:59\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:59\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:59\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:59\|get_ASICBlk : Blk=1 : bytes = 98048 : Blk_Status = 00000088 : Offset = 00100000 : Databuffer : 273090556 : 0 => 80500228 : 1 => 0EC98000 30/11:31:59\|Last Data : Databuffer 273188600 : 0 => 80468F20 : 1 => 04C54000 30/11:31:59\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:31:59\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:00\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:00\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:00\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:00\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:00\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:00\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:00\|get_ASICBlk : Blk=0 : bytes = 98048 : Blk_Status = 00000048 : Offset = 00000000 : Databuffer : 273090556 : 0 => 80500228 : 1 => 04C58000 30/11:32:00\|Last Data : Databuffer 273188600 : 0 => 80468F20 : 1 => 0AC14000 30/11:32:00\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:00\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:01\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:01\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:01\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:01\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:01\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:01\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:01\|get_ASICBlk : Blk=1 : bytes = 98816 : Blk_Status = 00000088 : Offset = 00100000 : Databuffer : 273090556 : 0 => 80500228 : 1 => 0AC18000 30/11:32:01\|Last Data : Databuffer 273189368 : 0 => 80468F21 : 1 => 00C94000 30/11:32:01\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:01\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:02\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:02\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:02\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:02\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:02\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:02\| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 \| 00000000 : 00000000 30/11:32:02\|do_GetState returned z=0 and 1 30/11:32:58\|In RDOGo_Operate: Enabled Correlation, ASIC and discriminator readout 30/11:32:59\|do_GetState returned z=0 and 1 30/11:33:00\|Unable to handle kernel paging request for data at address 0x80501594 30/12:52:57\|Faulting instruction address: 0xc0072d74 30/12:52:57\|Oops: Kernel access of bad area, sig: 11 [#1] 30/12:52:57\|PREEMPT Xilinx Virtex440 30/12:52:57\|Modules linked in: aidamem xdriver xh_spidev_register 30/12:52:57\|NIP: c0072d74 LR: c021671c CTR: c000da98 30/12:52:57\|REGS: c0391cf0 TRAP: 0300 Not tainted (2.6.31) 30/12:52:57\|MSR: 00021000 <ME,CE> CR: 22000044 XER: 20000000 30/12:52:57\|DEAR: 80501594, ESR: 00000000 30/12:52:57\|TASK = c036e318[0] 'swapper' THREAD: c0390000 30/12:52:57\|GPR00: c021671c c0391da0 c036e318 80501594 c69352e0 00000000 0694009e 00000042 30/12:52:58\|GPR08: 00000001 c69400e0 c03b8000 00000000 22000022 00005aa8 fffbbfff fff77fff 30/12:52:58\|GPR16: fffff77f fffffbbf fffffffb c0390000 c0391de8 c68e13b4 c0390000 c0385dc8 30/12:52:58\|GPR24: c0385bf8 c68e1000 00000055 00029000 00000042 00000002 c6935520 80501594 30/12:52:58\|NIP [c0072d74] put_page+0x14/0x1a0 30/12:52:58\|LR [c021671c] skb_release_data+0xac/0xd4 30/12:52:58\|Call Trace: 30/12:52:58\|[c0391da0] [c009191c] kfree+0x68/0xe4 (unreliable) 30/12:52:58\|[c0391dc0] [c021671c] skb_release_data+0xac/0xd4 30/12:52:58\|[c0391dd0] [c0216338] __kfree_skb+0x18/0xe8 30/12:52:58\|[c0391de0] [c01d54a4] DmaSendHandlerBH+0x1c4/0x298 30/12:52:58\|[c0391e30] [c003a968] tasklet_action+0x6c/0xec 30/12:52:58\|[c0391e50] [c003aaa4] __do_softirq+0xbc/0x138 30/12:52:58\|[c0391e90] [c0003c1c] do_softirq+0x74/0x7c 30/12:52:58\|[c0391ea0] [c003a6b8] irq_exit+0x64/0x7c 30/12:52:58\|[c0391eb0] [c000410c] do_IRQ+0x9c/0xb4 30/12:52:58\|[c0391ed0] [c000e9c4] ret_from_except+0x0/0x18 30/12:52:58\|[c0391f90] [c0006fac] cpu_idle+0xcc/0xdc 30/12:52:58\|[c0391fb0] [c000172c] rest_init+0x70/0x84 30/12:52:58\|[c0391fc0] [c0341854] start_kernel+0x230/0x2ac 30/12:52:58\|[c0391ff0] [c0000204] skpinv+0x194/0x1d0 30/12:52:59\|Instruction dump: 30/12:52:59\|387d0140 4bfffdb9 7fe00106 4bffffb0 48235409 4bffffc0 4bffff50 9421ffe0 30/12:52:59\|7c0802a6 bfa10014 90010024 7c7f1b78 <80030000> 7009c000 40820170 38030004 30/12:52:59\|Kernel panic - not syncing: Fatal exception in interrupt 30/12:52:59\|Call Trace: 30/12:52:59\|[c0391c20] [c0005de8] show_stack+0x44/0x16c (unreliable) 30/12:52:59\|[c0391c60] [c00345bc] panic+0x94/0x168 30/12:52:59\|[c0391cb0] [c000bd44] die+0x178/0x18c 30/12:52:59\|[c0391cd0] [c001191c] bad_page_fault+0x90/0xd8 30/12:52:59\|[c0391ce0] [c000e834] handle_page_fault+0x7c/0x80 30/12:52:59\|[c0391da0] [c009191c] kfree+0x68/0xe4 30/12:52:59\|[c0391dc0] [c021671c] skb_release_data+0xac/0xd4 30/12:52:59\|[c0391dd0] [c0216338] __kfree_skb+0x18/0xe8 30/12:52:59\|[c0391de0] [c01d54a4] DmaSendHandlerBH+0x1c4/0x298 30/12:52:59\|[c0391e30] [c003a968] tasklet_action+0x6c/0xec 30/12:52:59\|[c0391e50] [c003aaa4] __do_softirq+0xbc/0x138 30/12:52:59\|[c0391e90] [c0003c1c] do_softirq+0x74/0x7c 30/12:52:59\|[c0391ea0] [c003a6b8] irq_exit+0x64/0x7c 30/12:52:59\|[c0391eb0] [c000410c] do_IRQ+0x9c/0xb4 30/12:52:59\|[c0391ed0] [c000e9c4] ret_from_except+0x0/0x18 30/12:52:59\|[c0391f90] [c0006fac] cpu_idle+0xcc/0xdc 30/12:53:00\|[c0391fb0] [c000172c] rest_init+0x70/0x84 30/12:53:00\|[c0391fc0] [c0341854] start_kernel+0x230/0x2ac 30/12:53:00\|[c0391ff0] [c0000204] skpinv+0x194/0x1d0 30/12:53:00\|Rebooting in 180 seconds..
Attachment 2:
Drop attachments here...

ELOG V3.1.4-unknown