AIDA GELINA BRIKEN nToF CRIB ISOLDE CIRCE nTOFCapture DESPEC DTAS EDI_PSA 179Ta CARME StellarModelling DCF K40
  DESPEC, Page 31 of 33  ELOG logo
Entry  Tue Jun 4 09:19:10 2019, NH, AIDA Interlock 
Currently AIDA's interlock is off (no lights) and hence AIDA cannot be powered on. Under investigation - power supply has been replugged but seems
ok.

Update: It seems the interlock is correctly stopping AIDA from being powered on due to high humidity on the cooling lines. Am currently trying
Entry  Mon May 20 13:51:45 2019, NH, HowTo Verify WR Times HowTo-WR1.pngHowTo-WR2.pngHowTo-WR3.png
The latest version of MIDAS has a new page to check the WR timestamp of each FEE.

In AIDA Hardware control click: GSI White Rabbit Control
In expert options click: Collect all Timestamps
Entry  Wed Apr 10 14:53:50 2019, NH, Report - FEE stops sending data 6x
it seems a FEE somtimes enters a confusing state and stops sending data
the current merger requires all FEEs to be active and so this stops the entire system from proceeding.

On MIDAS the page reports the module is "undefined"
    Reply  Fri Apr 12 15:15:33 2019, NH, Report - FEE Kernel Panics (Update on 48) aida01_log.txt
Update on issue #48 - the "confusing state" is that the FEE has restarted and hence is undefined again.

An attached TTY log from the pi shows that the module is kernel panicking.
I have seen a couple of FEEs panic with the same error now.
Entry  Thu Apr 11 15:28:10 2019, CA, OH, CB, TD, Offline analysis of 290319 files R13 and R16 6x
X projection of high energy channel ADC hits from R13 (attachment 1)

XY hit pattern from R13 (attachment 2)
Entry  Wed Apr 10 12:33:58 2019, NH VP, AIDA Firmware Update 20191004-FeeTemps.png20191004-GSIWR.png
All AIDA modules have been updated to a new firmware 0xd330701 which should fix the merger issues.
A new GSI WR timestamp page has been added to MIDAS - the SYNC rollover is suggested to be 0xe for now.
(VP is working on lowering the rate of WR SYNC infowords)
Entry  Thu Apr 4 14:07:45 2019, NH, Pulser Configuration 
Pulser settings during April run:

Rate 2Hz
Delay 250 NS
Entry  Wed Apr 3 15:24:06 2019, CA, TD, report - low inquire save state 030419_1614_savestate.png
On Save/Restore Module Settings Tab - "inquire save state" returns an error. See attachment 1.
Entry  Wed Apr 3 13:29:20 2019, CA, CB, TD, report - high DAQ stall 030419_1416_aida10stats.png030419_1417_aida09stats.png030419_1417_aida11stats.png030419_1418_aida12stats.png030419_1419_aida10_led.png
aida10 runs very fast for a period, then stops.

Have to restart Merger and TapeServer to get it running again.
Entry  Wed Apr 3 09:28:07 2019, CA, CB, TD, Wednesday April 3rd 2018 11x
Arrived at 09:54 - sequenced all FEE64 on

FEE64 not mounted properly - something happened to network overnight, see attachment 1,2 for AIDA system log
Entry  Tue Apr 2 09:42:20 2019, NH, MBS Server setup 
MBS is currently configured and accepting data:

x86l-94 : AIDA Foreign data receiver

x86l-4 : DESPEC Time sorter
Entry  Tue Apr 2 07:39:44 2019, CB, TD, CA, Tuesday 2nd April 2019 36x
08:15 beam tuning in progress

08.30 System wide checks 
Entry  Mon Apr 1 10:20:20 2019, CA, NH, TD, MBS Relay startup mbsrealaypic.pngmbscommand.png
To start the MBS Data Relay, click on the top rightmost of the MIDAS icons (MBS relay, Data Relay => MBS) in
Desktop 3. (attachment 1)
Entry  Mon Apr 1 10:14:09 2019, CA, NH, TD, Friday 29th March 2019 290319_stats.png290319_temp.png290913_bias.png
16:30 good event statistics ok, with 9,10,11,12 running faster (detector FEE64s) (attachment 1)

      FEE temperatures ok (attachment 2)
Entry  Mon Apr 1 08:50:35 2019, CA, TD, Monday April 1st 2019 - BEAM START 18x
09.28 System wide checks - aida06 global clock failure (check clock status)

                         - aida02 , aida04, aida06 fail calibration (ADC calibration)
Entry  Tue Mar 26 14:59:30 2019, NH, 26.03.2019 20190326Temps.pngaidambsrelay-error.png
Fig1: FEE temperatures from 26.03.2019  all OK

AIDA has been on today and merger setting fixed (see previous ELOG entry https://elog.ph.ed.ac.uk/DESPEC/36)

Still diagnosing issues with MBS (figure 2) but local data acquisition should be functional.
Entry  Tue Mar 26 14:58:09 2019, NH, VP, How to reset merger  
If the merger doesn't show "xfer Links => Merger" at the top, it is probably the merger setting has been corrupted somehow. This is
how to reset it

  If you go to the web page from which you started the Merge and TapeServer
Entry  Mon Mar 25 14:44:33 2019, NH, Merger issues Temps.pngAIDARUNv2.pngMergerv2.pngTapev2.pngMergerConsolev2.png
Plastic electronics have now been installed.

Water is not leaking still.

FEE64s powered on at 15:00 to test MBS connection (fig1: temperatures)
Entry  Fri Mar 22 15:44:20 2019, NH, End of 22.03.2019 
End of the day - Detector unbiased and FEE64s turned off for the weekend as they won't be monitored.

Water will remain on.
Entry  Fri Mar 22 14:31:24 2019, NH, A few more setup notes I forgot 20190322_132528s.jpg20190319_131821s.jpg20190313_161102s.jpg20190313_155418s.jpg
Extra FEE information:

HV braid (0 V) goes into FEE10 (beam left) with LK1 jumper
HV core (-160 V) goes into FEE09 (top)
Entry  Fri Mar 22 13:47:32 2019, NH, Resolution Checks 20190322Resolutions.png20190323Waves.png20190322Rates.png
Pulser widths of AIDA modules, resolution is fairly typical. AIDA09 still noisier than other DSSD channels.

Figure 1: Picture of pulser peaks
Figure 2: Raw waves (AIDA01 did not calibrate, so AIDA02 used instead as "non DSSD module")
ELOG V3.1.4-unknown