AIDA GELINA BRIKEN nToF CRIB ISOLDE CIRCE nTOFCapture DESPEC DTAS EDI_PSA 179Ta CARME StellarModelling DCF K40
  DESPEC, Page 1 of 33  ELOG logo
Entry  Tue Mar 11 11:53:18 2025, TD, Monday 10 March 11x

18.30 AIDA powered up for brief test
Entry  Sat Feb 22 12:35:38 2025, TD, Offline analysis data files R9_85-R9_199 (84Mo setting) 22x

Start 00:43 22.2.25 https://elog.gsi.de/despec/G-24-00302/57
AIDA data file R9_85
Entry  Thu Feb 20 17:06:42 2025, JB, CC, TD,MP, WR error for aida 13,14,15,16 
WR timestamp errors resolved after reseating the HDMI cables to the MACB
Entry  Wed Feb 12 10:46:01 2025, TD, Offline analysis data files S181 R4_351-396  25x
Analysis data files R4_351-396

Entry  Fri Jan 31 17:26:47 2025, CC, TD, MP, Friday 31 January contd. 16x

18.18 bPlas and BB7 installs complete 
      Restart AIDA DAQ, Merger, Tape Server and re-test
Entry  Fri Jan 31 13:48:29 2025, JB, AIDA analysis from HI-DESPEC meeting 20.11.2024 
AIDA analysis and presentation by J. Bormans for AIDA made in the HISPEC-DESPEC collaboration meeting.

 

https://docs.google.com/presentation/d/1hlZ30r294UqbVKGy3jg-wompFpc7TSfD/edit?usp=sharing&ouid=102131181856760114019&rtpof=true&sd=true
Entry  Fri Jan 31 09:37:47 2025, CC, TD, MP, Friday 31 January 26x
Implantation stack mounted - BB18(DS)-1000 + bPlas + bPlas + 3x BB7(DS)-1000

N.B. aida02, aida09 & aida15 have grounded copper screen (3M 1245 - aluminimum braid to copper screen of ribbon cables) for Kapton PCBs connecting the
Entry  Wed Jan 15 11:58:08 2025, TD, Offline analysis data files S505 R3_9 - R3_128 (207Hg setting) 27x

Aanlysis data files R3_9 - R3_128 (207Hg setting)
Entry  Mon Jan 13 17:38:18 2025, TD, Offline analysis of S505 data files 10x

First timestamp of R2_105 0x16FAEC5E54AABF6C
Entry  Mon Jan 13 11:32:30 2025, TD, Offline analysis S505 data file R3_150 22x
Offline analysis of S505 data files R3_150

first WR ts
Entry  Sat Jan 11 14:14:21 2025, TD, aida06 crashed and rebooted 10.1.25 
aida06 crashed and rebooted sometime ( 14:48 - 23:25 ) yesterday. System console log appended.

Entry  Sat Jan 11 14:05:03 2025, TD, Saturday 11 January 2024 17x

14.37 Detector bias & leakage current OK - attachment 1
  
Entry  Thu Jan 9 16:25:51 2025, TD, LEC fast comparator threshold too low Screenshot_from_2025-01-09_17-28-45.png

LEC fast comparator has been set to 0x2 (200keV) which is *very* low and means the fast comparator will be triggering on noise.
    Reply  Thu Jan 9 17:36:50 2025, TD, LEC fast comparator threshold too low 

> LEC fast comparator has been set to 0x2 (200keV) which is *very* low and means the fast comparator will be triggering on noise.
       Reply  Thu Jan 9 17:56:14 2025, TD, LEC fast comparator threshold too low 
> > 
> > LEC fast comparator has been set to 0x2 (200keV) which is *very* low and means the fast comparator will be triggering on noise.
> > 
          Reply  Fri Jan 10 10:03:43 2025, TD, LEC fast comparator threshold too low 
> > > 
> > > LEC fast comparator has been set to 0x2 (200keV) which is *very* low and means the fast comparator will be triggering on noise.
> > > 
Entry  Thu Jan 9 15:43:17 2025, JB, CC, MP, Timing test platform moved in Screenshot_from_2025-01-09_16-41-48.pngScreenshot_from_2025-01-09_16-42-06.pngScreenshot_from_2025-01-09_16-42-46.png
16:30 We moved the platform in. The system was still biased and the DAQ was still running.

The system seems to be okay, temperatures OK. Bias voltage OK 685/1 and 685/2. Two FEEs - aida07 and aida12 are receiving a lot of trigger data
items from the fast discriminator. This is already a bit worrying. 685/3
Entry  Mon Dec 16 13:07:04 2024, JB, MP, CC, AIDA timing test 16x
https://elog.gsi.de/despec/Implantation+Stack/9?suppress=1 - Day 1 ELOG

Day2:

10:14 we set up the detector with the pulser in BB7 and started biasing the detector and setting up the DAQ. Water flow and temperature check,
    Reply  Tue Dec 17 12:45:36 2024, JB, MP, CC, AIDA timing test IMG_2536.jpeg20241217_141148.jpg20241217_141206.jpg
 




Quote:



https://elog.gsi.de/despec/Implantation+Stack/9?suppress=1 - Day 1 ELOG
    Reply  Wed Jan 8 16:47:05 2025, JB, MP, CC, AIDA timing test Screenshot_from_2025-01-08_17-51-51.png
 




Quote:



https://elog.gsi.de/despec/Implantation+Stack/9?suppress=1 - Day 1 ELOG
       Reply  Thu Jan 9 12:46:43 2025, JB, MP, CC, AIDA timing test AIDAfasttime_bPlastWRdt_AIDA10.pngAIDACalAdcFasttime.pngAIDAfasttime_bPlastWRdt_AIDA10_nopulser.pngCentrepeak_gauss_fit.png
 




Quote:



 
Entry  Wed Jan 8 10:46:50 2025, TD, Report - aida06 -boot fail due to network issue 
8:01:25/11:42:48|0x000000d00000-0x000000fe0000 : "user_kernel"
08:01:25/11:42:48|0x000000fe0000-0x000001000000 : "env_variables"
08:01:25/11:42:48|xilinx-xps-spi 81400400.hd-xps-spi: at 0x81400400 mapped to 0xD1028400, irq=20
Entry  Wed Jan 8 10:08:29 2025, JB, GB, SD, MP, CC, JG, AIDA noise test with platform in position Screenshot_from_2025-01-09_09-32-08.pngScreenshot_from_2025-01-09_09-35-11.pngScreenshot_from_2025-01-09_09-32-20.pngScreenshot_from_2025-01-09_09-31-58.png
Yesterday we spent time essentially performing a dry run to get AIDA DAQ and bPlast into the time sorter, there were some issues with the AIDA mbs PC
x86l-119 which was related to some boot issue, it was booting to a newer version of debian while the Relay for AIDA to MBS is on an older version (scratch)
(the machine is quite old). We spent a bit of time getting the thresholds correct for each of the ASICs. In the end we just elected to have a blanket level
Entry  Mon Dec 30 15:43:42 2024, TD, [How To] Restart AnyDesk 

See also https://elog.ph.ed.ac.uk/CARME/489
Entry  Mon Dec 23 10:54:46 2024, TD, Monday 23 December 2024 

11.54 re-established remote access via AnyDesk - details to follow
Entry  Sat Dec 14 11:52:42 2024, TD, Saturday 14 December 27x

11:00 Visual inspection FEE64 adaptor PCBs & cabling
      aida02 ground from/to other FEE64s disconnected - re-connected
Entry  Wed Dec 11 14:46:21 2024, TD, JB, CC, MP, Mounting of AIDA, bPlast and BB7 for test 20241211_161837.jpg20241211_161833.jpg20241211_161830.jpg20241211_161820.jpg
Snout assembled for detector position and timing test.

The planned test is to use a BGO with a 22-Na source and the implantation stack to characterise the timing and position of back-to-back 511 keV
events (proxy for mock beta decay event).
Entry  Mon Dec 9 12:28:01 2024, NH, CC, MP, Test of BB7 on AIDA Electronics 
BB7 connected to aida07, sitting in a cardboard box

Update Tcl/Tml files in ASIC, ASIC4 and sys.tml frm PJCS email to allow setting per-ASIC polarity on FEE64
Entry  Thu Dec 5 11:18:46 2024, TD, Offline analysis S100 data files R21_0-R21_99 23x
Offline analysis of S100 data files R21_0 - R21_99 (162Eu setting)

first WR ts
Entry  Wed Dec 4 09:57:24 2024, TD, HISPEC DESPEC meeting presentation - November 2024 -0 Summary of AIDA performance 2024 Summary_of_AIDA_2024_distro.pdf
 
Entry  Tue Nov 19 11:24:25 2024, TD, Anydesk restarted remotely 

Anydesk restarted remotely per https://elog.ph.ed.ac.uk/CARME/489
Entry  Tue Nov 5 15:19:35 2024, TD, S505 offline analysis R5_780 - R5_814 24x
Offline analysis of data files S505/R5_780 - R5_814 (corresponding to MBS data files 73-74) 

Can find an analysis of alpha background runs at RIBF, RIKEN for comparison at https://elog.ph.ed.ac.uk/AIDA/816
Entry  Wed Aug 14 12:40:11 2024, JB, Repaired DSSSD delivery 14.09.2024 11x
Three BB18-1000 triples AIDAs collected on 14.09.2024

Find attached visual of the wafer and bond wire + factory bias tests accompanying the DSSSDs. elog:669/1
elog:669/2 elog:669/3
Entry  Sun Jul 14 16:52:28 2024, TD, S181 R7_38-44 7x
 
Entry  Sun Jul 14 14:37:53 2024, TD, S181 R6_375-380 6x
 
Entry  Mon Jun 17 02:13:21 2024, TD, Monday 17 June 43x
03.11 DSSSD bias & leakage current OK - attachment 1

      FEE64 temperatures OK - attachment 2
Entry  Sun Jun 16 03:11:27 2024, TD, Sunday 16 June 26x
04.08 DSSSD bias & leakage current OK - attachment 1

      FEE64 temperatures OK - attachment 2
Entry  Sat Jun 15 00:28:01 2024, TD, Saturday 15 June 45x
Beam lost due to septum failure c. 18.15 Friday 14 June

Cooling of recirculating water failed c. 19.00 - water temperature increased from the normal 17-18deg C to 25-26 deg C
Entry  Fri Jun 14 15:00:47 2024, Norah , Muneerah, 16:00-20:00 Friday 14 June  13x
Everything appears to be running smoothly. Attachments 1-4 were taken around 16:00

DSSSD Bias & Leakage Current - Check: OK (see attachment 1)
FEE64 Temperature - Check: OK (see attachment 2)
Entry  Fri Jun 14 06:22:39 2024, TD, 08:00-16:00 Friday 14 June 23x

07.23 All histograms & stats zero'd
Entry  Thu Jun 13 23:04:01 2024, Dan Judson, TD, 0.00-8.00 14/6/24 40x
0.00 checks - all looks ok

Voltage/currents - attachment 1

Rates attachment 2 + 3
Entry  Thu Jun 13 21:06:44 2024, Robert Page, 16:00 to 00:00 shift on 13/6/2024 26x
Elog went down around the end of the last shift, so final screenshots were not uploaded at that point.

However, AIDA appears to have contuned running smoothly in the interim (at least until 22:00).

 
Entry  Thu Jun 13 06:49:54 2024, Magda Satrazani, 08:00 - 16:00 Thursday 13 June 2024 40x
Took over the shift from Marc.

08:00 FULL CHECK
Entry  Wed Jun 12 23:00:16 2024, Marc, 00:00-08:00 Thursday 13 June 23x
Starting a new night shift - All good

1am full check:
DSSSD bias & leakage current  ok - attachment # 1-2
Entry  Wed Jun 12 15:41:07 2024, Betool Alayed, 16:00-00:00 Wed 12 Jun 24 27x
5pm full checks:
DSSSD bias & leakage current  ok - attachment # 1-2
FEE64 temperatures  ok - attachment # 3
Entry  Wed Jun 12 11:06:55 2024, PP, Mid-shift checks, 12:00 8x
All seems normal.

Screenshots attached.
Entry  Wed Jun 12 06:17:23 2024, TD, 08:00-16:00 Wednesday 12 June 24x
07:10 DSSSD bias & leakage current OK - attachment 1

      FEE64 temperatures OK - attachment 2
Entry  Tue Jun 11 23:13:44 2024, TD, 00:00-08:00 Wednesday 11 June 18x
00.08 DSSSD bias & leakage current OK - attachment 1

      FEE64 temperatures OK - attachment 3
Entry  Tue Jun 11 20:20:36 2024, TD, ADC data rates from 09.00 11.6.24 
Per NH

"From ELOG (assuming times accurateish)
Entry  Tue Jun 11 18:45:37 2024, PP, Mid-shift checks, 19:45 8x
All looks good.

Sceenshots attached.
Entry  Tue Jun 11 15:01:07 2024, PP TD, 16:00-00:00 shift Tuesday 11/06/24 13x
All seems OK

Screenshots attached.
Entry  Tue Jun 11 10:03:48 2024, TD, NH, 08:00-16:00 Tuesday 10 June 23x
10.57 DSSSD bias & leakage current OK - attachment 1

      FEE64 temps OK - attachment 2
Entry  Mon Jun 10 23:36:14 2024, TD, 0000-08:00 Tuesday 11 June 20x

00.09 DSSSD bias & leakage current OK - attachment 1
Entry  Mon Jun 10 15:07:24 2024, Marc, 16:00-00:00 shift Monday 10/06/24 31x
Evening shift


5pm full checks:
DSSSD bias & leakage current  ok - attachment # 1-2
FEE64 temperatures  ok - attachment # 3
ADC
data item stats - attachment # 4
per FEE64 Rate spectra - attachment # 5
Merger ok - Attachement # 6
Tape service - attachement # 7



7pm
Entry  Mon Jun 10 07:15:48 2024, Dan, 08.00-16.00 Monday 10th June 50x
8am checks

temps ok - attachment 2

rates ok - attachment 8
Entry  Sun Jun 9 22:49:56 2024, TD, 23:00-07:00 Monday 9 June  27x

23.47 DSSSD bias & leakage current OK - attachments 1-2
Entry  Sun Jun 9 16:38:30 2024, Norah , Muneerah, JB, 16:0-00:00 9 June 2024 Screenshot_from_2024-06-09_17-24-13.pngScreenshot_from_2024-06-09_18-00-27.pngScreenshot_from_2024-06-09_18-01-49.pngScreenshot_from_2024-06-09_18-01-23.png
AIDA02 and AIDA06 gave zero attachment 1. After connecting with Tom to fix it, now it works.

17:00

DSSSD bias & leakage current - attachment 2
Entry  Sun Jun 9 13:32:48 2024, TD, [How To] Recover DAQ when one FEE64 stops sending data - short(er) version 

1) Select 'No Storage' [workspace 3, display 1, browser tab 'TapeServer']
    If already in 'No Storage' mode please ignore this step
Entry  Sat Jun 8 23:00:52 2024, TD, Sunday 9 June 16x

23.58 8.6.24
Entry  Sat Jun 8 13:22:36 2024, TD, Saturday 8 June 24x

14.09 aida02 WR stall
      DAQ STOP
Entry  Fri Jun 7 16:08:37 2024, TD, Friday 7 June 19x
05.01 DSSSD bias & leakage current - attachment 1

      FEE64 temperatures OK - attachment 2
Entry  Thu Jun 6 11:13:29 2024, TD, Thursday 6 June 9x

12.09 DSSSD bias & leakage current - attachment 1
Entry  Wed Jun 5 08:34:47 2024, JB. AM, MP, MY, Detector bias tests 14x
We are trying to bias each system on its own and in sequence biasing each other detector system to see the interdependence.
 

HV OK. TEMP OK. Attachment 1 &2.
Entry  Tue Jun 4 15:40:32 2024, NH, Tues 4 Jun  Screenshot_from_2024-06-04_16-39-28.pngScreenshot_from_2024-06-04_16-39-47.png
DEGAS Array over Snout again

Situation similar to yesterday, most p+n rates good
Entry  Mon Jun 3 14:40:34 2024, JB, NH, 03 June 2024 10x
15:40 reseated FEE64s adaptors of aida01, aida09, aida13 & aida16.

TEMP OK. HV OK. System wide checks all passed excl. aida07 ADC calibration, see attached.

Histograms and rates look same as previous, reseating aida01 seems to have worked. aida16 still unhappy.
Entry  Mon Jun 3 07:35:56 2024, TD, Monday 3 June 8x
08.28 DSSSD bias & leakage current - attachments 1-2

      FEE64 temps OK - attachment 3
Entry  Sun Jun 2 01:45:05 2024, TD, Sunday 2 June 25x
02.41 DSSSD bias & leakage current - attachment 1

      FEE64 temps OK - attachment 2
Entry  Sat Jun 1 12:48:54 2024, TD, Saturday 1 June 31x

13.26 DSSSD bias & leakage current - attachments 1-3
Entry  Mon May 27 17:20:49 2024, TD, Monday 27 May 9x
17.50 bPlas cabling, grounds etc connected, power OFF
       CC reports that bPlas power is actually ON
Entry  Wed May 22 20:10:19 2024, NH, CC, HMA, MV, ZC, KZ, AIDA Snout Remounted 9x
AIDA and the Snout have been remounted in S4

I had a check of the AIDA connectors and all looked good, the kapton PCB connectors were sitting comfortably above the interstage and I saw no stressed/loose
Entry  Thu May 9 09:08:26 2024, TD, Current NewMerger install - aida-gsi 
[npg@aidas-gsi MIDAS]$ ls -l
total 524
drwxrwxr-x.  2 npg npg    156 Mar 17  2021 Aida
Entry  Tue May 7 13:25:00 2024, JB, CC, NH, HMA, Tuesday 6 May - dismount snout Screenshot_from_2024-05-07_14-25-52.pngScreenshot_from_2024-05-07_14-29-13.png
Status before dismount

14:26 DSSSD#1 119.99 V @ 17.968 uA

          DSSSD#2 119.95 V @ 11.212 uA
Entry  Mon May 6 07:10:26 2024, TD, Monday 6 May Capture.PNG

08.11 DSSSD#1 bias -120V leakage current -17.0uA
      DSSSD#2 bias -120V leakage current -10.5uA
Entry  Sun May 5 10:22:24 2024, TD, Sunday 5 May Capture.PNG

11.22 DSSSD#1 bias -120V leakage current -17.1uA
      DSSSD#2 bias -120V leakage current -10.6uA
Entry  Sat May 4 07:36:07 2024, TD, Saturday 4 May 11x

08.32 DSSSD bias & leakage currents - Grafana - attachments 1-2
      FEE64 temperatures OK - attachment 3
Entry  Thu May 2 23:08:43 2024, TD, Friday 3 May 
00.05 FEE64 temperatures OK
      ADC data item stats OK
Entry  Thu May 2 00:16:22 2024, TD, NH, Thursday 2 May Screenshot_from_2024-05-02_13-21-07.pngScreenshot_from_2024-05-02_13-22-16.pngScreenshot_from_2024-05-02_13-22-43.png
01.15 FEE64 temperatures OK
      ADC data item stats
       aida02 & aida04 no data
Entry  Wed May 1 08:59:15 2024, TD, Wednesday 1 May Capture.PNG
04.55 FEE64 temperatures OK
      ADC data item stats OK *except* aida04 no data
      TapeServer no storage mode
Entry  Tue Apr 30 09:06:45 2024, TD, NH, Tuesday 30 April 7x

10.00 DSSSD bias & leakasge current - Grafana - attachments 1-2
Entry  Mon Apr 29 08:11:16 2024, TD, Monday 29 April 41x

08.52 Beam off
Entry  Sun Apr 28 22:52:06 2024, Marc, 0:00-08:00 Monday 29 April  7x
Just another manic magic Monday, ....

Taking over Betool's AIDA shift. All is good.

This shift's first hour has been eventless. Temperatures, Rates, bias, all look good.
Entry  Sun Apr 28 20:35:57 2024, Betool Alayed, 16:0-00:00 28 April 2024 10x
21:30 screenshots

and

23:24 screenshots
Entry  Sun Apr 28 16:26:47 2024, Betool Alayed, 16:00-00:00 Sunday 28 April 10x
19:24 pm screenshots

and

17:18 pm screenshots
Entry  Sun Apr 28 16:07:59 2024, TD, [How To] Recover DAQ when one FEE64 stops sending data - short(er) version 
0) Please infrom the 'on shift' crew that you need to restart the AIDA DAQ

1) STOP DAQ [workspace 2, display 1, browser tab 'Run Control']
Entry  Sun Apr 28 15:49:58 2024, TD, DAQ restart short(er) cut 

16.45 aida04 stopped producing data
Entry  Sun Apr 28 15:09:34 2024, Betool Alayed, 16:0-00:00 28 April 2024 R21_668.txt
16:00 aida04 not producing data

          power cycle all FEE64s to recover DAQ

16.20 analysis data file R21_668
Entry  Sun Apr 28 06:57:59 2024, Magda Satrazani, 08:00-16:00 Sunday 28 April 36x
Took over the shift from Marc.

 

 
Entry  Sat Apr 27 23:04:42 2024, Marc, 00:00-08:00 Sunday 28 April 12x
Encore un matin, un matin pour ..... a shift !!!ramping up again ! S4 temperature not really going down either: 25C

0:40 AIDA04 is down. I informed the DAQ shift crew and attempting to restart AIDA04.

After rebooting AIDA04 all seemed going until I reached the merger check. No data was being merged.
Entry  Sat Apr 27 15:13:06 2024, Norah, 16:00 - 00:00 Saturday 27 April  15x
14:50 Checks

Leakage current  is 20.021 and HV status is Max Voltages ! Is it normal ? - attachments 1

It is quite warm at GSI today and this may be a temperature effect. Hopefully will go down latter in the day (Marc). Any way let's kep an
Entry  Sat Apr 27 04:59:31 2024, TD, 08:00-16:00 Saturday 27 April 37x

06.00 DAQ continues file S100_alpha/R20_740
      FRS setting 162Eu
Entry  Fri Apr 26 23:04:51 2024, Marc, 00:00-08:00 Saturday 27 April 12x
It's a new day, it's a new shift and I'm feeeeeliiiiing goooood !!!!!


0.15 Checks:
      DSSSD bias & leakage current - Grafana - attachments 1-2
       leakage current dropped a bit since the evening
shift ~22:00.

      FEE64 temperatures OK - attachment 3

      ADC data item stats - attachment 4

      per FEE64 Rate spectra - attachment 5

Entry  Fri Apr 26 15:34:00 2024, RDP, 16:00 - 00:00 Friday 26 April 6x
This appeared in the system log:

Apr 26 16:30:51 aidas-gsi smartd[1076]: Device: /dev/sda [SAT], 1 Currently unreadable (pending) sectors
Apr 26 16:30:56 aidas-gsi smartd[1076]: Device: /dev/sdd [SAT], 2224 Currently unreadable (pending) sectors
Entry  Fri Apr 26 08:15:59 2024, TD, [How To] Recover DAQ when one FEE64 stops sending data 

Occasionally, one (sometimes more) FEE64(s) will stop producing data whilst the DAQ is running *and* data is being transferred to the Merger and TapeServer.
Entry  Fri Apr 26 07:01:26 2024, Norah, 08:00 - 16:00 Friday 26 April Screenshot_from_2024-04-26_10-00-39.pngScreenshot_from_2024-04-26_10-02-35.pngScreenshot_from_2024-04-26_10-04-40.pngScreenshot_from_2024-04-26_10-06-18.pngScreenshot_from_2024-04-26_10-09-52.png
10:00 Checks:

All seems smooth.

DSSD bias and  leakage current ( Attachment 1)
Entry  Thu Apr 25 22:45:30 2024, Tom, Muneerah, Norah, Over night shift AIDA 26 Fri 9x
 

01:02

Aida04 was zero not reading had to call Tom to fix it.
Entry  Thu Apr 25 15:02:50 2024, Marc, 16:00 - 0:00 Thursday 25 April 8x

16:20: 
Spill length:4s (was 3.5s before) - Extraction time 1.5s (see attachement #1)
             

16.45
Checks:
      DSSSD bias & leakage current - Grafana - attachments 2
       leakage current ramping, spill micro structure observable

      FEE64
temperatures OK - attachment 3

      ADC data item stats - attachment 5

      per FEE64 Rate spectra - attachment 4

      Merger etc - attachment
Entry  Thu Apr 25 08:26:50 2024, TD, 08:00-16:00 Thursday 25 April 42x
09.56 DAQ continues data file S100_alpha/R18_387
      FRS switching settings
Entry  Wed Apr 24 21:39:51 2024, TD, 00:00-08:00 Thursday 25 April 12x
22.43 24.4.24

      DSSSD bias & leakage current OK - attachment 1
Entry  Wed Apr 24 18:44:05 2024, PP, 19:30 checks 8x
All seems smooth.

Screenshots attached.
Entry  Wed Apr 24 15:37:59 2024, PP, 16:00-00:00 shift Wednesday 24 April 8x
All seems OK.

Screenshots attached.
Entry  Wed Apr 24 09:04:55 2024, TD, 08:00-16:00 Wednesday 24 April 33x

09.56 DAQ continues data file S100_alpha/R18_122
      FRS setting 162Eu
Entry  Tue Apr 23 22:37:46 2024, TD, 00:00-08:00 Wednesday 24 April 18x
23.34 23.4.24

      DSSSD bias & leakage current OK - attachment 2
Entry  Tue Apr 23 19:23:42 2024, PP, 20:30 checks 8x
All looks good.

Screenshots attached.
Entry  Tue Apr 23 15:11:50 2024, TD, Tuesday 23 April 16:00-00:00 20x

16.12 Analysis of data file R17_101 - attachment 1
Entry  Tue Apr 23 13:15:43 2024, PP, 14:00 checks 8x
All looks good.

Screenshots attached
Entry  Tue Apr 23 13:08:28 2024, TD, Summary of AIDA FEE64 stops Screenshot_from_2024-04-23_14-22-04.pngaida04

We have observed a number of AIDA FEE64s stop producing data.
Entry  Tue Apr 23 11:09:00 2024, PP, 12:00 checks 8x
Everything is OK now.

Screenshots attached.
Entry  Tue Apr 23 10:52:39 2024, PP, Aida02 down and back 
We lost aida02 at about 11:25 again. Nick fixed it about 11:50.

It is now back in the DAQ.
Entry  Tue Apr 23 10:10:31 2024, PP, aida02 is back 
Nick rebooted AIDA and aida02 came back at around 10:55.

AIDA was out of the DAQ from about 10:30 until 10:55
Entry  Tue Apr 23 09:21:01 2024, PP, 10:20 checks - aida02 is down 8x
Aida02 is down. Contacted Nick.

The rest looks stable, see screenshots.

10:53 CEST (NH): Rebooted aida02 via telnet
Entry  Tue Apr 23 07:27:18 2024, PP, 08:00-16:00 Tuesday 24 April shift 8x
Checks 08:00-08:30

Screenshots are attached and everything looks OK.
Entry  Mon Apr 22 22:35:59 2024, TD, 00.00-08.00 Tuesday 22 April 26x

23.36 Analysis of data file R17_34 - attachment 1
      max deadtime c. 1% (aida02)
Entry  Mon Apr 22 15:17:07 2024, DSJ, 16.00-0.00 22/04/24 26x
First checks of shift. All looks ok.

Screenshot of HV, temps, rates, Merger attached. Attachments 1-4.

Screenshots of all spectrum Layout IDs taken before zeroing at 16.35. (Attachments 5-12)
Entry  Mon Apr 22 11:43:55 2024, TD, 21-22.4.24 overnight MIDASsort online sort  7x

Attachment 1 - per DSSSD LEC e_p versus e_n (20keV/channel)
Entry  Mon Apr 22 09:03:54 2024, TD, Report: aida04 stops producing data Screenshot_from_2024-04-22_09-49-30.png

09.14 aida04 stopped producing data - system console output - attachment 1
Entry  Sun Apr 21 23:20:45 2024, TD, Monday 22 April 38x
00.15 Data link to MBS was closed by MBS - reason(s) unknown
      NH restarted MBS receiver and data transfer restarted
Entry  Sun Apr 21 00:34:33 2024, TD, Sunday 21 April 37x
01.35 DSSSD bias & leakage current OK - Grafana - attachment 1

      FEE64 temperatures OK - attachment 2
Entry  Sat Apr 20 17:52:27 2024, TD, NH, Saturday 20 April contd. Screenshot_from_2024-04-20_18-51-53.pngScreenshot_from_2024-04-20_21-52-08.pngScreenshot_from_2024-04-21_10-52-19.png

Note 40kBq 60Co source placed on bottom surface of snout centred on bPlas detectors and DSSSDs
Entry  Sat Apr 20 11:40:38 2024, TD, Offline analysis R12 & R13 ( pulser walkthrough ) 17x

S100 ADC offsets using pulser walkthrough data from data files R12 & R13
Entry  Sat Apr 20 03:20:23 2024, TD, Saturday 20 April 23x

Note 60Co source (current activity c. 43kBq) was installed yesterday evening - assume it is positioned on the bottom side of the snout as per the other
sources used this week/
Entry  Fri Apr 19 13:52:34 2024, JB, CC, TD, Friday 19 April contd. 23x

12.00 Replaced AIDA ASIC mezzanine of aida01 to fix issue with asic #3
Entry  Fri Apr 19 02:35:14 2024, TD, Friday 19 April 38x

03.30
Entry  Thu Apr 18 13:59:55 2024, TD, JB, WR timestamp OK, readout time not OK Screenshot_from_2024-04-18_14-59-38.pngScreenshot_from_2024-04-18_15-01-15.pngScreenshot_from_2024-04-18_15-01-10.pngScreenshot_from_2024-04-18_16-13-55.pngScreenshot_from_2024-04-18_16-13-48.png

WR timestamps appear to be OK but readout times fort aida03, aida04 and aida09 appear to be out of sequence. Attachment 1-3.
Entry  Thu Apr 18 08:57:48 2024, JB, TD, Thursday 18 April 36x
09.52 DAQ continues file S100_alpha/R5
       note merger not functioning correctly due to aida03, aida04 & aida09 out of WR sequence 
Entry  Tue Apr 16 23:37:58 2024, TD, Wednesday 17 April 44x

00.40 Observed zero data fron aida03, aida04, aida09
      WR timestamps offset from other FEE64s
Entry  Tue Apr 16 10:49:37 2024, TD, JB, CC, Tuesday 16 April 24x
11.45 DSSSD bias & leakage current OK - attachments 9-10

      FEE64 temps OK - attachment 8
Entry  Mon Apr 15 09:23:43 2024, CC, JB, HMA, TD, Noise in AIDA when connecting BB7 13x
9:40 started up AIDA. TEMP OK. Noise condition same as Saturday. Attachments 1-3.

9:56 BB7 premaps connected but not powered. Attahcment 4.

10:20 BB7 Preamps powered. Attachment 5.
Entry  Sat Apr 13 14:04:44 2024, JB, 13 April Noise checks 9x
15:04 bPlast was left powered over night. Powering up to check noise conditions - also to check shifting of Germanium baseline (no change observed).

          TEMP OK.

          Noise condition the same as yesterday when platform was moved in. Noise in aida01 and
Entry  Thu Apr 11 22:04:50 2024, JB, 12.04.2024 AIDA-bPlast noise optimisation Screenshot_from_2024-04-12_15-11-18.pngScreenshot_from_2024-04-12_15-22-54.pngScreenshot_from_2024-04-12_15-22-26.pngScreenshot_from_2024-04-12_18-07-35.pngScreenshot_from_2024-04-12_18-07-27.png
15:00 Platform in, biasing detector. Temp OK Attachment 1. test - Pulser OFF.

           Rates somewhat worse than last night - probable contact on grounding of snout. Attachment
3.
Entry  Thu Apr 11 08:27:21 2024, JB, TD, 11 April noise tests 48x

TO-DO for 11.04.2024

- Try bringing bPlast drain wire ground back to the PSU ground for PN 300 and R&SRMP4040.

- Recheck the downstream
detector bias and ground scheme.

-

 
Entry  Wed Apr 10 08:37:57 2024, JB, CC, TD, Wednesday 10 April 47x

09.38 CC completed install of Bplast driver PCBs yesterday evening.
      All flat ribbon cables connected - all drain wires grounded
Entry  Tue Apr 9 13:22:41 2024, TD, JB, CC, Continued of 9th of April Screenshot_from_2024-04-09_14-22-20.pngScreenshot_from_2024-04-09_14-22-16.pngScreenshot_from_2024-04-09_17-18-45.png
Disconnected test - pulser from aida08. Noise conditions improved slightly, probably less pulser events. (Attachments 1 & 2).

We recabled the dew point sensor and flow sensor for the water supply interlock to the FEE64s. When we tried to power up the interlock box, the
PSU (charging block) LED was blinking indicating an internal power instability. We then plugged each of the sensors out and into the interlock box and
Entry  Tue Apr 9 09:04:07 2024, TD, [How To] Remote control of BNC PB-5 Screenshot_from_2024-04-09_10-03-42.png

BNC PB-5 set to remote control
Entry  Tue Apr 9 08:37:47 2024, TD, Tuesday 9 April 16x
09.36 Cooling water temperature and flow OK

      FEE64 power ON
Entry  Mon Apr 8 16:39:00 2024, JB, CC, TD, Monday 8 April 11x

17.32 Power and detector bias cycle
Entry  Mon Apr 8 11:18:19 2024, TD, S505 offline analysis data file R3_150 Screenshot_from_2024-03-29_20-21-07.pngScreenshot_from_2024-03-29_20-21-45.pngScreenshot_from_2024-03-29_20-22-29.pngScreenshot_from_2024-03-29_20-23-06.pngvariables.dat

DRG quotes ( from Elog ) S505 FEE64 configuration as
Entry  Mon Apr 8 10:23:16 2024, TD, JB, AIDA Noise optimisation 30x
In the morning we reinstalled FEE64s aida06, aida13, aida07. The rails of the FEE64 boards were found to be incorrect (that of the rails that were used
in CARME).

After replacing the rails on the abovementioned FEE64s we powercycled AIDA and found the following results in the histograms and statistics.
Entry  Sun Apr 7 18:13:56 2024, TD, Sunday 7 April contd. 6x

19.10 CAEN N1419ET LK fitted
      power cycle
Entry  Sun Apr 7 13:08:52 2024, TD, FEE64 configuration AIDA_S100_WiringPlan.drawio.png
FEE64 configuration per https://elog.gsi.de/despec/S100/6

Configuration: Wide - 16 FEEs, 2 DSSD
Entry  Sun Apr 7 12:16:27 2024, TD, aida06 system console log 
ISOL Version 1.00 Date 9th January 2017
Flash base address=FC000000
Set Flash to ASync Mode
Entry  Sun Apr 7 12:02:23 2024, TD, Sunday 7 April 46x

13.00 Cooling water temperature and flow OK - attachment 1
Entry  Wed Apr 3 13:02:19 2024, NH, Merger for 16 FEEs Screenshot_from_2024-04-03_14-15-02.pngScreenshot_from_2024-04-03_14-15-25.pngScreenshot_from_2024-04-03_14-15-36.pngScreenshot_from_2024-04-03_14-15-45.pngScreenshot_from_2024-04-03_14-15-52.png
Changed /MIDAS/Linux/startup/NewMerger

Change parameters -i and -l in master64 to 16 for 16 FEEs
Entry  Wed Apr 3 12:42:57 2024, NH, Report aida02 WR errors Screenshot_from_2024-04-03_13-43-48.pngScreenshot_from_2024-04-03_13-43-38.pngScreenshot_from_2024-04-03_13-43-58.pngScreenshot_from_2024-04-03_13-44-14.pngScreenshot_from_2024-04-03_13-44-36.png
The WR error counter for aida02 seems to consantly rise

Tried reseating cable on both ends, no change

However clock status passed, aida02 has a correct WR timestamp and no FIFO/PLL errors seen
Entry  Wed Apr 3 12:09:47 2024, NH, Report - aida06 frequently fails to boot first time (PHY error) ttyUSB15
When booting up AIDA aida06 usually crashes the first time, it fails to get IP from DHCP
After 180 seconds it reboots and seems to connect fine

Log file attached, key part (to me) is this:
Entry  Tue Apr 2 18:37:21 2024, TD, S505 ADC offsets  S505_calibration_data.txt

S505 ADC offsets using pulser walkthrough data from data file R1
Entry  Tue Apr 2 12:36:25 2024, JB, CC, NH, Installing FEE64s of DSSSD2 cont. 
Some additional checks

- check 'top hat' electrical isolators are correctly installed at each of the 4x mounting points of the AIDA snout
assembly
Entry  Wed Mar 27 14:22:35 2024, JB, NH, Installing FEE64s of DSSSD2 14x
Mounted on frame:

DSSD 1 (Upstream) :     3208-2/3208-5/3208-8
DSSD 2 (Downstream): 3208-3/3208-21/3208-22
    Reply  Thu Mar 28 09:18:53 2024, TD, Installing FEE64s of DSSSD2 
Some additional checks

- check 'top hat' electrical isolators are correctly installed at each of the 4x mounting points of the AIDA snout assembly 

- check snout is electrically isolated with respect to AIDA support assembly/stand, bPlas PCBs/cabling/ground/drain wires and BB7
Entry  Tue Mar 26 18:56:03 2024, TD, USB-controlled ac mains relay interlock box - wiring 

Sensor ( 4 pins )
Entry  Tue Mar 26 10:32:05 2024, NH, JB, Tue 26 March 9x
Taken 4 FEE64s from CRYRING (the 4 easiest to access)
  41:d8:2b
  41:f6:5a
Entry  Fri Mar 22 08:31:39 2024, TD, Friday 22 March 39x

09.30 Systems check
Entry  Fri Mar 22 08:29:55 2024, TD, Anydesk restarted remotely 
Anydesk restarted remotely per https://elog.ph.ed.ac.uk/CARME/489

Anydesk address now restored to 832827869
Entry  Thu Mar 21 15:41:49 2024, NH, AM, MP, CC, Thu Mar 21 6x
Fig 1-3: Noise situation at real thresholds (0xa p+n, 0xf n+n)

Fig 4-6: After AM and MP turn off Mesytec Preamps
    Reply  Fri Mar 22 08:22:43 2024, NH, AM, MP, CC, Thu Mar 21 
> Fig 1-3: Noise situation at real thresholds (0xa p+n, 0xf n+n)

> Fig 4-6: After AM and MP turn off Mesytec Preamps
Entry  Fri Mar 22 07:34:54 2024, NH, JB, Au Beam 
 
Entry  Wed Mar 20 17:02:53 2024, NH, /dev/sdd 
The following messages are in the system log very often:

Mar 20 18:00:56 aidas-gsi smartd[1076]: Device: /dev/sdd [SAT], 2224 Currently unreadable (pending) sectors
Entry  Wed Mar 20 12:22:27 2024, NH, Wed Mar 20 9x
Turn on AIDA for Dry Run demonstrations and so on

All system wide checks, temp, bias OK

Noise situation is dreadful (but has not been optimised). Deterioriation since first mounted, suspect cabling issues with bPlast and BB7.
Entry  Tue Mar 19 10:17:30 2024, NH, Dry Run 2024 - 19th March 24 Screenshot_from_2024-03-19_13-44-34.pngScreenshot_from_2024-03-19_13-44-22.pngScreenshot_from_2024-03-19_13-44-04.pngScreenshot_from_2024-03-19_13-43-44.pngScreenshot_from_2024-03-19_13-43-24.png
AIDA has 8 FEEs and 1 DSSSD 

Aida08 (HDMI#12) had no WR again, I moved it to a different MACB and now it gets WR
Entry  Mon Mar 18 18:04:43 2024, NH, Preparation for pre-s100 dry run (and test beam???) 
In preparation for the dry run the following *temporary* changes to the FEE numbering have been prepared
These should be reverted after the dry run to ensure cable->fee agreement again
Entry  Fri Mar 15 16:29:57 2024, NH, Leakage currents 
The behaviour of the DSSSD leakage current at low voltages and during biases is unusual and varies depending on how the adapter boards are connected
To summarise the behaviour I have observed
Entry  Thu Mar 14 13:00:23 2024, JB, NH, MA, AM, GA, Mounting and biasing DSSD 2 
new Downstream DSSD2: 3208-2/3208-5/3208-8

Covered with black cloth.
Entry  Thu Mar 14 12:13:17 2024, JB, NH, MA, Mounting and biasing DSSD 1 
Upstream bPlast mounted

new Upstream DSSD: 3208-2/3208-5/3208-8
Entry  Wed Mar 13 13:02:19 2024, JB, NH, HA, MA, DSSD 1 biasing tests 20240313_142551.jpg
Dismounted Snout and biased DSSSD1 channels

leftmost waifer working

middle waifer reaches 90V then current ramps up
Entry  Tue Mar 12 16:16:49 2024, NH, TD, JB, HA, Summary of DSSSD Biasing 12.03 
DSSD#1 undergoes a breakdown at 90V, two of the three wafers show this
- The adapter PCBs themselves have no breakdown at 100V, indicating the   issue is internal to the snout
Entry  Mon Mar 11 15:19:44 2024, JB, NH, Priyanka, Michael Armstrong, Helena Albers, To Do: AIDA PCB tests 
To do:

1) Disconnect ribbon cables from p+n junction FEE64 adaptor PCBs of upstream DSSSD, apply c. 100V bias and check leakage current is zero
i.e. eliminate shorts in PCBs
Entry  Sun Mar 10 17:08:12 2024, NH, AIDA FEE Layout + Cabling Plan for S100 AIDA_S100_WiringPlan.drawio.pngAIDA_S100_WiringPlan.drawioAIDA_S100_WiringPlan(1).drawioAIDA_S100_WiringPlan.drawio.png
Proposed FEE numbering and wiring plan for upcoming experiment S100 (2x Wide DSSSDs)

Image designed in draw.io, source attached 
Entry  Fri Mar 8 16:05:57 2024, JB, CC, TD, NH, Friday 8 March IV_test_AIDA.xlsxchart.pngDownstream_positive_bias_vs._Current_(uA).png
Bias tests of AIDA on individual wafers and in parallel. Spreadsheet can be found in attachment 1, and graphic results can be seen in Attachment 2. Summary:
Upstream detector cannot be biased in parallel nor individually. Downstream detector can be biased with positively and each wafer can individually be biased
negatively. In parallel, it was not possible to bias the downstream detector negatively as indicated by the tests below.
Entry  Thu Mar 7 15:15:29 2024, JB, NH, CC, AIDA HV Bias Test IV Curve 

AIDA I-V Test


Voltage (V)
Current
(uA)


10
1.43


20
2.065


30
2.415


40
2.64


50
2.825


60
2.99


70
3.185


80
3.58


90
5.01


100
9.4




-
Voltage-Current test of newly installed AIDA snout. Breakdown observed at around ~92 V. Probably caused my light leakage into the snout, will investigate
Entry  Thu Mar 7 11:09:05 2024, HA, JB, CC, TD, MG, Thursday 7 March 

Snout assembly
Entry  Tue Mar 5 09:10:01 2024, MA, JB, TD, Tuesday 5 March 20240305_101140.jpg20240305_101146.jpg20240305_165949.jpg

Old ribbon cable assemblies - attachments 1  2
Entry  Mon Mar 4 11:35:30 2024, TD, Monday 4 March 11x
12.30 FEE64 41:d7:cd ASIC mezzanine u/s, no data, ASIC temperature c. 20 deg C ( ambient ) low
      Replaced ASIC mezzanine with new ASIC mezzanine
      Installed as aida08
Entry  Sun Mar 3 16:06:11 2024, TD, Sunday 3 March 24x

17.00 FEE64 41:a0:71 ASIC #2 u/s
      Replaced ASIC mezzanine with new ASIC mezzanine
Entry  Mon Feb 26 13:17:51 2024, TD, Offline analysis of DEC23/R9_6 9x

First pass analysis of data file /TapeData/DEC23/R9_6
Entry  Wed Jan 31 15:27:07 2024, TD, Photos of water flow & dew point sensor interlock box 20240131_160205.jpg20240131_145249.jpg20240131_145340.jpg20240131_160341.jpg
Attachment 1 - 4 socket input connectors ( from sensor to interlock box )

Attachment 2 & 2 - 24V dc relays and internal wiring
Entry  Mon Nov 13 11:46:54 2023, TD, Summary of AIDA 24cm x 8cm 'triple' DSSSD tests Summary_of_AIDA_tests_2022-3_-_Dec_2023.pdfSummary_of_AIDA_tests_2022-3_-_Dec_2023.pptx
 
Entry  Thu Oct 12 14:01:43 2023, TD, MSL type BB18 24cm x 8cm DSSSD test - update Screenshot_from_2023-10-12_15-13-30.pngScreenshot_from_2023-10-12_15-17-05.png

DSSSD MSL type BB18 24cm x 8cm 3208-3/3208-21/3208-22
Entry  Sun Oct 1 11:47:07 2023, TD, S4 cooling water  1000007356.jpg1000007355.jpg

The photographs show the cooling water controls and temperature/pressure gauges outside S4 and the connections used by AIDA within S4.
Entry  Thu Aug 31 15:24:56 2023, NH, New AIDA MBS PC 
The AIDA MBS FDR will be x86l-119 from now on, not x86l-94

the MBS relay and startup scripts will be changed for this
Entry  Mon Aug 28 12:47:56 2023, NH, Power Failure 24.08.2023 
There was a power failure in the morning of 24.08.2023 in the Rhein-Main area affecting GSI

The Aida workstation (aida-3) has been restarted, it is unknown if the Pis in S4 rebooted as well (there is a UPS)
Entry  Sun Jul 16 09:32:57 2023, TD, Firefox browser proxy setting change 

Firefox browser proxy setting changed to 'Auto-detect proxy settings for this network' ( Firefox -> Edit -> Settings -> Network Settings -> Settings )
Entry  Wed Jan 18 13:40:33 2023, PJCS TD, MACB settings with either Emulator or VITAR macb_apr20.jedmacb_apr20.vhdzybo.jpgMACB.jpg
When using the VETAR connected to the HDMI port of the root MACB the settings for all the MACB in the system 0x3.

This setting takes the Clock and Data line from the input HDMI and outputs it via teh HDMI output ports.

When using the Emulator connected via the SMA connectors on the back of the root MACB then the setting for the root MACB
Entry  Fri Dec 16 14:02:12 2022, NH, AIDA System off for christmas break 
The AIDA NIM crate, pis and workstation have been powered off for the Christmas break and will not be accessible
Entry  Thu Oct 6 16:51:49 2022, NH, Oscilloscope analysis 24x
Investigating AIDA noise with a TA041 differential probe and oscilloscope 

AC Mains (DESPEC platform AC, L-N)
Entry  Wed Sep 14 19:07:07 2022, PJCS, INFO : Three Merger Statistics explained 
There are three Merger statistics that can be used to better understand how the data flow through the Merger system is proceeding.

Two are from the Link task and one is from the Merger.They are all "No data buffers avaliable" with #1, #2, #3 at the end.

#1: This is incremented when the Link task has a data item to put in the queue for the Merge process but there is no room.
Entry  Thu Sep 8 12:37:18 2022, NH, Proxy Port Changed 
The proxy in Firefox, Yum and AnyDesk has been changed as the old wasn't working

proxy.gsi.de port 3128 is now in use
Entry  Thu Sep 8 12:31:25 2022, NH, Retrying AIDA DataAcq v10 AnyDeskMSI_2022-09-08_13-35-50.pngAnyDeskMSI_2022-09-08_13-35-58.pngAnyDeskMSI_2022-09-08_13-36-02.png
Startup AIDA with ribbon cable connected to aida03 and aida07 for noise

Setup and run with waveforms enabled. Discriminators ADC power etc as default
Entry  Tue Aug 30 13:48:32 2022, NH, AIDA Single Switch Configuration 
The second switch was moved back to CARME so AIDA has been configured back to using a single switch

aida02/aida04/aida06/aida08 updated back to first switch as per https://elog.ph.ed.ac.uk/DESPEC/433
Entry  Tue Jul 5 08:53:20 2022, TD, To Do 

In no particular order
Entry  Wed Jun 29 10:48:26 2022, NH, OH, AIDA Dismounted 
All detectors removed from single and triple AIDA snouts

Empty snouts *and* DSSDs (in boxes) stored in NH office 
Entry  Tue Jun 28 10:11:35 2022, OH, NH, MIDAS Data Aq V10 220628_1117_Rollover0xE.png220628_1119_Merger_Stats_0x7.pngNewMerger_Dump.txt
11:11 Rebooted FEEs and changed aidacommon in /MIDAS/linux-ppc_4xx/startup to point to the new V10 DataAq that Patrick produced
      When using V9 the Merger statistics reported WR items at twice the rate of ADC data items.
      i.e for ever data item we were sending and info code 4 and info code 5 item sending 192 bits of data vs 64 for just the data word
Entry  Tue Jun 28 09:37:19 2022, NH, Tues 28 June 08:00- 
Experiment over

10:37 - Stop DAQ & Tape 
Entry  Mon Jun 27 23:11:47 2022, TD, Tuesday 28 June 00:00-08:00 30x
00:07 Zero stats & all histograms

ASIC settings 2021Apr29-13-16-00
Entry  Mon Jun 27 17:03:09 2022, MA, Monday 27th June 16:00-00:00 6x
16:00 Took over the shift from OH no beam yet.

18:00 Still no beam yet.

Statistics, Temperature, Current are checked and attached 1-3
Entry  Mon Jun 27 06:45:22 2022, OH, Monday 27th June 08:00-16:00 220626_0830_Stats.png220626_0830_Temp.png220626_0831_Bias.pngR5_770_analysis.txt
07:45 Spoke to David and the beam has been gone since about 05:30
      Reason for the loss of beam is a vacuum issue before the FRS
      They are waiting for the experts
Entry  Sun Jun 26 23:04:30 2022, Marc, new shift - Monday 27 June 0:00 to 8:00 12x
0:00 Experiment continues to run smoothly. AIDA DAQ has been rather stable. Leakage current has gone up for the past two days in both DSSDs (combination
of high-Z and high-intensity beam and external high temperature).

Stats & Temperatures (VIRTEX,PSU, ASICs)  all ok.
Entry  Sun Jun 26 08:51:20 2022, OH, NH, Sunday 26 June 08:00-24:00 27x
09:51 Taken over from Tom following the night shift
      Experiment is still running smoothly
      Compression of the files is complete up to the start of R5.
Entry  Sat Jun 25 22:48:57 2022, TD, Sunday 26 June 00:00-08:00 30x
23.43 Check ASIC control
      Zero stats & all histograms
Entry  Sat Jun 25 17:06:42 2022, BA, AA, Saturday 25 June 2022 16:00-00:00 9x
Took over the night shift from Magda

 

18:00 : attachments 1-3
Entry  Sat Jun 25 06:55:07 2022, MS, Saturday 25 June 2022 8:00-16:00 15x
Took over the night shift from Tom.

7:00 The beam is back.

8:00 : attachments 1-3
Entry  Fri Jun 24 22:36:45 2022, TD, Saturday 25 June 00:00-08:00 31x

23:36 Check ASIC contorol
      Zero stats & all histograms
Entry  Fri Jun 24 15:04:06 2022, Marc, Friday 24th June - evening shift 11x
16:05 - Last checked was at 15:30. (see previous entry. All running smoothly.  

Next wide check will be in about an hour.

17:00
Entry  Fri Jun 24 06:56:06 2022, OH, Friday 24 June 008:00-16:00 16x
07:56 Took over from AM. No issues reported overnight
      Stats ok - attachment 1
      Temperature ok - attachment 2
Entry  Fri Jun 24 00:34:55 2022, AM, Friday 24 June 00:00-08:00 20x
01:30    Attachments 1-5, white rabbit and fpga timestamp failures, otherwise all good

03:30    Attachments 11-15, white rabbit and fpga timestamp failures, otherwise all good

05:30    Attachments 6-10, white rabbit and fpga timestamp failures, otherwise all good
Entry  Thu Jun 23 15:10:17 2022, Philippos Papadakis, Thursday 23 June 16:00-24:00 15x
16:20
System wide checks.
Clock status OK
Entry  Thu Jun 23 06:56:02 2022, OH, Thursday 23 June 08:00-16:00 11x
07:56 Taken over from AM
      Current White Rabbit Error status:
        Base  Current  Difference
Entry  Wed Jun 22 23:18:45 2022, AM, OH, TD, MA, Thursday 23 June 19x
00:00 TD Noticed on the last stats uploaded that AIDA08 had stopped sending signals.
      Attempted to recover restarting merger but this caused 01 to drop out.
Entry  Wed Jun 22 15:09:37 2022, MA, Wednesday 22 June 16:00-00:00 12x
16:00 Take over from Magda mrning shift

Beam was off of sometime for tunning to Mercurey setting.

17:00 attached 1-3
Entry  Wed Jun 22 10:09:12 2022, PJCS, INFO: FEE64 supply Voltages 
Study of the FEE64 power supply distribution has yielded the following :-

The most sensitive regulator, as regards the device voltage input, is the TPS51100 that supplies the DDR memory reference voltages. This
requires +4.75 to +5.25 volts. This is supplied from the Power input connector +5v input.
Entry  Wed Jun 22 07:12:46 2022, MS, Wednesday 22 June 8:00-16:00 16x
Took over the night shift from Tom.

8:10 : attachments 1-3

10:00 : attachments 4-6
Entry  Tue Jun 21 23:29:16 2022, TD, Wednesday 22 June 00:00-08:00 33x

00.28 all histograms & stats zero'd
      baseline counters
Entry  Tue Jun 21 10:19:05 2022, OH ML, Tuesday 21st June 08:00-00:00 12x
11:19 Stats ok 0xa on all FEE - attachment 1
      Current pulser settings - attachment 2
      FEE Temperatures ok - attachment 3
Entry  Mon Jun 20 09:26:23 2022, OH, TD, Monday 20 June 11x
10:26 MACB HDMI for AIDA03 and AIDA04 reseated.
      Merger and DAQ restarted - All happily sending data
      Has been running for 10 minutes with no WR errors.
Entry  Sun Jun 19 19:55:20 2022, NH, aida03 and aida04 Screenshot_2022-06-19_205528.pngScreenshot_2022-06-19_205544.png
aida03 and aida04 seem to stop sending data  quickly

stopping DAQ + merger and restarting got them resending data, but quickly stopped again
Entry  Sun Jun 19 12:36:10 2022, OH, Sunday 19th June 1.jpg2.jpg3.jpg4.jpg220618_1753_stats_no_waveform.png
Yesterday the sum/inverter was found to be a considerable source of noise in the system.

Plugging it into an oscilloscope this morning it was clear there was a Vpp 17mv 60kHz sin wave in its signal - attachment 1 yellow trace
Entry  Sun Jun 19 00:22:24 2022, TD, Sunday 19 June 14x

01.20 
Entry  Sat Jun 18 09:46:57 2022, OH, NH, Friday 17th June 23x
Summary of the day:
Small improvements were made throughout the day but by far the biggest change to the rate in the FEEs came from disabling the waveforms
This was done by setting ADC con
Entry  Tue Jun 14 12:15:33 2022, NH, S450 Archived  s450_aida_tape.txt
All MIDAS files for S450 (/TapeData/S450) have been copied to lustre and archived 
Entry  Mon Jun 13 16:38:37 2022, NH, Mon 13 Jun 
Remove Caen HV Supply

Open up, C23 was grounded (HV grounded in NIM)
Entry  Fri Jun 10 10:32:46 2022, NH, Fri 10 Jun 8x
Probe PSU output with 'scope again and 10X probe

Use a AC mains scope as was available, means referenced to ground of AC, but should be ground of platform (and hence Fee64)
Entry  Wed Jun 8 09:55:28 2022, NH, Weds 8 May 2022-06-08_14-48-21_goodevents.pngrn_image_picker_lib_temp_97373248-bdea-4864-b8a9-a13d0d016e30.jpg
10.30 : Turn off AIDA FEE64s 

        Prepare a ground cable for snout - M10 terminal on one end for copper bar. Will affix with Cu tape for now (no free screws)
Entry  Wed Jun 1 08:00:18 2022, TD, 2xDSSSDs spectra layouts 

Spectra layouts for 2x DSSSDs can be found in directory ~/LayOut/2xDSSSDs
Entry  Wed Jun 1 07:35:13 2022, TD, Wednesday 1 June 15x

Attachment 1 - DSSSD bias & leakage current - OK
Entry  Tue May 31 17:09:35 2022, TD, Tuesday 31 May 20x
2x MSL type BB18(DS)-1000 installed

Entry  Tue May 31 09:05:00 2022, NH, TD, Tuesday 31 May 
DSSD stack will be as follows

1      3208-7  1019       125              upstream
Entry  Wed May 25 14:28:26 2022, NH, Wed 25 May aida_single_alu.jpg
The n+n FEEs were all removed to adjust the platform back to the single configuration

After some confusion we found the orientation of the frame to position the single detectors and moved back
Entry  Tue May 24 08:35:00 2022, NH, Tue 24 May 
09:00 - Remove bias of DSSDs  and pwoer of FEEs

Remove snout from S4 so DEGAS frame can be mechnically removed
Entry  Mon May 23 16:41:45 2022, TD, Monday 23 May Screenshot_from_2022-05-23_17-39-23.pngScreenshot_from_2022-05-23_17-39-58.pngScreenshot_from_2022-05-23_17-40-33.png
17.40 DAQ stopped

Attachment 1 - DSSSD bias & leakage current
Entry  Sun May 22 14:12:55 2022, TD, Sunday 22 May Screenshot_from_2022-05-22_15-10-25.pngScreenshot_from_2022-05-22_15-10-48.pngScreenshot_from_2022-05-22_15-11-35.png
15.11 DAQ stopped

Attachment 1 - DSSSD bias & leakage current
Entry  Sat May 21 15:30:45 2022, TD, Saturday 21 May Screenshot_from_2022-05-21_16-27-58.pngScreenshot_from_2022-05-21_16-28-59.pngScreenshot_from_2022-05-21_16-29-36.png
16.31 DAQ stopped

Attachment 1 - DSSSD bias & leakage current
Entry  Fri May 20 16:22:01 2022, TD, Friday 20 May Screenshot_from_2022-05-20_17-19-21.pngScreenshot_from_2022-05-20_17-19-35.pngScreenshot_from_2022-05-20_17-20-22.png
17.20 DAQ stopped

Attachment 1 - DSSSD bias & leakage current
Entry  Thu May 19 17:00:46 2022, TD, Thursday 19 May  Screenshot_from_2022-05-19_17-59-41.pngScreenshot_from_2022-05-19_17-58-21.pngScreenshot_from_2022-05-19_17-58-52.pngScreenshot_from_2022-05-19_17-59-20.png

18.01 DAQ stopped
Entry  Wed May 18 15:29:50 2022, TD, Wednesday 18 May 8x
      file no storage mode, no MBS data transfer

      ADC control register 0x0 
Entry  Tue May 17 16:53:20 2022, TD, Tuesday 17 May 16.00-00.00 24x

17.35 zero all histograms
      zero statistics
Entry  Tue May 17 06:58:51 2022, OH, Tuesday 17th May 6x
08:00 Still have beam for the time being.
      Currently on file R4_2049
Entry  Mon May 16 23:02:54 2022, AM, Tuesday 17th May 00:00-08:00 12x
01:00:     Attachments 1-3, System checks good

03:00:     Attachments 4-6, System checks good

05:00:     Attachments 7-9, System checks good
Entry  Mon May 16 17:23:27 2022, TD, NewMerger stats Screenshot_from_2022-05-16_18-17-10.pngScreenshot_from_2022-05-16_18-17-50.pngScreenshot_from_2022-05-16_18-18-24.pngScreenshot_from_2022-05-16_18-20-02.png
 
Entry  Mon May 16 15:12:50 2022, RDP, MA, Monday 16th May 16:00-00:00 12x
16:00 Took over the shift from Magda.

17:30 Updates: Attached (1-3)

19:30 Updates: Attached (4-6)
Entry  Mon May 16 14:07:06 2022, TD, Lost activity monitor Screenshot_from_2022-05-16_15-04-56.png
 
Entry  Mon May 16 07:03:16 2022, MS, OH, Monday 16th May 08:00-16:00 17x
08:00 Took over the night shift from Tom (Attachments 1-3)

10:00: Attachement 4-6

around 10:30: Beam went off (Attachment 7)
Entry  Sun May 15 23:00:08 2022, & TD, Monday 16 May 00:00-08:00 25x

00.01 DAQ continues
      file S450/R4_1319
Entry  Sun May 15 15:51:49 2022, ML, Sunday 15th May 16:00-0:00 12x
Status at 16:45 (CET)

The expreiment continues to run smoothly.

AIDA Stats look ok - Attachment 1
Entry  Sun May 15 07:40:52 2022, OH, Sunday 15th May 08:00-16:00 10x
08:40 FEE Temperatures ok - attachment 1
      FEE statistics - Attachment 2
      Bias and leakage currents ok - attachment 3
Entry  Sat May 14 23:02:33 2022, TD, Sunday 15 May 00:00-08:00 48x

Pb beam c. 1e+9/spill
Entry  Sat May 14 21:34:11 2022, BA, AA, Saturday 14 May Rates_2022-05-14_22-32-44.pngTemp_2022-05-14_22-31-37.pngLeakg_2022-05-14_22-30-28.png
FEE64 module aida09 global clocks failed, 6
 Clock status test result: Passed 13, Failed 1

Understand status as follows
Entry  Sat May 14 19:39:13 2022, BA, AA, Saturday 14 May Stat_2022-05-14_20-36-15.pngTemp_2022-05-14_20-35-19.pngLeakage_2022-05-14_20-33-32.png
FEE64 module aida09 global clocks failed, 6
 Clock status test result: Passed 13, Failed 1

Understand status as follows
Entry  Sat May 14 17:34:40 2022, BA, AA, Saturday 14 May Stat_2022-05-14_18-33-16.pngTemp_2022-05-14_18-32-07.pngLeakage_2022-05-14_18-30-52.png
FEE64 module aida09 global clocks failed, 6
 Clock status test result: Passed 13, Failed 1

Understand status as follows
Entry  Sat May 14 15:35:24 2022, BA, AA, Saturday 14 May Stais_from_2022-05-14_16-30-53.pngTemp_2022-05-14_16-32-42.pngLeakage_2022-05-14_16-33-45.png
 
Entry  Sat May 14 13:01:58 2022, MS, OH, Saturday 14 May Screenshot_2022-05-14_at_14-02-31_Statistics_aidas-gsi.pngScreenshot_2022-05-14_at_14-02-52_Temperature_and_status_scan_aidas-gsi.pngScreenshot_from_2022-05-14_14-03-54.png
14:00
Entry  Sat May 14 10:59:52 2022, MS, OH, Saturday 14 May Screenshot_2022-05-14_at_12-00-16_Statistics_aidas-gsi.pngScreenshot_2022-05-14_at_12-00-44_Temperature_and_status_scan_aidas-gsi.pngScreenshot_from_2022-05-14_12-01-54.png
12:00
Entry  Sat May 14 09:00:21 2022, MS, OH, Saturday 14 May Screenshot_2022-05-14_at_10-01-07_Statistics_aidas-gsi.pngScreenshot_2022-05-14_at_10-01-50_Temperature_and_status_scan_aidas-gsi.pngScreenshot_from_2022-05-14_10-02-51.png
10:00
Entry  Sat May 14 06:57:21 2022, MS, OH, Saturday 14 May 
08:00 Took over the shift from Philippos
      In system wide checks aida09 fails ASIC clock check but it is bit 6 which is ok
Entry  Sat May 14 03:14:00 2022, PP, Shift Checks 8x
4:13

AIDA stats OK

Leakage current OK
Entry  Sat May 14 01:52:03 2022, ML, 2h-Shift Checks Stats_Screenshot_from_2022-05-14_02-48-14.pngTemp_Screenshot_from_2022-05-14_02-47-31.pngHV_LC_Screenshot_from_2022-05-14_02-46-42.pngucesb_rates_Screenshot_from_2022-05-14_02-50-36.pngGrafana_Screenshot_from_2022-05-14_03-50-00.png
AIDA stats ok

Leakage current ok

Temperatires ok
Entry  Fri May 13 23:37:59 2022, ML, 2h-Shift Checks Stats_Screenshot_from_2022-05-14_00-40-56.pngHV_LC_Screenshot_from_2022-05-14_00-39-51.pngtemp_Screenshot_from_2022-05-14_00-41-44.pngUCESB_Screenshot_from_2022-05-14_01-00-00.png

Took over remotely from CB  about an hour ago

At 0h40 (CET):
      Stats still ok - attach 1
      Leakage still OK - Attach 2
      Temps
- attach 3
      Grafana OK
      UCESB rates ok - attach 5
      
      System-wide checks: aida09 fails clock (1), aida02 06 09 10 13 fail ADC calibration,
all pass WR
Entry  Fri May 13 15:00:23 2022, CB, 13 March - 16:00-24:00 shift 10x
16:00 Took over remotely from OH, TD who remain in GSI

      Stats OK - attach 1
Entry  Fri May 13 07:36:18 2022, OH, TD, Friday 13 May 35x
08:36 DAQ Still running smoothly
      Currently on run R1_328
      At current data rates we have just over 4 days of space left on the current disk
Entry  Thu May 12 22:49:39 2022, BA, MA, Low Rates RatesLow2022-05-12_23-48-01.png
The rate is very low in all aida, not sure .
    Reply  Fri May 13 06:56:14 2022, OH, BA, MA, Low Rates 
 




Quote:



The rate is very low in all aida, not sure .
Entry  Fri May 13 06:47:33 2022, ML, 2h-Shift Checks Stats_Screenshot_from_2022-05-13_07-43-54.pngTemp_Screenshot_from_2022-05-13_07-43-13.pngHV_LC_Screenshot_from_2022-05-13_07-42-38.png
It has been a quiet night. AIDA has been stable.

Stats appears stable appear

Temperature also stable
Entry  Fri May 13 04:45:23 2022, ML, 2h-Shift Checks Stats_Screenshot_from_2022-05-13_05-43-14.pngTemp_Screenshot_from_2022-05-13_05-42-10.pngHV_LC_Screenshot_from_2022-05-13_05-41-23.png
AIDA is running ok. Note that, in the last hour or so, the rate of implant in DSSD1 is back to higher rate ~10 Hzto 15 Hz as at the beginning of this
shift.

Stats seems ok
Entry  Fri May 13 02:56:36 2022, ML, 2h-Shift Checks Stats_Screenshot_from_2022-05-13_03-43-34.pngTemp_Screenshot_from_2022-05-13_03-44-41.pngHV_LC_Screenshot_from_2022-05-13_03-41-28.png
All seemnormal on AIDA side.

Stats as before

Temperatures stable
Entry  Fri May 13 02:28:36 2022, ML, beam dropped 
We see less counts in AIDA implant DSSD1 (~1Hz) than at the beginning of the night shift (~10Hz).

This seems to be beam related as the count rates in DESPEC & FRS Scalers seems to have dropped too.
Entry  Fri May 13 00:50:16 2022, ML, 2h-Shift Checks Stats_Screenshot_from_2022-05-13_01-45-56.pngTemp_Screenshot_from_2022-05-13_01-47-31.pngHV_LC_Screenshot_from_2022-05-13_01-48-21.png
All seems ok  (apart for my virgin network connection usually quite reliable but not so tonight !?!).

Statistics seems ok.

Temperatures appears stable
Entry  Thu May 12 21:43:49 2022, BA, MA, Rates Stati2022-05-12_22-47-26.pngTemp2022-05-12_22-48-41.pngLeakageCurrent2022-05-12_22-45-44.png
 

Statistic check (screenshot attached).

Temperatures OK (screenshot attached).
Entry  Thu May 12 16:30:47 2022, NH, OH, TD, Notes for mounting a second switch 
Update DHCPD as expected
Make sure new ethernet device is trusted in firewall
Make sure hosts is updated
Entry  Thu May 12 10:10:51 2022, TD, OH, AIDA data throughput 15x

Attachment 1 - top aida06
Entry  Thu May 12 07:09:43 2022, TD, Thursday 12 May 08:00-24:00 27x

08.10 AIDA DAQ status
    
Entry  Thu May 12 00:37:52 2022, OH, AM, Thursday 12 May 13x
01:37 Over the past hour the degrader settings have been checked by impinging 209Pb onto the detectors.
      That is now complete.
      Will find optimum thresholds for n+n side and then leave DAQ running with n+n at optimum and p+n at 0xc
Entry  Wed May 11 19:08:41 2022, CB, PP, Wednesday 11th May - evening shift 16.png22.png13.png14.png
20:19 no beam yet.

Statistic check (screenshot attached).

Temperatures OK (screenshot attached).
Entry  Wed May 11 07:04:13 2022, OH, NH, TD, Wednesday 11th May 9x
08:00 Overnight at some point it appears that aida14 has stopped producing any ASIC data
      It is currently sending data pause requests and data push requests but nothing else - attachment 1
      telnet into aida14 and run top to see what the current state of the FEE is. AIDAExec currently using 0% CPU usage.
Entry  Tue May 10 07:41:28 2022, NH TD, Tuesday 10 May 29x
8:15am S4 CONTROLLED ACCESS to remove beam plug and check bPlas/AIDA response to beam

Reseat aida05 ribbon cable on adapter board while in...
Entry  Mon May 9 08:36:23 2022, TD, NH, Monday 9 May 31x

09.32 Re-start AIDA
Entry  Sun May 8 17:43:57 2022, NH, AIDA FEE64 Layout AIDA_Adapter_Configuration(1).png
AIDA FEE64 layout with respect to the beam.
Entry  Sun May 8 15:10:45 2022, TD, Sunday 8 May 6x

DSSSD bias and FEE64 power OFF during Ge install
Entry  Sat May 7 13:27:39 2022, TD, AIDA configuration 

Adaptor PCB link settings
Entry  Sat May 7 09:55:53 2022, TD, Saturday 7 May 15x

Attachments 1 & 2 per FEE64 1.8.L spectra 
 pulser peak widths aida01 121 ch FWHM, aida02 517 ch FWHM
Entry  Fri May 6 09:31:41 2022, TD NH, Friday 6 May 33x

10:30 DAQ appears to have stopped
Entry  Wed May 4 16:50:04 2022, NH, AIDA 4th May Screenshot_20220504_174929.pngScreenshot_20220504_175201.png
bPlas has been mostly cabled in now

Reseat LAN cable (AIDA Switch -> AIDA-3) and reachieve 1 gbit/s speed as needed.
Entry  Mon May 2 13:08:49 2022, NH, AIDA Updates 2 May elog_temps1.pngalpha_1d.png
The snout endcap has been sealed with new copper tape over the red tape

Observe significant drop in leakage current on DSSD #2 down to 7 uA (about 0.5 uA above DSSD #1) as it looked when the black cloth was on
    Reply  Tue May 3 14:15:17 2022, NH, AIDA Updates 2 May 

PAUSE/RESUME stats are dominated by 2x FEE64s - aida07 and aida16
Entry  Mon May 2 09:52:20 2022, OH, Shifter checklist 2022 
Every 30 minutes:

- Reload statistics (Web browser tab screen 1, workspace 3)
Entry  Thu Apr 28 18:45:09 2022, NH, Alpha Background Run  AnyDeskMSI_2022-04-28_19-47-33.pngAnyDeskMSI_2022-04-28_19-47-56.pngAnyDeskMSI_2022-04-28_19-48-13.png
Runs are in /TapeData/BGAPR22 located on 8TB disk "SecondDrive" (N.B. 2A experiment is using ThirdDrive)

Old runs and test files were removed from disk. Left is an unknown S481 folder (fibre implant test?) and Patrick
Entry  Wed Apr 27 15:47:46 2022, NH, HA, SA, CJ, AIDA 27 Apr 22 7x
Remount snout in S4 (photos to come) 
Alignment with DEGAS OK but a bit short...  DEGAS platform will be brought 31 mm closer to AIDA by rail adjustment
Entry  Fri Apr 8 08:59:42 2022, OH, NH, Friday 8th April 11x
09:59 Noticed that the right hand ribbon cable for aida07 was offset vertically by 1. i.e. Only 1 of the 2 rows of pins in. Unbiassed detectors and reconnected.
      Rebiassed detectors - leakage current on DSSD2 increased to 9.96uA - Attachment 1
Entry  Thu Apr 7 12:42:14 2022, OH, NH, TD, Thursday 7 April 8x

Re-assembled triple snout re-installed on the AIDA stand - DSSSD ribbon cables and grounds re-connected.
FEE64 adaptor PCB LKs per https://elog.ph.ed.ac.uk/DESPEC/409
Entry  Wed Apr 6 10:09:21 2022, OH, NH, TD, Wednesday 6 April 6x
DSSSD bias OFF. DAQ STOPped

Attachment 6 FEE64 temps OK
Entry  Tue Apr 5 12:46:52 2022, TD, MSL type BB18(DS)-1000 triple - cable lengths 

OH/NH disassembling current AIDA triple snout and DSSSD stack.
Entry  Tue Apr 5 08:52:16 2022, TD, Tuesday 5 April 6x
DSSSD bias OFF. DAQ STOPped

Attachment 1 FEE64 temps OK
Entry  Mon Apr 4 09:19:49 2022, TD, Monday 4 April 12x
AIDA adaptor PCB config - all LKs removed *except*

aida04 & aida08 LK1
Entry  Sun Apr 3 10:56:11 2022, TD, Sunday 3 April 35x

all system wide checks OK *except* aida10 failed ADC calibration
Entry  Sat Apr 2 10:42:49 2022, TD, Saturday 2 April 21x
11.10 Found aida08 not running - merger/TapeServer stalled

Restart required power cycle of all FEE64s
Entry  Wed Mar 9 10:15:56 2022, NH TD, Wednesday 9 March - noise tests contd. 38x
11.15 - S4 is currently closed no access

If access possible (should be) plan is
Entry  Tue Mar 8 10:26:56 2022, TD NH, Tuesday 8 March 2022 40x

11.25 System wide checks OK except aida06 clock fail status 6 - attachments 1-13
Entry  Mon Mar 7 12:20:26 2022, NH, TD, AIDA Grounding Checks Mon 7 Mar 14x
Remove all DSSD ribbon cable braid ground from FEE64s to check n+n ground loops

Removing all on n+n side only and test resistance to ground: 4, 6 and 8 show continuity to ground, 2 shows no connection (braid ring terminal to copper
Entry  Sat Mar 5 10:43:45 2022, OH, NH, Grounding and noise tests 4th-5th March Summary 13x
Tests performed


After leaving overnight noticed the pulser was not fully inserted into aida09

Little change in rates
observed in 9 but otherwise nothing else


Connected bias of aida02 (n+n ground) to aida06 (n+n ground) and likewise 4-8

No
change observed in rates


Also tested covering the snout in light tight material

No Changes


Unplugged
Entry  Fri Mar 4 08:40:36 2022, OH, NH, AIDA Noise and grounding tests 3rd March - Results 9x
Grounding implemented


Each FEE given direct connection to heavy duty earth bar via adaptor board lemo ground
Earth bars
are then connected to platform ground on AIDA frame
Photo of grounding - attachment 1
Improvements not as large as expected from
previous experience though

Particularly in the n+n side where widths still appear awful


While implementing the
Entry  Thu Mar 3 08:45:03 2022, OH, NH, AIDA Noise and grounding tests 3rd March 8x
Pulser spectra


Changes to the nn pulser circuit yesterday have improved the peak widths on the p+n side
p+n peak widths
averact around 100 channels
n+n around 1000 at 0xa threshold
n+n 1.8.L spectra - attachment 1
p+n 1.8.L spectra attachment
2


p+n peak widths




Entry  Wed Mar 2 16:00:01 2022, OH, NH, Noise tests - 2nd March 
An interesting find with the new sum inverter is that with the pulser at default settings the pulser peak on the n+n side is above the range of the ADC.
We have checked signals from the sum inverter and pulser and both are equal in magnitude.
We therefor determine it is over range as the charge is spread over 4 FEEs vs 12 on the p+n side.
Entry  Wed Mar 2 09:08:44 2022, OH, DAQ Status 2nd March 2022 220302_1002_goodevents.png220302_1002_white_rabbit.png220302_1003_merger.png220302_1003_merger_data_buffers.png220302_1004_merger_merge_time_errors.png
DAQ was found yesterday with none of the FEEs reporting any good events on any FEE - attachment 1
Temperature menu is still responsive and all FEEs report a temperature
Looking at the white rabbit timestamps aida09 has a gibberish timestamp - attachment 2
    Reply  Wed Mar 2 10:05:13 2022, OH, DAQ Status 2nd March 2022 
> DAQ was found yesterday with none of the FEEs reporting any good events on any FEE - attachment 1
> Temperature menu is still responsive and all FEEs report a temperature
> Looking at the white rabbit timestamps aida09 has a gibberish timestamp - attachment 2
Entry  Tue Mar 1 08:29:19 2022, OH, NH, Findings from the upgrade to centos7 from SL6 TapeServer.desktopScreenshot_from_2022-03-01_09-40-18.png
Required packages not included as default


csh (For running MIDAS scripts)
xinetd (Runs the rdate server for the FEEs)
Telnet
(Communication with the FEEs)
dhcp


Configuration changes


FEEs uses NFS2 which is no longer enabled by
default

Must edit config in /etc/nfs.conf to uncomment the following lines:

[nfsd]
vers2=y




/etc/xinetd.d/time-stream
Entry  Wed Feb 16 10:32:52 2022, PJCS, AIDA software changes and some suggestions 
The Pi console monitor program now outputs a full date/time to file for each line of report.

The System Wide Checks has been upgraded to include a check of the PLL lock monitor counters. A baseline is taken when the software starts, or
at the users command, then subsequent operation of the command compares the current counter value with the baseline. There are two PLLs on the pcb, LMK3200,
Entry  Fri Feb 11 12:09:24 2022, NH, Fri 11 Feb AIDA Work 
Use beam break between FRS experiments to finalise getting AIDA testable for PJCS etc.

USB hubs reconnected - all 16 ttyUSBs seem to be visible now
Entry  Tue Feb 1 15:00:28 2022, NH, AIDA CentOS 7 Startup 
Starting up AIDA on CentOS 7 to confirm things work (based on some CARME experience)

NFS settings:
Entry  Fri Oct 29 23:00:04 2021, NH, Ground cable information 
For future refinement of the AIDA ground cables using copper bus bar or similar:

Thin cable (from AIDA FEEs to common connection point)
Entry  Fri Oct 29 10:49:01 2021, OH, Noise tests - 28th October -29th October 24x
Plan for the day was to connect a mechanical ground to the FEEs connected to DSSD0 1, 2, 3, 4, 9, 10, 11 and 12

This was done by connecting thick copper cable to the mechanical ground wires on the AIDA frame (These ground wires are connected to the platform ground
Entry  Wed Oct 27 15:12:50 2021, OH, NH, Noise tests - 27th October 6x
 Began by installing the triple.
Only the upstream detector was connected to the FEEs the downstream detector cables were left loose. The two detectors are isotolated though.
Entry  Thu Oct 21 16:18:51 2021, OH, FEE and Adaptor board groundings 
During investigations into the noise today by NH and OH a couple of findings were made on the grounding of the FEEs and Adaptor boards.

- The adaptor boards have no connection to the FEE ground over the ERNI connector
    Reply  Tue Oct 26 16:08:46 2021, NH, FEE and Adaptor board groundings 
> During investigations into the noise today by NH and OH a couple of findings were made on the grounding of the FEEs and Adaptor boards.

> - The adaptor boards have no connection to the FEE ground over the ERNI connector
Entry  Thu Oct 21 09:33:08 2021, OH, Noise tests - 21st Oct 2021 211021_0951_fee8_x8L.png211021_0953_fee14waveform_zoom.png211021_0956_fee14_waveform.png211021_0957_fee8_x8L.png211021_0959_fee8_waveform_zoom.png
Pulser was left on overnight with the bias filters on
First plot is FEE14 not FEE8
Entry  Thu Oct 21 09:08:41 2021, OH, MIDAS start up messages 8015Startup.txt8115startuptapestart.txtmergerstart.txtdatarelay.txt
 
Entry  Wed Oct 20 13:26:08 2021, NH, OH, AIDA Noise + Filtering 6x
Turn on AIDA (SL6) to investigate noise situation and impact of new RC filters on bias input

Current setup:
Entry  Tue Oct 19 16:17:49 2021, OH, AIDA-gsi server to centos 7  
Following advice of CU have updated the server to centos 7.

To do this a new 500GB SSD was purchased and installed in the enclosure and a clean install of centos7 was installed to this.
Entry  Mon Oct 18 14:20:32 2021, OH, Top bar launchers 
launcher1
TclHttpd @8015 for AIDA
/MIDAS/Linux/startup/HTTPD
Entry  Mon Oct 18 13:03:23 2021, OH, DHCPd.conf backup dhcpd.conf
 
Entry  Mon Oct 18 13:01:04 2021, OH, Proxy config proxy.pngproxy2.png
Proxy for firefox and anydesk
Entry  Fri Sep 3 13:39:42 2021, OH, Additional noise tests performed at GSI DSO_Lab_NoP.jpgDSO_Lab_1.jpgDSO_Lab_50V.jpgDSO_Lab_NoCable.jpg
Contents of an email from NH to OH and TD about tests performed on an additional bias supply:

This email was sent to you by someone outside the University.
Entry  Tue Aug 17 12:39:25 2021, NH, TD, AIDA Noise 16x
Investigate noise situation of AIDA (no DSSSDs connected)

Figs 1-6: Waves, Pulser Peaks + Widths *before* any changes
    Reply  Thu Aug 19 10:37:50 2021, TD, AIDA Noise 

11:30 BNC PB-5 pulser polarity chnaged from positive to negative (using LOCAL control)
      Swap BNC cables (top + bottom & left + right) from BNC PB-5 and Cooknell SA1 Sum Amp outputs
       Reply  Fri Aug 20 14:33:24 2021, TD, AIDA Noise 6x

> 11:30 BNC PB-5 pulser polarity chnaged from positive to negative (using LOCAL control)
>       Swap BNC cables (top + bottom & left + right) from BNC PB-5 and Cooknell SA1 Sum Amp outputs
          Reply  Sun Aug 22 18:40:08 2021, TD, AIDA Noise 
> > 
> > 11:30 BNC PB-5 pulser polarity chnaged from positive to negative (using LOCAL control)
> >       Swap BNC cables (top + bottom & left + right) from BNC PB-5 and Cooknell SA1 Sum Amp outputs
Entry  Thu Aug 19 10:47:13 2021, TD, MIDAS spectra AIDA_spectra_190821.tar.gz
 
Entry  Mon Jul 5 14:36:15 2021, NH, Monday 5 July 
AIDA Unbiased and powered down
All FEEs were running before stoppage. None had rebooted.
Aida05 did not respond until merger was restarted, all other DAQs responded fine.
Entry  Tue Jun 22 13:01:19 2021, NH, AIDA Data on lustre 
The following runs are now copied to lustre
If necessary they can be removed from AIDA HDDs for space.
There are also spare HDDs that can (and should) be swapped for the current ones
Entry  Mon Jun 21 10:21:50 2021, NH, Monday 21 June 8x
11.21 - DAQ continues OK (no storage mode)

11.21 - System checks ok *except*
Entry  Thu Jun 17 11:14:04 2021, TD, Thursday 17 June 8x
12.15 DAQ continues OK - no storage mode

12.15 System checks OK *except*
Entry  Wed Jun 16 18:05:03 2021, TD, Wednesday 16 June 7x

19.04 All system wide checks OK *except*
Entry  Tue Jun 15 12:35:48 2021, TD, Tuesday 15 June 8x
13.35 DAQ continues OK - no storage mode

      All system wide checks OK *except*
Entry  Tue Jun 15 12:33:46 2021, TD, Monday 14 June 
 
Entry  Sun Jun 13 17:29:04 2021, TD, Sunday 13 June 8x
18.15 DAQ continues file S496/R32_946
      Hot HEC channels multiple FEE64s from c. 06.00 this morning
      ASIC check fixes
Entry  Sat Jun 12 14:53:56 2021, TD, aida15 - system console output - 15.33 Sat 12 June reboot 
04/11:03:40|get_ASICBlk : Blk=1 : bytes = 196096 : Blk_Status = 00000088 : Offset = 00100000 : Databuffer : 273090556 : 0 => 80500240 : 1 => 0F07C000 
04/11:03:41|Last Data : Databuffer  273286648 : 0 => 80500240 : 1 => 0AFF8000 
04/11:03:41| 00000000 : 00000000 | 00000000 : 00000000 | 00000000 : 00000000 | 00000000 : 00000000 
Entry  Sat Jun 12 13:56:00 2021, TD, Saturday 12 June 9x
14.11 DAQ continues file S496/R32_697
      High data rate from c. 06.00 this morning
      ASIC check 
Entry  Thu Jun 10 11:32:27 2021, TD, Thursday 10 June 9x
12.26 DAQ continues file S496/R32_428
      High data rate from c. 06.00 this morning
      ASIC check 
Entry  Wed Jun 9 19:17:21 2021, TD, FEE64 system console logs  logs-090621.tar.gz
 
Entry  Wed Jun 9 11:27:47 2021, TD, Wednesday 9 June 11x
12.30 DAQ continues OK file S496/R32_373
 
      System wide checks OK *except*
Entry  Tue Jun 8 10:51:55 2021, TD, Tuesday 8 June 9x
11.52 DAQ continues file S496/R32_340
      High data ratefrom c. 18.00 yesterday evening to c. 06.00 this morning
Entry  Mon Jun 7 10:33:48 2021, TD, Monday 7 June 9x
11.30 DAQ continues OK - file S496/R32_144
      alpha background
Entry  Sun Jun 6 14:15:05 2021, TD, Sunday 6 June 9x
14.15 DAQ continues file S496/R32_117
      Hot HEC channels multiple FEE64s from c. 06.00 this morning
      ASIC check fixes
Entry  Sat Jun 5 11:20:15 2021, TD, Saturday 5 June 9x

12.25 DAQ continues OK - file S496/R32_48
      alpha background
Entry  Fri Jun 4 09:47:44 2021, TD, aida15 - system console output - 00.02 Friday 4 June reboot 
03/23:58:55|kernel BUG at mm/slab.c:2974!
03/23:58:55|Oops: Exception in kernel mode, sig: 5 [#1]
03/23:58:55|PREEMPT Xilinx Virtex440
Entry  Fri Jun 4 08:40:52 2021, TD, Friday 4 June 8x

09.20 DAQ found stopped
      files in /TapeData/S496 indicate increased data rate yesterday evening from c. 18.00 until data stopped at c. midnight
Entry  Thu Jun 3 10:16:39 2021, TD, Thursday 3 June 8x
11.19 Hot HEC channels multiple FEE64s
      ASIC check fixes
Entry  Wed Jun 2 14:53:05 2021, OH, TD, Merger/Tapeserver issues after reboot of aida-3 6x
On 01/06/21 aida-3 was rebooted as the graphical user interface had frozen.
We were also unable to connected to MIDAS via ssh port forwarding.
Entry  Sun May 30 08:57:53 2021, TD, Sunday 30 May 9x
09.55 DAQ continues - file S496/R18_588
      alpha background
Entry  Sat May 29 13:13:45 2021, TD, Saturday 29 May 9x
14.10 DAQ continues - file S496/R18_539
      alpha background
Entry  Fri May 28 10:29:07 2021, TD, Friday 28 May 9x
11.30 DAQ continues - file S496/R18_472
      alpha background
Entry  Thu May 27 12:25:53 2021, TD, Thursday 27 May 9x
13.29 DAQ continues - file S496/R18_443
      alpha background
Entry  Wed May 26 13:21:59 2021, TD, Wednesday 26 May 9x

14.22 DAQ continues - file S496/R18_369
      alpha background
Entry  Tue May 25 11:16:54 2021, TD, Tuesday 25 May 7x
12.16 DAQ continues file S496/R18_324
      alpha background
Entry  Mon May 24 09:57:07 2021, TD, Monday 24 May 19x

07.30 Hot HEC channels multiple FEE64s
      ASIC check fixes
Entry  Sat May 22 23:40:32 2021, TD, Sunday 23 May Screenshot_2021-05-23_AIDA_Alerting_-_Grafana.pngScreenshot_2021-05-23_Statistics_aidas-gsi.pngScreenshot_2021-05-23_Temperature_and_status_scan_aidas-gsi.png810.pngR16_33

00.40 Unable to connect to FEE64s 1-7
      DAQ power cycled OK
Entry  Sat May 22 13:40:56 2021, TD, Saturday 22 May 23x

14.37 DAQ continues file S496/R15_14
Entry  Fri May 21 23:19:23 2021, TD, Saturday 22 May 00:00-08:00 29x

00.16 413Gb remaining /TapeData filesystem
      estimate 413/2 x 177s = 10.15h to filesystem full - OK
Entry  Fri May 21 15:03:48 2021, CA, Friday 21st May 16:00 - 00:00 shift 17x
16:00 CA takes over
      DSSD1 n+n sides 0x20 on ASICs 1-3 and 0x64 on ASIC 4
      DSSD2 n+n sides 0x1b on ASICs 1-3 and 0x64 on ASIC 4
Entry  Fri May 21 07:03:50 2021, OH, TD, Friday 21 May 08:00-16:00 9x
08:00 OH and TD take over
      Current settings p+n sides at 0xc
      DSSD1 n+n sides 0x20 on ASICs 1-3 and 0x64 on ASIC 4
Entry  Fri May 21 06:09:28 2021, ML, system wide checks 8x
System  wide checks at 7am CET

All seems fine, nothing significant to report

Slight increase of dead time noted in FEE 3, 5 and 7.
Entry  Fri May 21 02:17:47 2021, ML, system wide checks 9x
Wide check at 3am -

All fine.

Same output as at the beginning of the shift (see my previous entry) and attachments.
Entry  Thu May 20 23:26:11 2021, Marc Labiche (ML), system wide checks 9x
System Wide check at begining of the night shift:

-----

Clock status test result: Passed 16, Failed 0
Entry  Thu May 20 14:56:33 2021, OH, Thursday 20th May 16:00 - 24:00 10x
16:00 p+n threshold 0xc (120keV)
      n+n threshold DSSD2 0x20 (250keV) ASICS 1-3, 0x64 ASIC4
      n+n threshold DSSD2 0x19 (250keV) ASICS 1-3, 0x64 ASIC4
Entry  Thu May 20 07:03:02 2021, CA, Thursday May 20th 08:00 - 16:00 shift 40x
08:00 CA takes over

08:04 DAQ continues ok - writing to file R14_989
Entry  Thu May 20 01:00:30 2021, Muneerah, Thu May 20 00:00-08:00 13x
02:00 System check

The ucesb has stopped around 00:26, the team in the lab ask us to restart AIDA! Called OH for this but the team in the lab figured out thats
no need to restart AIDA!
Entry  Wed May 19 20:02:27 2021, NH, AIDA Dead Time Analysis 6x
Some plots of AIDA dead time (From PAUSE/RESUME data items) against time.

The histograms are binned in intervals of 100 ms, with the blue bars corresponding to dead time in the FEE - the y-value is the percent of the 100ms interval
Entry  Wed May 19 18:50:01 2021, LS, Wednesday 19th May 20:00 to 24:00 21x
20.00
Stats okay (Fig 1)
Analysed R14_762 deadtimes are okay (Fig 2)
Entry  Wed May 19 14:54:36 2021, CB, Wednesday 19 May 16:00 - 20:00 11x
15:55 Took over from OH

16:00
Entry  Wed May 19 11:24:55 2021, RDP, Monday 19 April 12 noon shift Screenshot_2021-04-19_Temperature_and_status_scan_aidas-gsi(3).pngScreenshot_2021-04-19_Tape_Service_(Expert)_aidas-gsi.png62.png
System checks gave 11 passed/1 failed, except for ADC timimgs: 10 passed/2 failed.

FEE64 module aida09 global clocks failed, 6
Entry  Wed May 19 09:12:52 2021, Muneerah, Betool, LS, 17th May 00:00-12:00 17x
Auther: Muneerah and Betool
02:00 The dead time have been checked every 30 min from the start of the shift, it seemes Ok
      Statistics ok - 210517_0202_Stats
Entry  Wed May 19 09:09:27 2021, MS, JS, OH, May 16 08:00-24:00 21x
16th May 08:00 - 12:00 shift
Author: MS
Entry  Wed May 19 09:06:58 2021, CA, May 16th 00:00 - 08:00 16x
16th May 2021 - 00:00 - 08:00 Shift
Author: CA
Entry  Wed May 19 06:59:33 2021, OH, Wednesday 19th May 08:00 - 16:00 9x
08:00 OH Takes over for CA
      Thresholds 0xc for p+n and 0x19 for n+n ASICs 1-3 and 0x64 for n+nASIC4
Entry  Tue May 18 23:11:40 2021, CA, Wednesday May 19th 00:00 - 08:00 14x
00:00 CA takes over
      LS has performed usual checks, see previous Elog entry - all ok
Entry  Tue May 18 18:47:25 2021, LS, Tuesday 18th May 20:00 - 24:00 24x

19.50
Stats okay (Fig 1)
Entry  Tue May 18 14:57:43 2021, CB, Tuesday 18th May 16:00 - 20:00 11x
15:58 Took shift over from OH and PP

Stats OK - attach 1
Entry  Tue May 18 06:50:53 2021, OH, PP, Tuesday 18th May 08:00 - 16:00 6x
08:00 OH Takes over

      Statistics still look good from yesterday. Rate is still down.
Entry  Mon May 17 23:17:16 2021, DSJ, Tuesday 18 May 0.00-8.00 shift 39x
0.00 - Taking over from Lewis 

00.30 - Rates look ok (fig1), Ran R14_147 through analyser, dead times all good (fig2)

01.00 - Rates look ok (Fig3), Ran R14_153 through analyser, dead times all good (fig4)
Entry  Mon May 17 19:05:23 2021, LS, Monday 17th May 20.00-24.00 21x
20.30
Checked stats, seem okay (Fig 1)
Ran R14_99 through analyser, dead times all good (Fig 2)
Entry  Mon May 17 15:14:35 2021, LJW, Monday 17th May 2021 16:00-20:00 9x
16:25

Informed at shift handover that there has been no beam.

Statistics  - See attachment 1
Entry  Fri May 14 19:01:09 2021, JS, Friday 14th May 20:00-00:00 27x
20:00 Taking over from CB

20:33 Doing full checks.
Entry  Fri May 14 17:30:56 2021, TD, Analysis of S496 files R5_18, R5_32 & R5_45 R5_18R5_32R5_45

S496/R5_18 - attachment 1
Entry  Fri May 14 14:57:32 2021, CB + OH, TD, NH, Friday 14th May 16:00-20:00 33x
16:00 Shift taken over from CA

16:00 
Entry  Fri May 14 07:05:08 2021, CA, Friday 14th May 08:00 - 16:00 shift 24x
08:00 CA takes over

08:28 Problem at UNILAC - no beam
Entry  Thu May 13 23:58:05 2021, OH, Friday 14th May 00:00 - 08:00 21x
00:00 OH Takes over.
 PULSER SETTINGS
---------------------------
Entry  Thu May 13 21:21:25 2021, Philippos and Marc, system wide checks 13x
Wide checks at Time 22:22 CET

Clock status test result: Passed 16, Failed 0

Understand status as follows
Entry  Thu May 13 19:52:36 2021, Philippos and Marc, Connection problem 2021-05-13_ucesb_scalers.png
At 20:15, We lost connection with AnyDesk.

Liliana restarted Anydesk on the AIDA DAQ PC. All seemed fine on AIDA DAQ but there was a more generic issue on the main DAQ, possibly the timesorter.

Helena restarted all after ~30mn and it's all working again now.
Entry  Thu May 13 17:05:42 2021, Muneerah, MArc, Thu 13 May 04:00-00:00 130521_1802_Stats.png130521_1802_Temp.png130521_1804_Voltages.png
19:08 System Check

Rates from ucesb below 1 kHz

Atachment 1 Stats
Entry  Thu May 13 07:10:17 2021, CA, TD, May 13th 08:00 - 16:00 shift 34x
08:10 all system wide checks ok *except*

      all FEE64 modules fail ADC calibration
Entry  Thu May 13 00:51:40 2021, Muneerah and OH, Thu 13 May 00:00-08:00 7x
01:50 Beam on
The leakage current and the voltages been monitered every half an hour and logged in the excel sheet, looks decreasing.
Tempetratures OK
Entry  Wed May 12 18:53:38 2021, JS, Wed 12 20:00-00:00 ucesb.pngbias1.pngScreenshot_2021-05-12_Statistics_aidas-gsi.pngScreenshot_2021-05-12_Temperature_and_status_scan_aidas-gsi.pngbias2.png
19:51 Shift change

Stats ok
Entry  Wed May 12 15:03:10 2021, CB, OH, Wed 12 16:00-20:00 15x
16:00 Shift change

Statistics OK (attach 1)
Entry  Wed May 12 06:59:55 2021, OH, RDP, Wed 12 May 08:00-16:00 1dImplants.png1dImplants2.png512.png513.png
08:00 While the rates appeared to have quietened around 7am they are back to their previous rate now.

      They still seem to be working on the setting. Implant rate in AIDA about 8 per spill. Thick degrader is still in place
Entry  Wed May 12 02:07:59 2021, MA, BA, Wed 12 May 00:00-08:00 9x
03:12 System Check

attachment 1 : Current

attachment 2 : Temperature
Entry  Tue May 11 07:21:24 2021, OH, Tuesday 11 May 210511_0823_Stats.png210511_0824_Temp.png210511_0825_Bias.png
08:20 System wide checks all ok except
 Base  Current  Difference
aida01 fault   0xc10c :   0xc10e :   2  
Entry  Mon May 10 11:45:15 2021, NH, Confusing behaviour of rates  
Testing the behaviour of powering down the fast ADCs in aida01 (the hot FEE)

Set local control 2 to 0xff in aida01
Entry  Mon May 10 08:49:37 2021, TD, Monday 10 May 21x
09.51 All system wide checks OK *except*

Entry  Sun May 9 19:29:23 2021, TD, Sunday 9 May 14x
 
Entry  Sat May 8 09:05:04 2021, TD, Saturday 8 May 27x

09.54 FEE64 temperatures OK - attachment 1
      ADC data item stats OK - attachment 2
Entry  Fri May 7 19:47:54 2021, PJCS, HowTo mitigate excessive temperature in an FEE64  
After tests in the Daresbury T9 system.

Disabling the waveform ADCs in an FEE64 which is running with the FPGA over temperature will drop the FPGA temperature by 10 degrees.

To disable the ADCs open the Local Control browser window and set the ADC Control register , @2, to 0xFF
Entry  Fri May 7 13:11:22 2021, NH, Friday 7th May elog_locks.pngelog_temps.pngelog_rates.pngelog_rates1.pngaida13.txt
14:11 - Alpha has been running most of morning

Just saw rates in tape spike to 6 MB/s... 
Entry  Thu May 6 16:59:20 2021, TD, OH, Wednesday 6 May 13x

18.09 NH has installed jumpers LK2-4 for *all* adaptor PCBs
Entry  Wed May 5 20:10:16 2021, OH, Wednesday 5 May Alpha run 12x
21:10 After all of the works in S4 today the noise in the system was considerably worse
      It was decided that before starting a new alpha run a powercycle would be performed.
      The powercycle has had no effect on the rates. They are still terrible.
Entry  Wed May 5 16:57:48 2021, TD, Tuesday 5 May Screenshot_2021-05-05_AIDA_Alerting_-_Grafana(1).png401.png

17.55 Grafana DSSSD bias & leakage current - attachment 1
       Note abrupt decrease of DSSSD# 2 leakage current c. 1.5uA at 17.37 
Entry  Tue May 4 21:26:43 2021, OH, Alpha run 10x
22:26 Tape server set up to write to directory May21
      DAQ stopped
      Slow comparator set to 0x64 for all FEE64 and an ASIC check performed
Entry  Tue May 4 14:26:50 2021, NH, FEE64 Adapter wiring diagram and layout AIDA_Adapter_Configuration(1).png
A figure showing the FEE64 numbers (a previous diagram had 2/6 and 4/8 on the wrong side of the DSSD) and the wiring of pulser/HV
Also the jumpers connected to the boards
Entry  Tue May 4 14:05:48 2021, NH, MACB Cables macb_front.jpgmacb_side.jpg
During the installation of the 4 new HDMI cables for aidas13-16 the HDMI cables between the MACB Root and the MACB leaves were looped through the cable
guide at the top to support them more
This may improve their connection and reduce the chance of WR errors seen in S460/S452
Entry  Tue May 4 13:53:22 2021, OH, TD, Tuesday 4 May 7x

NH has re-checked alignment of AIDA adaptor PCBs cf. Elog:290
Entry  Tue May 4 12:11:39 2021, OH TD, Bias test of triple 210504_1325_Rate.png210504_1326_Layout7.png210504_1327_Layout08.png210504_1334_Stats.pngVICurve.png
13:11 System wide checks all ok except *aida02 fails ADC calibration*
 Collecting the file size of each FEE64 Options CONTENTS file to check they are all the same
Entry  Sat May 1 08:45:19 2021, TD, AIDA 24cm x 8cm DSSSD + triPlast assembly for S496 12x

Photos provided by Nic Hubbard and Helena Albers from the assembly of 2x triPlast
plus 2x MSL type BB18(DS)-1000 24cm x 8cm detector assembly - attachments 1-3.
Entry  Fri Apr 30 08:38:12 2021, TD, Friday 30 April 6x
09.40 All system wide checks OK *except*

FEE64 module aida07 failed
Entry  Thu Apr 29 16:56:42 2021, OH, Config changes for 16FEE 
New set of ASIC settings produced 2021Apr29-13-16-00
- Note no longer odd/even for polarity of signal
Entry  Wed Apr 28 17:39:35 2021, TD, Preparations for setup of aida13-aida16 dhcpd.confdhcpd.conf.BAK-280421startup.tclstartup.tcl.BAK-280421

Updated /etc/dhcpd.conf
Entry  Wed Apr 28 10:06:11 2021, NH, Wednesday 28 April elog_temps.pngelog_gswr.pngelog_tse.pngelog_hv.pngAIDA_FEE.png.jpeg
11.05 All system wide checks OK *except*
WR
Entry  Tue Apr 27 08:26:01 2021, TD, Tuesday 27 April - aida09 system console reports 'received undefined information code: 1' and 'code: 9' 6x

09.25 All system wide checks OK *except*
Entry  Mon Apr 26 09:41:21 2021, TD, Monday 26 April 302.pngScreenshot_2021-04-26_Temperature_and_status_scan_aidas-gsi.pngScreenshot_2021-04-26_Statistics_aidas-gsi.pngScreenshot_2021-04-26_NewMerger_Statistics_aidas-gsi.pngScreenshot_2021-04-26_AIDA_Alerting_-_Grafana.png
10.42 All system wide checks OK *except*

 Base  Current  Difference
Entry  Sun Apr 25 10:22:16 2021, TD, Sunday 25 April 9x
11.25 All system wide checks OK *except*

 Base  Current  Difference
Entry  Sat Apr 24 15:48:38 2021, TD, aida12 crash - 08:33:03 Monday 19 April  

from ttyUSB5 system console log
Entry  Sat Apr 24 15:28:17 2021, TD, aida05 crash - 11:08:07 Tuesday 20 April 

From ttyUSB7 system console log
Entry  Sat Apr 24 15:13:33 2021, TD, aida09 crash - 08:10:52 Tuesday 20 April 

From ttyUSB6 system console log
Entry  Sat Apr 24 13:33:44 2021, TD, aida01 restart - 22.07UTC+2 Tuesday 20 April 

From aida01 /var/log/messages
Entry  Sat Apr 24 13:25:23 2021, NH, TD, AIDA FEE64 crash log for S460 

https://docs.google.com/spreadsheets/d/1CyL5L-WLsh9fsS7CN989GC3ktqiPQOkG8YIDJrrGxYA/edit#gid=0
Entry  Sat Apr 24 10:21:06 2021, NH, Saturday 24.04.2021 AnyDesk_2021-04-24_11-27-49.pngAnyDesk_2021-04-24_11-28-50.png
I have restarted some more of the consoles that disappeared since the aidas-gsi issue last night
Grafana is working again
Entry  Sat Apr 24 05:17:51 2021, ML, End of beam 
Beam has now stopped (end of expriment) and background measurements starts.
Entry  Sat Apr 24 04:50:01 2021, ML, Spectra 8x
Some screenshot of spectra attached
Entry  Sat Apr 24 04:07:23 2021, ML, ucesb scalers 24-04-2021_5am_ucesb.png
ucesb is back - see attachment
Entry  Sat Apr 24 03:32:11 2021, ML, quick checks 24-04-2021_430am_GoodEvent.png
Quick system checks after crash

Temperature ok.

Still cannot connect remotely to /ucesb with my gsi web login and password (?).
Entry  Sat Apr 24 03:16:19 2021, TD, aida-gsi window manager/login session crashed 

Looks like the aida-gsi window manager/login session crashed.
Entry  Sat Apr 24 03:13:05 2021, ML, AIDA DAQ Reset 
AIDA PC crashe completely at ~3:30am CET.

Tom was called and he Restarted the AIDA system at ~4am with Run 52.

Not sure what cause the crash but AnyDesk remote connection was suddenly lost and once reconnected all Terminal sessions were gone.
Entry  Sat Apr 24 01:44:09 2021, ML, system wide checks 7x
system wide checks:

 

 
Entry  Fri Apr 23 20:19:52 2021, TD, Friday 23 April 20.00-00.00 7x

21.19 system wide checks
Entry  Fri Apr 23 15:13:28 2021, DSJ, 23 April 16.00-20.00 shift 6x
16:00 taking over from Muneerah

16:15 - temp, ucesb, database, stats etc. look ok.

16:41 - Nic restarting MBS
Entry  Fri Apr 23 13:13:46 2021, MA, TD, Friday 23 April 12.00-16.00 6x

14.15 System wide checks
Entry  Fri Apr 23 12:12:08 2021, TD, aida02 restart - 03.13UTC+2 Friday 23 April 

Overnight aida02 crashed and restarted itself. A power cycle of all FEE64s was required to recover.
Entry  Fri Apr 23 07:09:57 2021, LJW, Friday 23rd April 08:00-12:00 9x
08:30

System Checks

 
Entry  Thu Apr 22 23:17:46 2021, DJ , Friday 23rd April 00:00-08:00 27x
Took over from TD ... All is well.

00:45 System Wide Checks

Clock: 12 passed, 0 failed.
Entry  Thu Apr 22 15:18:20 2021, TD, Thursday 22 April 16.00-00.00 36x

16.20 zero all histograms, statistics & merger statistics
Entry  Thu Apr 22 11:03:57 2021, JS, Thursday 22nd April: 12:00-16:00 12x
12:00 Taking over from Liam, all is well.

12:10 Beam dropped out for a minute, implantation rate is down a bit, peaking around 300 Hz
Entry  Thu Apr 22 07:06:37 2021, LPG, Thursday 22nd April: 08:00-12:00 8x
08:01 - Taking over from Corrigan...

ucesb ok!
Entry  Wed Apr 21 23:05:39 2021, CA, 22nd April 00:00 - 08:00 16x
00:07 stats/ucesb/DB checks all ok

00:30 all system wide checks ok *except* fpga errors
Entry  Wed Apr 21 15:01:14 2021, LJW, MA, Wednesday 21st April 16:00-20:00 13x
16:30

All System checks okay, except for:
Entry  Wed Apr 21 11:27:55 2021, OH, Wed 21st April 12:00-16:00 6x
12:30 MBS has crashed
      This time AIDA is still running fine.
Entry  Wed Apr 21 06:56:42 2021, MS, Wednesday 21 April 08:00-12:00 2021 10x
8:00

Entry  Tue Apr 20 23:08:22 2021, CA, Wed Apr 21 00:00-08:00 23x
00:00 - CA takes over

00:15 - stats/database/ucesb ok - attachment 1
Entry  Tue Apr 20 19:00:00 2021, JS, Tuesday 20th 20:00-00:00  12x
20:00  

Taking over from Liam, all systems good.
Entry  Tue Apr 20 14:56:38 2021, LPG, Tuesday 20th 16:00-20:00 15x
16:00

New shift, ready to go! Beam stopped just as I started... Waiting for update.
Entry  Tue Apr 20 10:54:41 2021, CB, April 20 12:00 - 16:00 shift 9x
11:55 CA got AIDA back online

12:00 Stats OK (attach 1)
Entry  Tue Apr 20 07:06:20 2021, CA, April 20th 08:00 - 12:00 Screenshot_from_2021-04-20_07-45-09.pngScreenshot_from_2021-04-20_07-45-43.pngScreenshot_from_2021-04-20_07-46-05.pngScreenshot_from_2021-04-20_08-14-58.pngScreenshot_from_2021-04-20_08-15-38.png
08:09 DAQ crashes at start of shift (!)

      again happens at same time as beam being lost
Entry  Mon Apr 19 23:01:02 2021, OH, 20th April 00:00-08:00 17x
23:52 Noticed AIDA07 has dropped out of the merger and is producing no statistics
      Powercycling to recover
Entry  Mon Apr 19 19:19:18 2021, CB, Monday 19 April 20:00-24:00 shift 11x
20:19 
Statistics OK (attach 1)
No faults found
Entry  Mon Apr 19 16:58:29 2021, LJW, Monday 19th April 16:00-20:00 Shift 6x
System Checks @ ~18:10 :

Entry  Mon Apr 19 13:27:08 2021, RDP, Monday 19th April 12 noon shift 61.pngScreenshot_2021-04-19_Temperature_and_status_scan_aidas-gsi(2).pngScreenshot_2021-04-19_Statistics_aidas-gsi(2).png

12.30 There appear to be fewer HEC events in aida09 cf. aida11 and upstream DSSSDs
      Decrease aida09 asic #1-4 HEC fast comparator 0x2 -> 0x1
Entry  Mon Apr 19 06:46:15 2021, MS, Monday 19 April 07:47-12:00 2021 9x
07:47

    
Entry  Mon Apr 19 01:08:40 2021, MA, Monday 19th April 00:00-08:00 8x
03:09   General check

Rates, temptature, voltages are OK attached 1, 2, 3, 4

 
Entry  Sun Apr 18 21:43:01 2021, ML-OH, system wide checks 20x
New System wide check 10pm CET

Clock status test result: Passed 12, Failed 0

Understand status as follows
Entry  Sun Apr 18 19:05:33 2021, ML-OH, All spectra reset 
 All spectra reset at 8pm CET.

 
Entry  Sun Apr 18 17:27:44 2021, ML-OH, system wide checks 17x
system wide checks at 6pm CET

##################################################

Difference noted from previous shift:
Entry  Sun Apr 18 11:18:21 2021, TD, Sunday 18 April 12.00-16.00 25x
12.18 DAQ continues file NULL/R30_490

      ASIC settings 2019Dec19-16.19.51
Entry  Sun Apr 18 07:30:20 2021, DJ, TD, Sunday 18th April 08:00-12:00 7x
---- 09-26
FEE64 module aida06 failed
FEE64 module aida07 failed
Entry  Sun Apr 18 00:57:36 2021, BA, MA, Sanday 18 April 00.00-08.00 12x
02:01 Beam has stopped at 01:37 and returend at 01:43 for few min and then stopped again and not knowen how it will take until it is back

AIDA scalers attached 1

statistic attached 2
Entry  Sat Apr 17 19:39:56 2021, DJ, TD, Saturday 17 April 20.00-00.00 13x

19.37 per FEE64 rate spectra - attachments 1 & 2
      1.8.L spectra - attachments 3 & 4
Entry  Sat Apr 17 15:29:27 2021, MS, Saturday 17 April 16:00-20:00 2021 6x
16:21

Entry  Sat Apr 17 11:27:38 2021, JS, TD, Saturday 17th April 12:00-16:00 10x
 Base  Current  Difference
aida05 fault   0x1a52 :   0x1a53 :   1  
aida06 fault   0x4f3e :   0x4f3f :   1  
Entry  Sat Apr 17 07:28:02 2021, LPG, TD, Saturday 08:00 - 12:00 9x
08:30 CEST

HV and leakage currents: elog:233/1
Entry  Fri Apr 16 23:13:57 2021, CA, MA, BA, Saturday 16th 00:00 - 08:00  14x
00:05 DESPEC tuning beam, changing spill length

00:21 DAQ continues ok
Entry  Fri Apr 16 15:52:08 2021, DSJ , 16 April 16.00 shift 12x
Clock status test result: Passed 12, Failed 0

Understand status as follows
Entry  Fri Apr 16 11:42:45 2021, OH, Shifter checklist 
Every 30 minutes:

- Reload statistics (Web browser tab screen 1, workspace 2)
Entry  Fri Apr 16 07:19:00 2021, OH, MA, Friday 16th April 08:00-16:00 14x
08:19 System wide checks all ok
      Baselines reset on WR and FPGA checks for the start of the day
Entry  Fri Apr 16 05:13:09 2021, ML, system wide checks 16x
system wide checks:

Done around 4am.

#################################
Entry  Fri Apr 16 02:15:12 2021, NH, Implants/Punchthrough 53_AM.png
Rate with beam < 1000 Hz still

Not Uranium but some fragments possibly produced in the thick 9g degrader
Entry  Fri Apr 16 00:47:36 2021, OH-ML, AIDA DAQ Reset 
1:18 (CET) No rate in AIDA 07.

Oscar did a AIDA DAQ reset and a quick wide check.

(Power cycle
Entry  Thu Apr 15 22:38:18 2021, OH, Thursday 15th April - 16th April 
23:38 They are testing the finger detector
      It is a lot of U they are putting into it which is passing through to AIDA ~3500Hz
      Most seems to be punching through
Entry  Thu Apr 15 13:28:07 2021, TD, Thursday 15 April 19x

13.28 System wide checks
Entry  Thu Apr 15 12:23:22 2021, NH, Fast Discriminator Masks Image_Pasted_at_2021-4-14_18-57.png
It is possible to get good rates with the fast discriminators with a few hot channels mask in aida03 and aida10
Threshold is 0x20 = 3.2 MeV
Entry  Wed Apr 14 15:14:55 2021, PJCS, Note Well 
Please note that for the forseeable future the system function in the menu on the System Wide Checks browser page labelled as 

"Collect the Timestamp RAM values"  and "Start the Readout Timestamp error tracing" 

Are for the use of engineers only unless otherwise instructed. 
Entry  Wed Apr 14 12:14:47 2021, PJCS, Corrections and changes 
14/4/21 @12:00 UK time

Corrected the failure of FADC re-calibration All modules. The problem was a missing > in the .tml file

Edited the sys.tcl file in /MIDAS/TclHttpd/Html/RunControl to comment out where the status of the waveform enable was able to stop the creation
Entry  Tue Apr 13 16:49:41 2021, TD, Tuesday 13 April 8x

Rename Options directory
    Reply  Wed Apr 14 09:55:12 2021, TD, Tuesday 13 April 

Two further comments
Entry  Tue Apr 13 14:24:48 2021, TD, S460 information 
aida-gsi Anydesk 897170655

DESPEC remote working - https://sf.gsi.de/d/a4fb2134e06a450ca777/
Entry  Mon Apr 12 18:36:31 2021, NH, [HowTo] AIDA & MBS AIDA_and_MBS_Tips_and_Troubleshooting.pdf
Some instructions on AIDA and MBS and troubleshooting are available here
https://sf.gsi.de/lib/c9ba0b4c-26bc-43d0-9b49-213fc594610f/file/AIDA%20and%20MBS%20Tips%20and%20Troubleshooting.pdf
Entry  Mon Apr 12 16:49:40 2021, TD, Monday 22 April - pulser walkthrough & alpha background 6x
16.54 Pulser walkthrough

      ASIC settings 2019Dec19-16.19.51
Entry  Sat Apr 10 12:15:54 2021, OH, TD, Saturday 10 April 16x
12:37 DAQ found crashed. Had crashed at some time following 7:50am following previous statistics update
      Unable to recover the FEEs so forced to power cycle
      Following power cycle statistics much improved from yesterday.
Entry  Fri Apr 9 16:45:29 2021, NH, HA. GA, GZ, OH, TD, AIDA Noise 6x
AIDA snout was reconnected and we saw originally a very good reduction in noise from S452 (fig 1)
Occasional bursts of increased rates were noticed, perhaps related to works in S4.
Entry  Fri Apr 9 16:40:36 2021, NH, nnrpi1 Update 
nnrpi1 is now back in S4 with a new SD card and new raspberry pi.
The freezing originally continued (it was the USB system failing) but was fixed with a change to /boot/cmdline.txt coherent_pool=4M
It seems the kernel update to fix one bug introduced another... 
Entry  Wed Mar 31 15:46:09 2021, PJCS, HowTo : Synchronize the ASIC clocks. 
To Synchronize the FEE64 ASIC clocks to rise at the same timestamp time use the System function Synchronise the ASIC clocks in the System
Wide Checks browser page.

The Server will read the current timestamp value and calculate, based on the number of FEEs and the access delay, a timestamp value sometime
Entry  Wed Mar 31 15:40:42 2021, PJCS, Check Options files function added 
There is a new operation available in the System Functions menu in the System Wide Checks page. ( The page needs to be reset once when the FEEs are powered
before this function will appear )

Check the Options files are all the same size
Entry  Wed Mar 31 12:46:10 2021, PJCS, HowTo : Calibrate the LMK3200 clock devices Calibrating_the_LMK3200_clock_devices_on_the_AIDA_FEE64.pdf
Here is a document showing how and where to calibrate the LMK3200 devices that lock to the system clock and generate the clocks for the ADCs and the
FPGA internal logic.
Entry  Tue Mar 30 13:21:50 2021, NH, nnrpi1 (tty logs) 
We had issues with all TTYs reading out on nnrpi1, I have moved them from an apparently faulty USB hub to a new one.
Trying to reboot the pi to detect the new USB ports and it didn't recover from boot
Trying to repair SD card but I get a lot of errors on my laptop, indications are the SD card is completely dead
Entry  Thu Mar 25 18:04:51 2021, TD, MSL type BB18(DS) 24cm x 8cm cabling & bias configuration MSL_type_BB18(DS)_24cm_x_8cm_configuration.pdf
 
Entry  Wed Mar 24 10:31:03 2021, TD, AIDA to do (or to understand) list 

In no particular order
Entry  Fri Mar 19 17:16:45 2021, TD, Friday 19 March 8x

Screenshots of successive displays of Options for FEE64s aida01, 02, 03 and 04.
Entry  Thu Mar 18 11:53:10 2021, TD, Thursday 18 March 7x

12.40 The snout w/bPlast plus 3xDSSSDs was removed yesterday
Entry  Wed Mar 17 10:31:09 2021, TD, Wednesday 17 March 11x
11.28 DAQ continues OK - no storage

      ASIC settings 2019Dec19-16.19.51
Entry  Tue Mar 16 09:26:47 2021, TD, Tuesday 16 March 6x
10.25 DAQ continues OK - no storage

      ASIC settings 2019Dec19-16.19.51
Entry  Mon Mar 15 11:47:51 2021, TD, Monday 15 March 8x
12.48 DAQ continues OK - no storage

      ASIC settings 2019Dec19-16.19.51
Entry  Sun Mar 14 17:35:05 2021, TD, OH, Sunday 14 March - Pulser Walkthrough 52.png51.png40.pngScreenshot_2021-03-14_Spectrum_Browser_aidas-gsi(3).png
18.01 Pulser walkthrough at end of run S452 file S452/R57_0 ... R57_28

      ASIC settings 2019Dec19-16.19.51
Entry  Sun Mar 14 07:04:30 2021, OH, Sunday 14th March 2021 20x
08:07 Realised the correlation scalers hadn't been enabled again. Have enabled them now. R56_151

Looking through the merger messages from the nightshift we see bad timestamps in FEE 11. This FEE does not have any scalers going into it.
    Reply  Sun Mar 14 08:16:00 2021, OH PJCS, Sunday 14th March 2021 
> 08:07 Realised the correlation scalers hadn't been enabled again. Have enabled them now. R56_151

> Looking through the merger messages from the nightshift we see bad timestamps in FEE 11. This FEE does not have any scalers going into it.
Entry  Sat Mar 13 23:08:08 2021, CA, 14th March 00:00-08:00 22x
00:08 DAQ continues ok - writing to file R46_221

      ASIC settings 2019Dec19-16.19.51
Entry  Sat Mar 13 17:00:49 2021, TD, Saturday 13 March 18.00-00.00 UTC+1 9x
18.00 DAQ continues OK - file R46_64

      ASIC settings 2019Dec19-16.19.51
Entry  Sat Mar 13 07:08:52 2021, CA, TD, LS, March 13th 08:00 - 17:00 20x
ASIC settings 2019Dec19-16.19.51
      DSSSD#1 slow comparator 0xa
      DSSSD#2 slow comparator 0xa
Entry  Fri Mar 12 23:56:00 2021, OH, Saturday March 13th 00:00-08:00 11x
24:00 Joined in with TD to debug the dropout of AIDA05 - See https://elog.ph.ed.ac.uk/DESPEC/193
      After both powercycles and telnet reboots we were still seeing 0 in the statistics but did note that the counter was > 0
      The last check we did was a restart of the merger server. This solved the issue.
Entry  Fri Mar 12 20:12:10 2021, TD, Friday 12 March Screenshot_2021-03-12_Temperature_and_status_scan_aidas-gsi(1).pngScreenshot_2021-03-12_Statistics_aidas-gsi(1).png31.pngScreenshot_2021-03-12_Statistics_aidas-gsi(2).pngScreenshot_2021-03-12_Statistics_aidas-gsi(3).png
21.12 DAQ continues OK - file R33_617

      ASIC settings 2019Dec19-16.19.51
Entry  Fri Mar 12 10:09:19 2021, LS, CA, Friday 12th March 11.00- 17x
11.00(Germany) System wide checks okay except:

      FEE64 module aida09 global clocks failed, 6
Entry  Fri Mar 12 08:32:46 2021, TD, Friday 12 March 08.00- Screenshot_2021-03-12_Temperature_and_status_scan_aidas-gsi.pngScreenshot_2021-03-12_Statistics_aidas-gsi.png30.pngScreenshot_2021-03-12_Spectrum_Browser_aidas-gsi(1).pngScreenshot_2021-03-12_Spectrum_Browser_aidas-gsi.png
08.31 DAQ continues OK - file R33_263

      ASIC settings 2019Dec19-16.19.51
Entry  Thu Mar 11 23:07:23 2021, CA, March 12th 00:00 - 08:00 shift 15x
00:10 DAQ continues OK - file R30_372

      ASIC settings 2019Dec19-16.19.51
Entry  Thu Mar 11 07:09:25 2021, OH, LS, Thursday 11th of March 29x
08:00 System wide checks all ok *exctept aida07 and 10 on ADC calibration
      N.B. wrong date given to the screenshots by accident (It's early)
      Statistics - attachment 1
Entry  Thu Mar 11 00:38:33 2021, TD, Thusrday 11 March 00.00-08.00 11x
01.38 DAQ continues OK - file R22_388

      ASIC settings 2019Dec19-16.19.51
Entry  Wed Mar 10 07:16:02 2021, OH, LS, Wednesday 10th March 08:00-24:00 39x
08:16 System wide checks all ok
      Statistics - attachment 1
      Temperatures - attachment 2
Entry  Tue Mar 9 23:12:17 2021, CA, March 10th 00:00 - 08:00 20x
00:13 beam back, but some spills 'missing'

      DESPEC keeping beam as is, but may stop later if it worsens
Entry  Tue Mar 9 20:04:20 2021, TD, Tuesday 9 March  7x
21.04 DAQ continues OK - file R20_379

      ASIC settings 2019Dec19-16.19.51
Entry  Tue Mar 9 10:23:45 2021, TD, Analysis of R14 (w/ NewMerger with min info code 4 & 5 data items) R14_0R14_19

Per https://elog.ph.ed.ac.uk/DESPEC/183 R14 data files have been analysed
Entry  Tue Mar 9 06:58:14 2021, CA, LS, March 9th 08:00-11:00 shift 23x
08:00 DAQ continues ok - writing to file R13_120

      Merger ok - 4.6M data items/s
Entry  Mon Mar 8 22:51:47 2021, OH, Tuesday 9th March 10x
18:00 ASIC settings 2019Dec19-16.19.51
      DSSSD#1 slow comparator 0xa
      DSSSD#2 slow comparator 0xa
Entry  Mon Mar 8 17:02:38 2021, CA, Monday 8th March 18:00 - 00:00 12x
18:00 ASIC settings 2019Dec19-16.19.51
      DSSSD#1 slow comparator 0xa
      DSSSD#2 slow comparator 0xa
Entry  Mon Mar 8 09:45:20 2021, CA, TD, Analysis R7_20 (new version of NewMerger with min info code 4 & 5 data items) R7_20R7_20_verbose

An analysis of file R6_70 can be found at https://elog.ph.ed.ac.uk/DESPEC/177 attachment 19
We observe c. 80M ADC data items per 2Gb file and c. 160M info code 4 & 5 data items.
Entry  Mon Mar 8 07:02:17 2021, CA, LS, Monday 8th March 08:00 - 17:00 24x
08:00 ASIC settings 2019Dec19-16.19.51
      DSSSD#1 slow comparator 0xa
      DSSSD#2 slow comparator 0xa
Entry  Sun Mar 7 23:13:50 2021, OH, Monday 8th March 13x
00:00 ASIC settings 2019Dec19-16.19.51
      DSSSD#1 slow comparator 0xa
      DSSSD#2 slow comparator 0xa
Entry  Sun Mar 7 07:23:26 2021, CA, LS, March 7th  14x
08:00 ASIC settings 2019Dec19-16.19.51
      DSSSD#1 slow comparator 0xa
      DSSSD#2 slow comparator 0xa
Entry  Sat Mar 6 23:37:22 2021, TD, Sunday 7 March 00.00-08:00 18x

00.30 UNILAC problem - no beam
Entry  Sat Mar 6 06:52:06 2021, OH, LS, Saturday 6th March 30x
07:50 Pulser settings - attachment 1

07:52 System wide checks all ok
Entry  Fri Mar 5 23:45:41 2021, TD, S452 information S452__Shifts_checkpoints_v1_(1).pdfS452_Shift_Plan.pdf

aida-gsi Anydesk 897170655
Entry  Fri Mar 5 23:21:59 2021, CA, OH, March 6th 2021 00:00 - 08:00 shift 18x
00:23 206Hg setting - No beam in AIDA yet

      AIDA not writing to file
Entry  Fri Mar 5 22:53:05 2021, OH, Thursday 5th of March 
There has been no beam for much of the day. It was lost at 13:00 and not regained until 22:00 German time.
At some point during the day the White Rabbit timestamp cable was unplugged from AIDA. This caused it lose correlation with the rest of the system.
At first a reset and setup was performed to try and regain correlation but that did not prove successful.
Entry  Thu Mar 4 11:16:13 2021, OH, Further cases of possible database issues ErrorMessage.PNGerrorMessage.txt
During testing for the S452 experiment yesterday we were running through the steps of a restart.

The FEEs were not powercycled at this stage but the MIDAS server was restarted.
Entry  Thu Mar 4 11:03:04 2021, NH, S452 Operating Notes 
Please note the following "quirks" currently present in S452 that are important

[B]a) Strips/Thresholds[/B]
Entry  Thu Mar 4 10:13:48 2021, OH, AnyDesk connection instuction Connecting_to_AnyDesk_at_GSI_for_AIDA.pdf
 
Entry  Wed Mar 3 15:02:19 2021, CA, MBS command line startup 
/MIDAS/Linux/startup/datarelaymbs 
Entry  Mon Feb 22 18:18:47 2021, NH, AIDA Rates/Situation  8x
The ground cable (LEMO00) in aida07 was disconnected, it has been reinserted and the waveforms now look good.

(All data below taken with thresholds 0xA for all)
    Reply  Sat Feb 27 12:47:57 2021, NH, AIDA Rates/Situation  10x
Updated figures as of 27 Feb 2021 - S4 is now closed for experiments but may open on Wednesday.
Snout has been grounded and all FEEs are seemingly grounded properly.
Entry  Fri Feb 12 17:31:04 2021, NH, Background run 
A background run has been started to check the AIDA channels.
It is in /TapeData/BGFEB21
Entry  Mon Feb 1 15:19:07 2021, NH, AIDA Status Feb 2021 
01.02.2021 - Four new sets of PSU, HDMI & Ethernet cables were ran from the DESPEC rack to the AIDA frame, in preparation for 4 new FEE64s.
A new 7 port USB hub has also been placed for the last few serial connections.
    Reply  Sat Feb 6 10:45:55 2021, NH, AIDA Status Feb 2021 pregrd050222_E.pngpregrd050221_O.pngpostgrd050221_O.pngpostgrd050221_E.png
> 01.02.2021 - Four new sets of PSU, HDMI & Ethernet cables were ran from the DESPEC rack to the AIDA frame, in preparation for 4 new FEE64s.
> A new 7 port USB hub has also been placed for the last few serial connections.
Entry  Tue Nov 24 13:10:42 2020, NH, Waveforms with frame grounded waves_odd.pngwaves_even.png20201124_164416.jpg20201124_164413.jpg
AIDA Frame is now grounded to platform (will add photo later)

Waveforms improved from April (c.f. https://elog.ph.ed.ac.uk/DESPEC/125) but comparison not truly fair (other systems may be offline now)
Entry  Tue Oct 6 15:48:06 2020, NH, nnrpi kernel update 
FYI:

The SD card on nnrpi2 was full again causing issues, the log files in /var/log (kern.log & messages) were *huge* and filled with the same error many times
Entry  Tue Jul 7 08:50:27 2020, NH, nnrpi2 does not boot 
MIDAS was not working properly on nnrpi2 - power cycled. Now system does not boot properly, it gets stuck trying to login claiming "PAM critical error"
- probable file system corruption?
Will investigate if SD card can be checked and repaired
Entry  Tue Jul 7 08:04:57 2020, NH, Power failure in Messhuette 
Last week there was a power failure in Messhuette (FRS control room) - AIDA-3 and MBS were affected.
AIDA itself and S4 equipment is on UPS and was not shut down.
Entry  Wed Mar 18 18:02:37 2020, PJCS, New Firmware loaded in all FEE64s 
Loaded new frimware into all 12 FEE64s in the system. IWR_Dec19_4.bin 

Booted ok after power-cycle.  

RESET/SETUP/GO all fine.
Entry  Mon Mar 16 07:25:24 2020, NH, End of Experiment 
08:25 Beam Stopped, end of S480

Tape Server stopped at R12_2097

Started again in no storage mode
Entry  Mon Mar 16 05:08:12 2020, TA, AM, ES, Regular entry 6x

02:14 all system wide checks okay 
      FEE temperatures okay 
      leakage currents okay and recorded to spreadsheet 
      good event stats
okay 
      merger running at around 3M items/sec
      tape service running at 26MB/sec

 

All attached to this entry with screenshots to 1-7
Entry  Mon Mar 16 01:07:29 2020, TA, AM, ES, Regular entry 13x

02:14 all system wide checks okay 
      FEE temperatures okay 
      leakage currents okay and recorded to spreadsheet 
      good event stats
okay 
      merger running at 3M items/sec
      tape service running at 26MB/sec

 

All attached to this entry with screenshots to 1-7
Entry  Sun Mar 15 06:45:00 2020, CA, LS, CG, Sunday 15th March 08:00 - 24:00 35x
ASIC settings 2019Oct31-13.24.23
     slow comparator 0xa
Entry  Sat Mar 14 23:09:28 2020, MB, SJ, MR, Sunday 15th March 0:00-8:00 16x
AIDA ELog filled out by DESPEC night shift members Matthew Brunet (MB), Shaheen Jazrawi (SJ), and Matthias Rudiger (MR).

0:05-0:08 Beam operators altering settings, beam off/sporadic during this period.
Entry  Sat Mar 14 07:13:59 2020, DK, TD, LS, CG, Saturday 14th March 08:00 - 24:00 41x
8:15
    All system wide checks passed
    Leak currents are continuing to creep up - attachment #1
Entry  Fri Mar 13 23:06:39 2020, CA, OH, Saturday 14th March 00:00 - 08:00 19x
ASIC settings 2019Oct31-13.24.23
     slow comparator 0xa
Entry  Fri Mar 13 15:48:11 2020, Friday 13th 16:00 - 24:00, OH, TD 11x
ASIC settings 2019Oct31-13.24.23
     slow comparator 0xa
Entry  Fri Mar 13 08:01:53 2020, DK, Friday 13th 8:00 to 16:00 shift 8x
8:00 - See previous shift's elog entry.  All good.

9:00
Entry  Thu Mar 12 23:44:48 2020, DK, PID Plots pid.pngpid.pngpid.pdf
Labelled PID plots.  Note that the A/Q calibration is shifted by +0.02 units, and Z calibration is offset by about +5.

There was an error in the printouts for Cd isotopes, but the below attachments are corrected.
Entry  Thu Mar 12 23:04:24 2020, LS, DK, Friday 13th 00:00 to 08:00 shift 20x
   Shift file starting R9_639

   system wide checks okay
Entry  Thu Mar 12 15:25:08 2020, Thursday, March 12 16:00 to midnight shift, CA, DK, LS 12x
16:30
    All system wide checks passed
    Temps shown in attachment #1 
Entry  Thu Mar 12 08:04:24 2020, OH, CA, TD, Thursday 12th March 08:00-16:00 14x
ASIC settings 2019Oct31-13.24.23
     slow comparator 0xa
Entry  Wed Mar 11 23:44:27 2020, OH, Thursday 12th March 00:00-08:000 10x
ASIC settings 2019Oct31-13.24.23
     slow comparator 0xa
Entry  Wed Mar 11 17:21:33 2020, CA, TD, OH, Wednesday 11 March 16.00-00.00 23x
18.25 DAQ currently running No Storage mode

ASIC settings 2019Oct31-13.24.23
Entry  Wed Mar 11 16:29:17 2020, CA, LS, TD, slow comparator threshold comparison 100keV_stats.png110keVStats.png120kevstats.png80kevDSSD2.png
17.29 good event statistics for slow comparator threshold at 100 keV (0xa) - attachment 1

17.36 good event statistics for slow comparator threshold at 110 keV (0xb) - attachment 2
Entry  Tue Mar 10 23:17:31 2020, DK, LS, PW, TD, CA, Wednesday 11 March 2020 43x
00:15 Shift change near AIDA R6_475

  We continue with spill cycles around 0.2 Hz or one beginning once each ~5 seconds.
Entry  Tue Mar 10 12:36:44 2020, TD, [How To] Monitor AIDA 
All AIDA operations are controlled from the Dell T410 Workstation aidas1 using web browsers.

AIDA has multiple, independent data acquisition servers connected by an Ethernet network.
Entry  Tue Mar 10 10:16:56 2020, OH, AIDA Implant Range Scan 
A range scan was performed using AIDA.
See the GSI elog: https://elog.gsi.de/despec/S480/19
Entry  Tue Mar 10 08:48:07 2020, TD, OH, NH, LS, CA, DK, PJW, RP, Tuesday 10 March 08.00-16.00 41x

c 09.00 aida03 drops Histogram enable at DAQ GO
        NH determined this was due to Options DB corruption and fixed
Entry  Mon Mar 9 13:50:08 2020, LS, CA, DK, 09/03/2020 system checks 13x
14:52 Attachment 1 shows low energy spectra. AIDA06 shows strange baseline, possible double-hit?

15:06 Systems checks fine.
Entry  Mon Mar 9 12:47:18 2020, NH, Report: Unusual AIDA Timestamp Error  
Noted using my AIDA event builder code, a timewarp was reported and I noticed the ADC event had a different timestamp LSB to the "WR" markers preceding
it, which I didn't think was possible in the merger as it stands
Entry  Sat Feb 29 10:56:38 2020, NH, Alpha Hit Pattern alphas_1d.pdf
Circa 700 GB of data

A few channels in DSSD 1 missing? Otherwise seems OK
Entry  Tue Feb 25 09:55:59 2020, NH, HV Scope Traces 10x
Looking at the HV bias in a scope to see if it is the source of noise especially on the p+n side

Channel 1: HV Core channel 4
Entry  Fri Feb 21 12:16:06 2020, TD, NH, Report - high - unusual FEE64 crash during startup ttyUSB4
 
Entry  Fri Feb 21 09:39:38 2020, TD, NH, Friday 21 February 7x

Attachment 1 - layout 2 - stat spectra
Attachment 2 - detector biases & leakage currents - OK
Entry  Fri Feb 21 09:21:10 2020, NH, (Early) Alpha Analysis  DSSD_1d_HP.pngDSSD_E.pngFEE3_43_Hot.pngfee8_hot.pngFee10_hot.png
Overnight alpha data

======================================
Entry  Thu Feb 20 16:35:55 2020, TD, NH, Thu 20 February 2020 12x
DSSD#3 (most downstream) was replaced

Noted that old DSSD wafer was not sitting properly - detached - in PCB, PCB flexing and/or inadequate epoxy gluing
Entry  Mon Feb 17 09:48:34 2020, NH, Report: aida09 Kernel Panic & Lost WR  ttyUSB12GSI_WR.pngGSI_WR2.pngGSI_WR4.pngGSI_WR3.png
aida09 crashed over the weekend and automatically rebooted.
After the reboot the WR timestamp sent to the merger is in the future and hence incorrect
    Reply  Wed Feb 19 10:58:29 2020, NH, PJCS, Report: aida09 Kernel Panic & Lost WR  
> aida09 crashed over the weekend and automatically rebooted.
> After the reboot the WR timestamp sent to the merger is in the future and hence incorrect
Entry  Fri Feb 14 12:50:29 2020, NH, AIDA Noise 14.02.2020 6x
Electricians changed the grounding for the DESPEC platform to a large pillar that goes deep into soil

Change in grounding was apparently successful at reducing the noise complaints in Cave C (R3B)
Entry  Wed Jan 29 12:22:13 2020, NH, aida10 troubleshooting aida08-noise.pngaida10-noitems.pngStats.png
aida10 has no ASIC events when running without pulser

DSSD ribbon cable was replaced, no change
    Reply  Wed Jan 29 19:09:51 2020, NH, aida10 troubleshooting 
> aida10 has no ASIC events when running without pulser

> DSSD ribbon cable was replaced, no change
Entry  Wed Jan 15 14:53:41 2020, NH, AIDA Noise 14.01.2019 6x
Checking noise

DESPEC crate entirely offline except:
    Reply  Mon Jan 20 14:01:23 2020, NH, AIDA Noise 20.01.2019 6x
> Checking noise

> DESPEC crate entirely offline except:
Entry  Fri Dec 20 12:04:03 2019, NH, TD, Friday 20 December 2019 7x
Fig 1: DSSD Leakage currents ok

Fig 2: FEE Temps ok
Entry  Fri Dec 20 10:19:29 2019, NH, Alpha Analysis (Pre Run) Alphas.pngAlphas_E.png
======================================                                                                                                                 
                                                                                                                      
AIDA Unpacker Analysis                                                                                                                                
Entry  Thu Dec 19 14:45:42 2019, TD, FEE64 ASIC settings - different diode link settings 
[npg@aidas-gsi 2019Oct31-13.24.23]$ pwd
/MIDAS/DB/EXPERIMENTS/AIDA/2019Oct31-13.24.23
[npg@aidas-gsi 2019Oct31-13.24.23]$ /bin/csh
Entry  Thu Dec 19 14:26:09 2019, TD, BNC PB-5 - Manual pb-5manual.pdf
 
Entry  Thu Dec 19 14:07:38 2019, TD, Report - low - aida08 ADC spectrum size 32k cf. 64k channels expcted using layout 6x
Note that aida08 spectrum 1.8.L size is (shown as) 32k channels cf. 64k channels expected using layout - attachment 1 - 5
Layout configuration - attachment 6
Why?
Entry  Thu Dec 19 13:09:32 2019, TD, MIDAS app launcher command lines 

App                          Path
Entry  Thu Dec 19 13:06:02 2019, TD, NH, AIDA@DESPEC To Do list 
FAIR phase 0 DESPEC experiments are scheduled March-May 2020 see

https://www.gsi.de/en/work/organisation/scientific_boards/user/beam_time.htm
Entry  Thu Dec 19 10:11:59 2019, TD, Report - medium - FEE64 panics during boot 300.png

Some of the FEE64s aida01 .. aida12 panic during boot 
Entry  Thu Dec 19 09:22:52 2019, TD, Thusrday 19 December 21x
10.15 Found DAQ running at c. 1M data items/s 

      Rate spectra show aida09 1.*.H and one 1x LEC channel of aida08 asic running hot
Entry  Wed Dec 18 17:39:27 2019, TD, Wednesday 18 December 23x

18.40 Detector biases & leakage currents OK - attachment 1
      FEE64 temperatures OK - attachment 2
Entry  Wed Dec 18 02:44:27 2019, NH, 17.12.19, 18.12.19  7x
Beam: 238U (850 MeV/u)
Fragment: 168Re
Entry  Mon Dec 16 14:48:02 2019, NH TD, AIDA 16.12.19 20191213_103710.jpg161219_aida_DSSDs.png161219_rates.png161219_aida0855.pngmidasmessage131219.png
DSSD Snout was reassembled to install the second bPlast (downstream) 
 (fig 1)
Entry  Wed Dec 11 10:58:52 2019, NH, Initital Dec. Analysis 11x
Fig 1: 2D hit pattern of each AIDA DSSD for MBS run 24 (40Ar primary beam, centred)

Low statistics in DSSD2 partly due to low energy deposition 
Entry  Sat Dec 7 02:39:02 2019, DK, NH et al., 34Si Fragments PID 2019-12-07-PID.png59_AM.pngpid.pngAr-300_S4_updated_matter_DEPSEC_34Si.lpp
See attached

Tentative PID (DK) as attachment #3
Entry  Fri Dec 6 20:34:56 2019, CA, DK, NH, Dec 6 Night Shift 15x
21.35 AIDA DAQ currently running, TapeService on, not writing to storage

      System wide checks ok
Entry  Thu Dec 5 22:00:11 2019, CA, DK, NH, Dec 5 Night Shift 30x
15:30
  TD found the merger was running at ~43 Mb/s
  The odd-numbered FEE64s all had significant (>200k) disk rates
Entry  Wed Nov 27 16:33:50 2019, NH, New Bias & Waveforms waves_new_odd.pngwaves_new_even.png
HV core (-160 V) now attached to bottom 3 FEEs (with grounded kapton)

DSSDs bias OK, leakages unchanged

No appreciable change in waveforms
Entry  Fri Nov 22 08:55:31 2019, NH, Waveforms waves_21119_even.png21119_waves_odd.pngwaves_21119_even_z.pngwaves_21119_odd_z.png
AIDA Waveforms immediately after beam at 21.11.19 8am or so.
    Reply  Mon Nov 25 13:25:51 2019, NH, Waveforms wave_odd.pngwave_even1.png
> AIDA Waveforms immediately after beam at 21.11.19 8am or so.

Update 25.11.19 with all FEE64 waveforms added
Entry  Wed Nov 20 20:36:14 2019, CA, CB, DK, NH, 20/21 November Night Shift 17x
21:35 (NH) - A few merger timestamp errors were appearing - Decided to powercycle all FEE64s, all checks OK.
 No Screenshot due to forgetting before I closed merger 
 FEEs were often not stopping properly and needing merger reset as well.
Entry  Tue Nov 19 21:22:06 2019, CA, CB, DK, NH, 19/20 November 2019 - overnight shift 15x
19 November

Waiting for 40Ar beam to be delivered for tests.
Entry  Wed Nov 13 15:38:20 2019, NH, [HowTo] MBS for AIDA (Nov 19) 
For MBS integration AIDA forwards its data to an MBS Foreign Data Receiver (FDR), currently the PC assigned for this task is x86l-94.

To start the MBS system do the following:
Entry  Wed Nov 13 09:10:37 2019, CA, NH, OH, 13th November 2019 191113_pulserpeaksOdd.png191113_pulserpeaksEven.png191113_goodevents.png191113_bias.png
10:10 moved HV cables from 11 and 12 to 10 and 9 - all detectors biased in same configuration

      lowered slow comparator threshold to 0xa
Entry  Tue Nov 12 14:10:18 2019, NH, OH, CA, Aida10 Unusual Pulser Peak aida10-pulser-121119.pngpulsers121119.pngpulsersodd121119.png
aida10 (no alpha rate recorded) has a strange pulser peak - looks like double peak?

Pulser terminator checked and OK...

All others "OK" but noise quite bad (see previous entry)
    Reply  Wed Nov 13 01:54:00 2019, TD, Aida10 Unusual Pulser Peak 
Double peaking normally indicates periodic baseline variations with period comparable to shaping time




Quote:



aida10 (no alpha rate recorded) has a strange pulser peak - looks like double peak?
Entry  Tue Nov 12 13:59:07 2019, NH, OH, CA, Awfully noisy waveforms 8x
Rates in all FEEs much higher than before - waveform shows very noisy in all systems. - attachment 1

Good event statistics - attachment 2
Entry  Tue Nov 12 13:22:19 2019, OH, NH, CA, AIDA09 Replacement FEE-SerialNumber.txt
ASIC 1 on FEE9 was not producing signals.

A new HDMI cable was installed but still no signals.
Entry  Mon Nov 11 10:34:19 2019, NH, Alpha Analysis (11.11.19) 9x
Analysis of approx 20GB of data since Thursday night (not continuous - estimate of hours incominG)

Figures 1-3: Energy Front vs Energy Back (No F-B energy gate)

Figures 4-6: 2D hit pattern
Entry  Thu Oct 31 14:27:06 2019, NH, WR Timestamps WRTimes.png
All 12 FEEs have valid WR Timestamps
Had to powercycle aida09 once as before raw readout was displaying upper 12 bits of WR timestamp as 0. Unsure of other method.
    Reply  Thu Oct 31 19:02:42 2019, Patrick, WR Timestamps 
> All 12 FEEs have valid WR Timestamps
> Had to powercycle aida09 once as before raw readout was displaying upper 12 bits of WR timestamp as 0. Unsure of other method.
       Reply  Fri Nov 1 14:17:15 2019, Nic, Patrick, Reply: WR Timestamps 
> > All 12 FEEs have valid WR Timestamps
> > Had to powercycle aida09 once as before raw readout was displaying upper 12 bits of WR timestamp as 0. Unsure of other method.
> > 
          Reply  Thu Nov 7 10:22:26 2019, Nic, Patrick, Reply: WR Timestamps 
> > > All 12 FEEs have valid WR Timestamps
> > > Had to powercycle aida09 once as before raw readout was displaying upper 12 bits of WR timestamp as 0. Unsure of other method.
> > > 
Entry  Mon Nov 4 13:17:12 2019, NH, Report: aida10 database corruption db_working.txtdb_corrupt.txt
Often aida10 database seems to get corrupted (ASIC values are all 0xad)
Unsure why it's only aida10, might be related to weird alpha rate behaviour at the moment.

 
    Reply  Tue Nov 5 10:02:45 2019, NH PJCS, Report: aida10 database corruption 
This looks like the Options not the ASIC data. That will be in the CONTENTS file of the FEE64 named directory within the dated EXPERIMENT directory.
Looks like the latest is at /MIDAS/DB/EXPERIMENTS/AIDA/2019Oct31-13.24.23/aida10 ?

A quick look at this file and it looks normal , not all 0xad ? 
       Reply  Tue Nov 5 10:32:21 2019, NH PJCS, Report: aida10 database corruption 
Hi, see the attached files in the original comment. I think the BACKUPCorrupt is quite old now.

The Options data gets corrupted and for example the ASIC folder gets set to 'undefined' which I think is why the ASIC data loads incorrectly.

 
          Reply  Tue Nov 5 11:15:41 2019, NH PJCS, Report: aida10 database corruption 
If ypou now check the actual values in the aida10 Options screen are the correct ?

It can happen that corruptions once loaded are propagated when Options are generally saved. 

Looking at the dates the files were modified does that make sense to you. It doesn't look as if the corrupted database was changed except
Entry  Mon Nov 4 08:48:18 2019, NH, Alpha Status 04.11.2019 alphas-bias.pngalphas-temp.pngalpha-aida10.pngstats-0511.pngspec-0511.png
Alpha run has been running over the weekend. Stats looking positive with notable exception that aida10 is not sending much data. Will attempt a powercycle.

Temperatures and Leakage Currents very good to excellent

Noted that the slow rate of aida10 seems to be slowing down the rate data is sent to tape - perhaps being buffered until an ADC event arrives?
Entry  Fri Nov 1 15:24:40 2019, CA, TD, NH, Summary - 29.10-1.11.19 

3x MSL type BB18(DS)-1000 installed 
    Reply  Fri Nov 1 15:45:04 2019, CA, TD, NH, Summary - 29.10-1.11.19 
>

> - evidence of c. 1MHz extrinsic noise for most FEE64s
       Reply  Fri Nov 1 18:09:03 2019, CA, TD, NH, Summary - 29.10-1.11.19 
> >
> > 
> > - evidence of c. 1MHz extrinsic noise for most FEE64s
Entry  Fri Nov 1 10:46:13 2019, CA, TD, NH, Friday 1st November 2019 6x
11.46 - attachments 1,2,3: bias/leakage currents, good event statistics and fee temperatures (respectively)
        before removing aluminium foil upstream of AIDA
Entry  Fri Nov 1 09:30:17 2019, NH, Database error stopping run? ErrorStopDatabase.png
Strange error about Database options appearing during run stop.
Does not seem to affect stopping/starting/data?
Entry  Thu Oct 31 17:13:54 2019, NH, Alpha Run 
Beginning Alpha run

Thresholds set to 100 (LEC/Slow) 255 (LEC/Fast) 2 (HEC)
Entry  Thu Oct 31 16:43:03 2019, NH CA TD, Merger & MBS Performance MergerStats.pngMBSRates.pngMergernetworking.pngMergerStatistics.png
Testing merger with 3 DSSDs connected, with thresholds of 10 (slow comparator), 2 (HEC) and 255 (fast discriminator)

Merger handling rate of 1.6 million events per second comfortably. Forwarding to MBS fine.
Entry  Thu Oct 31 15:24:35 2019, TD, waveform spectra issues? 12x
 
Entry  Thu Oct 31 14:23:37 2019, TD, aida09 asic 1 no data readout? 10.png11.png12.png13.png
 
Entry  Thu Oct 31 10:33:34 2019, TD, [How To] Start TclHttpd server on Raspberry Pi 
1) Login to Raspberry Pi 

ssh pi@nnrpi2
Entry  Thu Oct 31 09:36:37 2019, TD, RIKEN LayOut directory LayOut.tar.gz
 
Entry  Thu Oct 31 09:00:58 2019, CA, TD, NH, Thursday 31 October 14x
10.05 DSSSD # 1-3 detector biases & leakage currents OK - see attachment 1
      Ambient temperature +21.2 deg C, d.p. +3.4 deg C, RH 31.2%
Entry  Wed Oct 30 11:51:08 2019, CA, TD, NH, Detector biasing bias30Oct.png30Octbias2.pnghvsketch.pdf
12.51 - detector bias and leakage currents - detector 3 has no current
                                           - other detectors ok
Entry  Wed Oct 30 08:06:49 2019, CA, TD, NH, DSSSD stack 6x
Ribbon cables fitted with kapton PCB couplers -> 3 isolated + 1 non-isolated for each cable length/DSSSD

Ribbon cable lengths:
Entry  Mon Oct 28 17:02:11 2019, TD, AIDA @ DESPEC cable length estimates 
AIDA snout length 37cm (from end of AIDA snout support assembly)

downstream scintillator (assembly depth 1cm)   36cm
Entry  Mon Sep 16 12:24:46 2019, NH, AIDA Monitoring 
https://docs.google.com/spreadsheets/d/1fZBybHodSvacUdKpDM_VKznqTrh49CKnqKVQVMEDWGs/edit?usp=sharing

A spreadsheet of ambient conditions and water temperature in S4 for AIDA.
Will show the distance to danger points (interlock shutdown and condensation on the pipes)
Entry  Fri Aug 16 15:09:05 2019, NH, Aida Waves (All FEEs) 12x
Included waves for all 12 FEEs

FEES 1, 5, 9 all show this HF noise on it, and are all located at the top of the AIDA mount.
Connections: HV from DSSD (-ve) is in FEE9
Entry  Thu Aug 15 14:09:39 2019, NH, AIDA Waveforms 10x
Noise seemed less strong today, unsure of cause. I had re-taped snout as tape was not sticking well.

Figures 1-4: Waves for all 4 FEEs connected to the DSSD
Figures 5-8: Zoomed in on region 400-600
Entry  Wed Aug 14 14:40:18 2019, NH, High Frequency Noise in AIDA HF.pngHFZ.png
Figures of intense high frequency noise pickup in AIDA.

Will investigate source in S4.

Edit: Period is approx 40 cycles / approx 2.5 MHz (?)
Entry  Mon May 20 13:33:06 2019, NH, New Merger/MBS Test Runs 8x
New merger has been worked on by VP which fixes the timewarp issues and MBS integration.

Currently no WAVE capture is supported, VP will re-add WAVE histogramming for startup testing.

10.05.2019 - Pulser walkthrough
    Reply  Tue Aug 13 13:55:45 2019, NH, New Merger/MBS Test Runs 6x
AIDA Finally working again so can test VP's added WAVE histogramming mode.

Fig 1. Waveforms for FEE12 ASIC 1. Sample rate = 10, Threshold = 10500
n.b. lots of "blank" wave channels for unknown reason, all low-energy channels show pulser so it's not a DSSD signal problem?
Entry  Tue Aug 13 09:17:02 2019, NH, AIDA 12/08/2019 AIDATemps-1208191457.png
The other 6 FEEs were powered on one at a time to check no issues. None found.
All 12 FEEs plugged back into the PSU.

Note: The FEE temperatures reported on Friday were before a Reset/Setup of the DAQ, which means the ASICs run very fast and the hence run hotter.
Entry  Fri Aug 9 12:33:14 2019, NH, Aida Test 9/8/19 - FEES 1-6 
The water issue has been resolved - merely incorrect temperature guages (replaced). Water is 20 C as required.

S4 conditions at 13:12 CEST

26.5 C / 47.2 % / Td = 14.3 C
Entry  Mon Aug 5 12:57:48 2019, NH, S4 Conditions 
Temp: 26 C
Humidity: 50%
Dew Point: ~15 C
Entry  Wed Jul 10 10:46:05 2019, NH, AIDA/Water 10.07.2019 
S4 Conditions:

25.2 C, 35.3% RH, Td = 8.8 C

Water temperature: 20 C
Entry  Fri Jun 28 15:05:49 2019, NH, Aida 28/6/2019 - WATER OFF 
The humidity sensor hasn't reported humdities under 90% yet. In order to try and help dry the pipes and turn AIDA the water has been turned off the
weekend.
Sunday temperatures might reach 40 C which means it may struggle anyway.
    Reply  Mon Jul 8 16:02:52 2019, NH, PJCS, Aida 28/6/2019 - WATER OFF 
It occurs to to wonder if there is now water inside the modules. If the metal of the cooling plates is damp on the outside then it is safe to assume
there is water on the inside too . Can I suggest that one  of the modules is dismounted, disassembled and checked?

Patrick
Entry  Mon Jul 1 09:42:16 2019, NH, AIDA - 01/07/2019 
Water is still off.

Checked dewpoint sensor still flashing red light (indicating an error). Pipes warmed. Not what I expected. Possible fault?

I checked S4's ambient temp/humidity with a home-brought sensor: Reports 27 C/50% RH (Dew Point = 16 C)
Entry  Tue Jun 4 09:19:10 2019, NH, AIDA Interlock 
Currently AIDA's interlock is off (no lights) and hence AIDA cannot be powered on. Under investigation - power supply has been replugged but seems
ok.

Update: It seems the interlock is correctly stopping AIDA from being powered on due to high humidity on the cooling lines. Am currently trying
Entry  Mon May 20 13:51:45 2019, NH, HowTo Verify WR Times HowTo-WR1.pngHowTo-WR2.pngHowTo-WR3.png
The latest version of MIDAS has a new page to check the WR timestamp of each FEE.

In AIDA Hardware control click: GSI White Rabbit Control
In expert options click: Collect all Timestamps
Entry  Wed Apr 10 14:53:50 2019, NH, Report - FEE stops sending data 6x
it seems a FEE somtimes enters a confusing state and stops sending data
the current merger requires all FEEs to be active and so this stops the entire system from proceeding.

On MIDAS the page reports the module is "undefined"
    Reply  Fri Apr 12 15:15:33 2019, NH, Report - FEE Kernel Panics (Update on 48) aida01_log.txt
Update on issue #48 - the "confusing state" is that the FEE has restarted and hence is undefined again.

An attached TTY log from the pi shows that the module is kernel panicking.
I have seen a couple of FEEs panic with the same error now.
Entry  Thu Apr 11 15:28:10 2019, CA, OH, CB, TD, Offline analysis of 290319 files R13 and R16 6x
X projection of high energy channel ADC hits from R13 (attachment 1)

XY hit pattern from R13 (attachment 2)
Entry  Wed Apr 10 12:33:58 2019, NH VP, AIDA Firmware Update 20191004-FeeTemps.png20191004-GSIWR.png
All AIDA modules have been updated to a new firmware 0xd330701 which should fix the merger issues.
A new GSI WR timestamp page has been added to MIDAS - the SYNC rollover is suggested to be 0xe for now.
(VP is working on lowering the rate of WR SYNC infowords)
Entry  Thu Apr 4 14:07:45 2019, NH, Pulser Configuration 
Pulser settings during April run:

Rate 2Hz
Delay 250 NS
Entry  Wed Apr 3 15:24:06 2019, CA, TD, report - low inquire save state 030419_1614_savestate.png
On Save/Restore Module Settings Tab - "inquire save state" returns an error. See attachment 1.
Entry  Wed Apr 3 13:29:20 2019, CA, CB, TD, report - high DAQ stall 030419_1416_aida10stats.png030419_1417_aida09stats.png030419_1417_aida11stats.png030419_1418_aida12stats.png030419_1419_aida10_led.png
aida10 runs very fast for a period, then stops.

Have to restart Merger and TapeServer to get it running again.
Entry  Wed Apr 3 09:28:07 2019, CA, CB, TD, Wednesday April 3rd 2018 11x
Arrived at 09:54 - sequenced all FEE64 on

FEE64 not mounted properly - something happened to network overnight, see attachment 1,2 for AIDA system log
Entry  Tue Apr 2 09:42:20 2019, NH, MBS Server setup 
MBS is currently configured and accepting data:

x86l-94 : AIDA Foreign data receiver

x86l-4 : DESPEC Time sorter
Entry  Tue Apr 2 07:39:44 2019, CB, TD, CA, Tuesday 2nd April 2019 36x
08:15 beam tuning in progress

08.30 System wide checks 
Entry  Mon Apr 1 10:20:20 2019, CA, NH, TD, MBS Relay startup mbsrealaypic.pngmbscommand.png
To start the MBS Data Relay, click on the top rightmost of the MIDAS icons (MBS relay, Data Relay => MBS) in
Desktop 3. (attachment 1)
Entry  Mon Apr 1 10:14:09 2019, CA, NH, TD, Friday 29th March 2019 290319_stats.png290319_temp.png290913_bias.png
16:30 good event statistics ok, with 9,10,11,12 running faster (detector FEE64s) (attachment 1)

      FEE temperatures ok (attachment 2)
Entry  Mon Apr 1 08:50:35 2019, CA, TD, Monday April 1st 2019 - BEAM START 18x
09.28 System wide checks - aida06 global clock failure (check clock status)

                         - aida02 , aida04, aida06 fail calibration (ADC calibration)
Entry  Tue Mar 26 14:59:30 2019, NH, 26.03.2019 20190326Temps.pngaidambsrelay-error.png
Fig1: FEE temperatures from 26.03.2019  all OK

AIDA has been on today and merger setting fixed (see previous ELOG entry https://elog.ph.ed.ac.uk/DESPEC/36)

Still diagnosing issues with MBS (figure 2) but local data acquisition should be functional.
Entry  Tue Mar 26 14:58:09 2019, NH, VP, How to reset merger  
If the merger doesn't show "xfer Links => Merger" at the top, it is probably the merger setting has been corrupted somehow. This is
how to reset it

  If you go to the web page from which you started the Merge and TapeServer
Entry  Mon Mar 25 14:44:33 2019, NH, Merger issues Temps.pngAIDARUNv2.pngMergerv2.pngTapev2.pngMergerConsolev2.png
Plastic electronics have now been installed.

Water is not leaking still.

FEE64s powered on at 15:00 to test MBS connection (fig1: temperatures)
Entry  Fri Mar 22 15:44:20 2019, NH, End of 22.03.2019 
End of the day - Detector unbiased and FEE64s turned off for the weekend as they won't be monitored.

Water will remain on.
Entry  Fri Mar 22 14:31:24 2019, NH, A few more setup notes I forgot 20190322_132528s.jpg20190319_131821s.jpg20190313_161102s.jpg20190313_155418s.jpg
Extra FEE information:

HV braid (0 V) goes into FEE10 (beam left) with LK1 jumper
HV core (-160 V) goes into FEE09 (top)
Entry  Fri Mar 22 13:47:32 2019, NH, Resolution Checks 20190322Resolutions.png20190323Waves.png20190322Rates.png
Pulser widths of AIDA modules, resolution is fairly typical. AIDA09 still noisier than other DSSD channels.

Figure 1: Picture of pulser peaks
Figure 2: Raw waves (AIDA01 did not calibrate, so AIDA02 used instead as "non DSSD module")
Entry  Fri Mar 22 13:32:55 2019, NH, AIDA Startup @ 22.03.2019 20190323Bias.png20190322FEETemps.png
FEEs have been on this morning, temperatures attached

Leakage current attached

the DSSD is attached to the following AIDA modules:
Entry  Thu Mar 21 15:45:48 2019, NH, AS, SA, MP, Snout Mounting & DSSD Bias LeakageBias.png
The AIDA snout (with single DSSD and plastic) has been mounted in S4 cave again. DSSD was connected to the outer 4 FEEs again.

-160 V Bias applied and DSSD holds voltage with leakage current of around 1.3 uA (was dropping as only biased briefly)

Bias off and FEEs offline again now as day nearly done. MBS testing will be performed shortly, as well as resolution checks.
Entry  Thu Mar 21 14:10:10 2019, NH, FEE Temperatures FEETemps.png
All 12 FEEs powered up, and temperatures are OK.

Passed ASIC checks and system wide checks - now checking cabling and to mount snout.
Entry  Thu Mar 21 13:59:08 2019, NH, AIDA Water 
The AIDA water system has been repaired and not leaking.

The interlock did not light immediately, but power cable reconnected to box and now it works.

 
Entry  Wed Mar 20 15:35:10 2019, NH, AIDA Setup @ GSI 
Currently

- 1 DSSD and Plastic is in the AIDA snout, which is not mounted

- The FEEs are offline due to a water supply issue, this will be repaired early 21/03/2019
Entry  Sun Feb 3 16:01:49 2019, TD, Updated analyses GSIJan19/R1_0 - R10_0  7x

Summary statistics for WR test data files R1_0, R2_0, R3_0, R4_0, R7_0 and R10_0 (attachments 1-6)
Entry  Fri Jan 25 12:33:03 2019, NH, aida-gsi Access 
If you have a GSI account it should be possible to connect to aida-gsi remotely via the following
SSH into lx-pool.gsi.de with GSI Linux username/password (ssh username@lx-pool.gsi.de)
Then SSH into aida-gsi via ssh npg@aida-3
Entry  Fri Jan 25 12:26:17 2019, NH, Raspberry Pi Startup & Information 
Two raspberry pis:

nnrpi1 - FEE64 system consoles
nnrpi2 - AC Mains Relay & CAEN HV
Entry  Fri Jan 25 09:54:12 2019, CA, TD, NH, VP, 25th January 2019 8x
09.30: AIDA still running, not writing to file
       Still running ok
       No water leaks
Entry  Thu Jan 24 17:16:32 2019, CA, TD, NH, VP, MACB time switch settings 50668223_286084358731841_9104059387265155072_n.jpgdespecmacb.pdf
AIDA@DESPEC MACB time switch settings before and after WR are as follows.

Attachment 1 - MACB 1-4 from left to right
Entry  Thu Jan 24 14:53:26 2019, TD, Analyses GSIJan19/R2_0 - R4_0 WR_sample_R2_0_24Jan19WR_sample_R3_0_24Jan19WR_sample_R4_0_24Jan19WR_sample_R4_0_24Jan19.log

Attachment 1 - summary analysis R2_0
Entry  Thu Jan 24 13:29:40 2019, TD, Analysis of GSIJan19/R1_0 WR_sample_R1_0_24jan19WR_sample_R1_0_24jan19.loganalyser.fanalyser.f

Analysis of file GSIJan19/R1_0 (white rabbit data)
Entry  Thu Jan 24 10:26:09 2019, VP, TD, CA, NH, Start up Merger merger_screenshot.png
1) Click on item "Merger MK2" in top panel
   This kills any existing Merger existence and loads a new copy.
Entry  Thu Jan 24 10:21:26 2019, CA, TD, NH, VP, January 24th 2019 7x
10.30 AIDA setup and DAQ start complete
      writing to file TapeData/NULL/R1
Entry  Wed Jan 23 17:03:08 2019, CA, TD, NH, VP, January 23rd 2019 6x
Post White Rabbit update

Attachment 1 - 1.8.W pulser waveform spectra for all FEE64
Entry  Wed Jan 23 09:25:55 2019, CA, TD, NH, VP, MACB and setup pics 23.01.19 11x
Pictures of leaking cooling pipe

MACB switch settings
Entry  Wed Jan 23 08:12:01 2019, CA, TD, NH, VP, January 22nd 2019 220119_18W.png220119_pulserpeaks.png220119_stats.png220119_Temp.png
Attachment 1 - 1.8.W waveform spectra with pulser signal

Attachment 2 - 1.8.L pulser peak spectra
Entry  Mon Dec 10 11:09:53 2018, CA, TD, Scintillator pictures/system checks for 07.12.18 14x
11.12 System wide checks ok (attachment 1)
      FEE temperatures ok (attachment 2)
      bias/leakage currents ok (attachment 3)
Entry  Sat Dec 8 15:22:52 2018, TD, Raspberry Pi startup 
nnrpi1 - FEE64 system consoles

nnrpi2 - USB-controlled ac mains relay, CAEN N1419ET
Entry  Thu Dec 6 20:45:47 2018, TD, Analysis of R2_0 R2_0.outR2_0.txt

Analysis of data file R2_0
Entry  Thu Dec 6 15:31:40 2018, TD, CA, NH, December 6th 2018 11x
15.32 1.8.W spectra for aida01, aida09, aida10, aida11, aida12 (attachments 1, 2, 3)
      2 and 3 expanded in Y and X direction respectively
Entry  Sat Dec 1 16:43:47 2018, TD, Analysis of WRTest28Nov18.dat analyser.fWRTest28Nov18.outCapture.PNG

Attachment 1 - analyser.f 
Entry  Sat Oct 13 17:26:53 2018, TD, Analysis of 3 October 2018 T4 tests 7x
 
Entry  Thu Sep 20 09:39:17 2018, TD, AIDA downstream window 

The AIDA downstream window ('endcap' of snout) consists of 2x 50um aluminized mylar sheets
Entry  Thu Sep 20 09:16:31 2018, TD, Images of AIDA setup for DESPEC 9x
Attachment 1 - detail of MSL type BB18(DS)-1000 p+n junction side strips, bias ring, multiple guard rings, filed 
plates and bond wires
Entry  Thu Sep 20 08:57:48 2018, OH, Thursday 20th September 180920_0958_Temp.png180920_1007_Stats.png180920_1042_LowEPulser.png180920_1117_HighEPulser.png
09:57 Alpha run stoppped R2_0 -> R2_2

      Thresholds dropped from 0x64 to 0xa
Entry  Wed Sep 19 12:40:41 2018, OH, TD, Single DSSD Installation and Tests 21x
On the 18th of September we installed DSSD 3208-14

Was found to have problems including exponential leakage behavior
Entry  Thu Sep 13 17:21:59 2018, TD, AIDA upstream window 

The upstream window of the AIDA detector assembly consists of 2x 50um aluminized mylar
Entry  Thu Sep 6 15:42:53 2018, OH, TD, FEE64 system console logs logs.tar

Kernel panics during boot cab be observed in files ttyUSB1 and ttyUSB5
Entry  Thu Sep 6 15:25:19 2018, OH, TD, AIDA@DESPEC Setup Photos 
 
Entry  Thu Sep 6 15:11:17 2018, OH, TD, Tuesday 4 September - Thursday 6 September 19x
Attachment 1 - FEE64 temperatures illustrating (we assume) a faulty PSU temperature sensor for aida07

Attachment 2 - FEE64 temperatures following replacement of aida07
ELOG V3.1.4-unknown