乾隆三十年(1765年)永琪因患有“附骨疽”救治不愈而英年早逝，永琪一生共有6子1女，其中有五個兒子都是一個側福晉所生。這個側福晉也是永琪一生最愛的女子索綽羅氏，是左都御史觀保的女兒。

索綽羅氏是一位才女，琴棋書畫樣樣精通。實際上在五阿哥娶嫡福晉西林覺羅氏之前便已經娶了側福晉索綽羅氏。兩人十分的恩愛，乾隆二十四年六月十日，索綽羅氏為永琪生下了第一個兒子，但是這個兒子出生還不到一個月便夭折了。

永琪強忍著悲痛安慰索綽羅氏，告訴她，我們還會有孩子的。第二年，索綽羅氏再次懷孕，可是這個孩子也和上一個孩子擁有著相同的命運，沒出生多久便夭折了。

乾隆二十六年十二月十八日他們迎來了第三個孩子，這個孩子出生的時候很健康，兩人都視若珍寶，可是卻在兩歲不幸離世。

索綽羅氏內心是絕望的，但是出于對永琪的愛，她并沒有放棄希望。乾隆二十九年八月十五日，索綽羅氏懷上了雙胞胎。當兩個孩子呱呱落地的時候，索綽羅氏和永琪都是喜極而涕。覺得這是上天在補償他們。

然而第四個兒子在同年十月不幸早夭，第五個兒子一直健康地活了下來。兩人為孩子取名為“綿億”，綿億沒有辜負父母的希望，在永琪去世后，乾隆皇帝甚至親自為他養育兒子，讓綿億在一個良好的環境中茁壯成長。

乾隆四十九年十一月，時綿億受封為多羅貝勒。嘉慶四年正月，封多羅榮郡王。他遺傳了父親的聰明，熟讀經史，腹有才學。一直活到，嘉慶二十年(1815)去世，享年51歲。